Оценка результатов обучения
в образовательных программах*
в образовательных программах*
Как делать работающие тесты и организовать их разработку
МОДУЛЬ 1. Разработка оценивания
17 АВГУСТА - 17 СЕНТЯБРЯ понедельник и четверг, 19:00
МОДУЛЬ 2. Сопровождение разработки оценивания
18 СЕНТЯБРЯ - 30 СЕНТЯБРЯ понедельник и четверг, 19:00
МОДУЛЬ 1. Разработка оценивания
17 АВГУСТА - 17 СЕНТЯБРЯ понедельник и четверг, 19:00
МОДУЛЬ 2. Сопровождение разработки оценивания
18 СЕНТЯБРЯ - 30 СЕНТЯБРЯ понедельник и четверг, 19:00
Katie:
Да ладно, кому нужно учиться делать тесты? Я и так справляюсь.
ОЛЯ и
Марина:
Марина:
С какими-то задачами можно справится самим. Я напишу несколько самых частых случаев и проблем, которые происходят при разработке без специальных знаний и навыков 🔽. Иногда они приводят к судебным разбирательствам) О таких кейсах, если будет интересно, расскажем на занятиях)
*Работает ли обучение, которое мы сделали?
Чаще всего о результатах студентов мы делаем выводы на основе тестов или заданий.
При этом мы не задумываемся о том, что задания и тесты, как инструмент могут не работать или работать не верно. Даже если собраны по таксономии;) Это приводит к тому, что студенты получают не верную информацию, а мы делаем не верные выводы: о наших программах, о результатах студентов.
А дело.... всего лишь в заданиях, вопросах и этапах разработки.
Чаще всего о результатах студентов мы делаем выводы на основе тестов или заданий.
При этом мы не задумываемся о том, что задания и тесты, как инструмент могут не работать или работать не верно. Даже если собраны по таксономии;) Это приводит к тому, что студенты получают не верную информацию, а мы делаем не верные выводы: о наших программах, о результатах студентов.
А дело.... всего лишь в заданиях, вопросах и этапах разработки.
Когда будет актуально
Вы работаете с экспертом
Эксперт подготовил вопросы теста, а вы не знаете, как проверить, насколько этот тест релевантен вашим задачам.
КЕЙСЫ
Оля: НИУ ВШЭ, проект REDанализ и ревизия заданий теста и скоринга на соответствие конструкту и задачам оценивания, 2019г.
Марина: опыт разработки тестов для вводного тестирования SkillFactory, 2000г.
КЕЙСЫ
Оля: НИУ ВШЭ, проект REDанализ и ревизия заданий теста и скоринга на соответствие конструкту и задачам оценивания, 2019г.
Марина: опыт разработки тестов для вводного тестирования SkillFactory, 2000г.
Вы принимаете решение на основе теста (результат обучения / найм / вход в программу)
Вы создали программу и тесты. Как понять, позволяет ли тест действительно оценить результаты выпускников?
КЕЙСЫ
Оля: тест на информационно-коммуникационную компетентость. Создание стандарта готовности к получению высшего, среднеспециального, и началу проф.деятельности, 2019г.
Марина: организация разработки тестов для преподавателей Алгоритмики, 2021г. На основе тестов определили, нанимаем ли преподавателя
КЕЙСЫ
Оля: тест на информационно-коммуникационную компетентость. Создание стандарта готовности к получению высшего, среднеспециального, и началу проф.деятельности, 2019г.
Марина: организация разработки тестов для преподавателей Алгоритмики, 2021г. На основе тестов определили, нанимаем ли преподавателя
Разработка оценивания не структурирована и занимает много времени. Эксперты не могут создать тесты
Вы хотите с высоким качеством создавать большое количество оценочных материалов, но при подключении психометриков или требований к вопросам итераций корректуры становится очень много и процесс затягивается.
КЕЙСЫ
Оля: написание заданий, создание тестов для мониторинга прогресса освоения нового учебного стандарта, Армения, 2022г.
Марина: блокчейн-академия MbI.Tech, 2022
опыт разработки 22 тестов для заказчика EDU3.0, 2023
КЕЙСЫ
Оля: написание заданий, создание тестов для мониторинга прогресса освоения нового учебного стандарта, Армения, 2022г.
Марина: блокчейн-академия MbI.Tech, 2022
опыт разработки 22 тестов для заказчика EDU3.0, 2023
Тест и наблюдения расходятся
Вы проверяете тест, а результаты ваших выпускников по тесту не соответствуют уровню, который они демонстрируют в обучении. Как понять, проблема в тесте или в программе?
КЕЙСЫ
Оля: установление стандартов и пороговых оценок для национальной программы оценивания уровня образования, Нигерия, 2023г.
Марина: опыт разработки тестов для диагностических работ студентов ММУ, 2023г.
На текущий момент: 2 программы, тесты по 16 дисциплинам, по 70-100 вопросов в каждом,
КЕЙСЫ
Оля: установление стандартов и пороговых оценок для национальной программы оценивания уровня образования, Нигерия, 2023г.
Марина: опыт разработки тестов для диагностических работ студентов ММУ, 2023г.
На текущий момент: 2 программы, тесты по 16 дисциплинам, по 70-100 вопросов в каждом,
Подготовить диагностические тесты для прохождения аккредитации программ вузов
Как собрать процесс, который позволит делать надежные и валидные тесты высокого уровня в отделе или команде?
Какие должны быть этапы работы, какие шаблоны подготовить эксперту, методистам
КЕЙСЫ
Оля: разработка рамки оценивания для stells оценивания коллективной идентичности, Hight Resolts, 2019-2020гг.
Марина: опыт разработки тестов для диагностических работ студентов MI University На текущий момент: 2 программы, тесты по 16 дисциплинам, по 70-100 вопросов в каждом, 2023г.
Какие должны быть этапы работы, какие шаблоны подготовить эксперту, методистам
КЕЙСЫ
Оля: разработка рамки оценивания для stells оценивания коллективной идентичности, Hight Resolts, 2019-2020гг.
Марина: опыт разработки тестов для диагностических работ студентов MI University На текущий момент: 2 программы, тесты по 16 дисциплинам, по 70-100 вопросов в каждом, 2023г.
Этот курс - погружение в разработку тестов. В курсе вы получите прикладную информацию, но это сложная информация, за счет того, что требует изменения способа думать о тестах. Чтобы в работе писать уже почти на автомате, нужно будет тренироваться.
И да, этой информации нет нигде на русском. И собранной в таком виде, в одном месте просто нет нигде. Это 10 лет опыта разработки заданий на международном уровне, и поиска очень уникальных задач.
Для лидеров метод. команд проще. Это всего 3 года опыта адаптации подходов психометриков к реальной жизни методистов.
И да, этой информации нет нигде на русском. И собранной в таком виде, в одном месте просто нет нигде. Это 10 лет опыта разработки заданий на международном уровне, и поиска очень уникальных задач.
Для лидеров метод. команд проще. Это всего 3 года опыта адаптации подходов психометриков к реальной жизни методистов.
Программа обучения
Ваши результаты
МОДУЛЬ 1. Разработка тестов
для МЕТОДИСТОВ
Спроектируете систему оценивания в программе.
На основе описанной системы оценивания определите, какие тесты будем использовать на разных этапах программы.
Создадите спецификацию теста под определённые задачи.
Построите тесты разных типов для разных целей в рамках своей программы. 2 из них проверят и дадут ОС.
Научитесь оценивать, корректировать тестовые задания эксперта.
для МЕТОДИСТОВ
Спроектируете систему оценивания в программе.
На основе описанной системы оценивания определите, какие тесты будем использовать на разных этапах программы.
Создадите спецификацию теста под определённые задачи.
Построите тесты разных типов для разных целей в рамках своей программы. 2 из них проверят и дадут ОС.
Научитесь оценивать, корректировать тестовые задания эксперта.
МОДУЛЬ 2. Сопровождение разработки оценивания
для ЛИДЕРОВ МЕТОДИЧЕСКИХ КОМАНД
Определите процесс разработки тестов: кто в него включен, какие ресурсы используем и как его можно оптимизировать.
Проверите существующие тесты без специального ПО и инструментов психометриков.
Сформируете документы, которые позволят контролировать качество оценивания при больших объёмах разработки тестов.
Определите продуктовые вводные для тестирования.
Сформируете шаблоны, поддерживающие процесс разработки тестов.
для ЛИДЕРОВ МЕТОДИЧЕСКИХ КОМАНД
Определите процесс разработки тестов: кто в него включен, какие ресурсы используем и как его можно оптимизировать.
Проверите существующие тесты без специального ПО и инструментов психометриков.
Сформируете документы, которые позволят контролировать качество оценивания при больших объёмах разработки тестов.
Определите продуктовые вводные для тестирования.
Сформируете шаблоны, поддерживающие процесс разработки тестов.
Модуль 1. Разработка тестов
Какие типы тестов используются для какой популяции. Для каких задач лучше использовать тот или иной вид теста.
На каких этапах обучения используются разные типы тестов. Их особенности и полная характеристика.
Как сформулировать цель тестирования, чтобы эта формулировка помогла в разработке и позволяла определить конкретные результаты тестирования.
На каких этапах обучения используются разные типы тестов. Их особенности и полная характеристика.
Как сформулировать цель тестирования, чтобы эта формулировка помогла в разработке и позволяла определить конкретные результаты тестирования.
Подходы к оценке в образовательных программах.
Построение системы оценивания в соответствии с задачами в образовательной программе
Построение системы оценивания в соответствии с задачами в образовательной программе
Что измеримо в тестировании? Как работать с материалами учебного курса, чтобы материалы использовать для создания тестов.
Формирование зоны покрытия теста. Определяем границы проверяемых знаний, умений и навыков.
Трудность и комплексность в определении заданий теста: определяет техническое задание на сборку заданий.
Определяем сегменты аудитории тестирования на основе целей тестирования. Формулирование обратной связи для разной аудитории.
Формирование зоны покрытия теста. Определяем границы проверяемых знаний, умений и навыков.
Трудность и комплексность в определении заданий теста: определяет техническое задание на сборку заданий.
Определяем сегменты аудитории тестирования на основе целей тестирования. Формулирование обратной связи для разной аудитории.
Как анализировать стандарт при разработке теста и зачем.
Что такое описания уровней. Сколько их нужно. Как их написать. Зачем они нужны.
Какими бывают шкалы. Для каких типов тестов, какие шкалы используем.
Что такое пороговые оценки. Как их определить. Когда и зачем.
Что такое описания уровней. Сколько их нужно. Как их написать. Зачем они нужны.
Какими бывают шкалы. Для каких типов тестов, какие шкалы используем.
Что такое пороговые оценки. Как их определить. Когда и зачем.
Разрабатываем входное и итоговое оценивание. Оценивание качества результатов программы или курса.
Оценивание трендов в больших числах. Оцениваем изменение образовательного уровня в конкретные промежутки времени. Как меняются результаты на длительных периодах и разных группах студентов
Требование к summative оцениванию.
Надёжность в тестах. Почему требования к надёжности в summative выше и чем мы её обеспечиваем.
Как определить количество вопросов в тесте. Какой формат вопросов допустим в этом подходе к оцениванию.
Недостатки summative оценивания.
Администрирование summative оценивания.
Оценивание трендов в больших числах. Оцениваем изменение образовательного уровня в конкретные промежутки времени. Как меняются результаты на длительных периодах и разных группах студентов
Требование к summative оцениванию.
Надёжность в тестах. Почему требования к надёжности в summative выше и чем мы её обеспечиваем.
Как определить количество вопросов в тесте. Какой формат вопросов допустим в этом подходе к оцениванию.
Недостатки summative оценивания.
Администрирование summative оценивания.
Психометрические характеристики вопросов.
Типы вопросов для summutive оценивания.
Особенности и критерии для каждого типа. Основные ошибки
Закрытие 90% задач summutive оценивания: вопросы закрытого типа.
Как написать вопросы, проверяющие не только фактологические знания. Пишем вопросы для разного уровня учащихся. Пишем вопросы, которые в перспективе имеют хорошие психометрические характиристики.
Как написать работающие дистракторы в заданиях для summutive оценивания.
Работа с заданиями открытого типа: правила и особенности формирования для summutive.
Типы вопросов для summutive оценивания.
Особенности и критерии для каждого типа. Основные ошибки
Закрытие 90% задач summutive оценивания: вопросы закрытого типа.
Как написать вопросы, проверяющие не только фактологические знания. Пишем вопросы для разного уровня учащихся. Пишем вопросы, которые в перспективе имеют хорошие психометрические характиристики.
Как написать работающие дистракторы в заданиях для summutive оценивания.
Работа с заданиями открытого типа: правила и особенности формирования для summutive.
Трактовки формирующего оценивания. О каким formative говорим.
Для чего не используется форматив оценивание. Чем отчаются разные типы форматив оценивания.
Правила формирования форматив оценивания.
Важны ли психометрические характеристики для форматив оценивания?
Администрирование форматив оценивания. Кто и как может использовать может использовать вопросы для форматив оценивания?
Можно ли использовать вопросы или тесты, созданные для summutive для целей formative оценивания?
Какие типы заданий используются в форматив оценивании для оценивания разных типов образовательных результатов.
Для чего не используется форматив оценивание. Чем отчаются разные типы форматив оценивания.
Правила формирования форматив оценивания.
Важны ли психометрические характеристики для форматив оценивания?
Администрирование форматив оценивания. Кто и как может использовать может использовать вопросы для форматив оценивания?
Можно ли использовать вопросы или тесты, созданные для summutive для целей formative оценивания?
Какие типы заданий используются в форматив оценивании для оценивания разных типов образовательных результатов.
Как написать задания на разных уровнях таксономии. Как написать вопросы, чтобы была понятна проблема учащегося.
Что можем проверить вопросами открытого типа.
Как писать вопросы открытого типа. Что такое дестракторы вопросов открытого типа.
Рубрики в оценивании. В каких случаях используются рубрики. Как их формировать и как использовать при оценивании.
Работа с заданиями открытого типа: правила и особенности формирования для форматив оценивания.
Что можем проверить вопросами открытого типа.
Как писать вопросы открытого типа. Что такое дестракторы вопросов открытого типа.
Рубрики в оценивании. В каких случаях используются рубрики. Как их формировать и как использовать при оценивании.
Работа с заданиями открытого типа: правила и особенности формирования для форматив оценивания.
Как работать с рубриками, как написать гайдлайн для тех, кто будет использовать тест.
Blueprint для оценивания. Как собрать тесты.
Этапы внедрения теста.
Пилот и проверка работы вопросов и заданий Гайдлайн для теста.
Этические вопросы при апробации теста.
Blueprint для оценивания. Как собрать тесты.
Этапы внедрения теста.
Пилот и проверка работы вопросов и заданий Гайдлайн для теста.
Этические вопросы при апробации теста.
Обсуждение результатов студентов.
Обратная связь Ольги Анисимовой
Обратная связь Ольги Анисимовой
Модуль 2. Сопровождение разработки оценивания
Формулируем бизнес-требования к тестам.
Анализируем базовый процесс разработки тестов и адаптируем его к особенностям компании / процессов разработки.
Определяем роли в разработке и определяем слабые места разработки.
Адаптируем процесс разработки теста в процессы разработки компании.
Анализируем базовый процесс разработки тестов и адаптируем его к особенностям компании / процессов разработки.
Определяем роли в разработке и определяем слабые места разработки.
Адаптируем процесс разработки теста в процессы разработки компании.
Анализируем существующие проблемные точки в тестировании исходя из задач оценивания.
Определяем стратегию доработки тестов.
Определяем стратегию доработки тестов.
Особенности интеграции новых решений.
Подготовка и адаптация учебных, методических материалов, необходимых для изменения процесса.
Планирование мероприятий внедрения новых практик разработки тестов.
Подготовка и адаптация учебных, методических материалов, необходимых для изменения процесса.
Планирование мероприятий внедрения новых практик разработки тестов.
На основе целей разработки тестирования и условий организации формируем критерии качества тестов.
Определяем базовые документы для организации работы исходя из ваших задач.
Адаптируем шаблоны документов, интегрируя их в процессы разработки.
Определяем базовые документы для организации работы исходя из ваших задач.
Адаптируем шаблоны документов, интегрируя их в процессы разработки.
Групповая сессия ответов на вопросы через 2 недели после окончания курса.
Даёт возможность задать вопросы при практическом применении тестов в рамках своей работы.
Даёт возможность задать вопросы при практическом применении тестов в рамках своей работы.
Как вы будете учиться
1
Теория
Первая часть занятия - лекционная.
Все материалы на данный момент - на английском языке, поэтому мы обязательно проводим лекции.
Во время лекции вы можете задать уточняющие вопросы.
Кроме лекции мы пришлём ссылки на дополнительные материалы по каждой теме разного уровня погружения.
Все материалы на данный момент - на английском языке, поэтому мы обязательно проводим лекции.
Во время лекции вы можете задать уточняющие вопросы.
Кроме лекции мы пришлём ссылки на дополнительные материалы по каждой теме разного уровня погружения.
2
Практика, консультации
Практическая часть - работа в группах над заданием по применению практики.
После каждого занятия: домашнее задание.
По итогам вы получаете обратную связь от преподавателей.
После практической части вы можете задать вопросы относительно собственного проекта или задачи.
После каждого занятия: домашнее задание.
По итогам вы получаете обратную связь от преподавателей.
После практической части вы можете задать вопросы относительно собственного проекта или задачи.
3
Домашние задания
Задания необходимы для того, чтобы через практическую деятельность пройти основные этапы разработки.
Кроме того, если вы планируете создать инструмент оценивания, выполняя задания вы получите работающий инструмент.
Обратная связь преподаватель даёт по всем работам.
Кроме того, если вы планируете создать инструмент оценивания, выполняя задания вы получите работающий инструмент.
Обратная связь преподаватель даёт по всем работам.
Кому подойдёт?
- Разработчикам тестов и инструментов оцениванияТем, кто постоянно вынужден разрабатывать тесты.
- МетодистамПри разработке инструментов оценивания, а так же проектировании программ с комплексными образовательными результатами, которые требуют более тщательной разработки и доказательств в оценивании
- Лидерам методических командПри изменениях оценки качества программ
- Методистам ВУЗов, отвечающих за диагностические работы и аккредитациюПри задаче построить внутреннюю систему оценки качества образования и прохождении аккредитации программ
Что внутри?
Занятия с преподавателямиЛекции, в которых вы получаете сжатую информацию с выдержками из документов и примерами из жизни, которых у нас очень много
Время4 недели по 2 занятия в неделю + ДЗ
2 недели по 2 занятия в неделю + ДЗ
Поддержка и консультацииПроверка домашних заданий с обратной связью
Корректировка заданий тестов
Много дополнительных материаловВ курсе вы получите примеры, чек-листы, гайды, шаблоны документов.
По каждой теме мы пришлём список литературы, а так же ссылки на источники различного уровня погружения.
Группа до 5 человекОтрабатываем на практике теорию в группах, обсуждаем задачи и делимся опытом в чате заинтересованных
Оставайтесь на связиПоддержка и ответы на вопросы по материалам курса в течении месяца после окончания обучения.
Чат для участников программ об оценивании, в котором можно будет задать вопрос и поделиться кейсом, экспертизой.
Команда программы
- Ольга АнисимоваАвтор и преподаватель курса
Разработка оцениванияКонсультант UNICEF and CITO,
работает консультантом Всемирного Банка (World Bank), University of Helsinki, High Resolves & Chang Zuckerberg Initiative (CZI) в проектах, посвященных исследованиям, проектированию, разработке и внедрению оценивания.
Разрабатывала системы оценивания в странах: Россия, Узбекинстан, Соединенные штаты Америки, Армения, Нигерия. - Марина ЩербаковаАвтор и преподаватель модуля
Разработка материалов для оцениванияАкадемический директор магистратуры МПГУ "Педагогический дизайн",
основатель лаборатории EDU3.0 по разработке образовательных решений, руководитель отдела развития образовательных программ MI.University,
преподаватель Института образования НИУ ВШЭ 2020-2022,
руководитель обучения и развития преподавателей Algorithmics Global,
ведущий педагогический дизайнер отдела развития бизнеса SkillFactory 2020-2021. - Александра РепниковаМенеджер программыМенеджер образовательных программ и проектов EDU3.0,
Менеджер проектов развития Jalinga
Отзывы
Этот курс мы запускаем первый раз. В январе мы запустили курс
Разработка оценивания в подходе EVIDENCE CENTERED DESIGN
Сразу предупредим, что курс был сложный, требовался опыт работы в оценивании.
Публикуем отзывы по нему.
Разработка оценивания в подходе EVIDENCE CENTERED DESIGN
Сразу предупредим, что курс был сложный, требовался опыт работы в оценивании.
Публикуем отзывы по нему.
Сделать тесты работающим инструментом
Стоимость курса
модуль методист: 25 000 Р
модуль лидер методических команд: 20 000Р
Оба модуля: 35 000Р
Стоимость индивидуальной консультации
Ольги Анисимовой, 1 час: 10 000 рублей
Программа предусматривает 2 занятия по 2 часа и 2 часа на самостоятельную работу над вашей задачей.
В результате вам нужно не менее 6-8 часов в неделю.
модуль методист: 25 000 Р
модуль лидер методических команд: 20 000Р
Оба модуля: 35 000Р
Стоимость индивидуальной консультации
Ольги Анисимовой, 1 час: 10 000 рублей
Программа предусматривает 2 занятия по 2 часа и 2 часа на самостоятельную работу над вашей задачей.
В результате вам нужно не менее 6-8 часов в неделю.
Контакты
Телеграм @teachonlinenow
© All Rights Reserved.
ИП Щербакова Марина Викторовна
Политика конфиденциальности Договор оферты
Чтобы сохранять цены не высокими мы работаем как ИП
© All Rights Reserved.
ИП Щербакова Марина Викторовна
Политика конфиденциальности Договор оферты
Чтобы сохранять цены не высокими мы работаем как ИП