Нормативно-ориентированный и критериально-ориентированный подходы в педагогических измерениях

Дата добавления: 2014-10-24 | Просмотров: 3370

Общие подходы к интерпретации результатов педагогических измерений.При педагогических измерениях интерпретация баллов учащихся может иметь различный характер в зависимости от того, каким способом сравниваются оценки учеников. Согласно одному подходу проводится сопоставление баллов каждого учащегося с результатами определенной группы — выборки учащихся, выпол­нявших тот же самый тест, для определения места каждого балла по отношению к среднему результату в группе (нормативно-ори­ентированный подход). Согласно другому подходу результаты ис­пытуемых интерпретируются по отношению к содержательной об­ласти, включенной в тест и снабженной определенными крите­риями выполнения (критериально-ориентированный подход).

Оба подхода дают информацию о подготовленности учащихся, однако она имеет различный характер. В соответствии с этими под­ходами к интерпретации результатов тестирования выделяют нор­мативно-ориентированные и критериально-ориентированные те­сты.

Нормативно-ориентированный подход и нормы. Стандартизация тестов.Основная цель нормативно-ориентированного тестирова­ния заключается в дифференциации испытуемых по результатам выполнения теста. При интерпретации результатов относительная позиция испытуемого может оцениваться по-разному, поскольку он будет выглядеть лучше на фоне более слабой, чем более силь­ной группы. Для корректной интерпретации результатов тестиро­вания балл каждого учащегося необходимо сравнивать с нормами выполнения теста.

Нормы — это совокупность показателей, отражающая резуль­таты выполнения теста четко определенной выборкой испытуе-мых — релевантной нормативной группой, репрезентативно пред­ставляющей генеральную совокупность тестируемых учащихся [1; | 22; 60]. К нормам обычно относят среднее значение тестовых бал­лов и показатель разброса (вариативности) вокруг среднего зна­чения всех остальных баллов, полученных представительной вы- | боркой тестируемых учащихся (методы подсчета среднего значе-62

ния и показателей вариативности приведены в главе 9). Имея нор­мы, можно установить положение каждого результата по отноше­нию к среднему баллу по тесту, посмотреть, насколько результат учащегося выше или ниже среднего.

Процесс определения норм называется стандартизацией тес­та. Стандартизация всегда осуществляется на репрезентативной выборке испытуемых, формирование которой — обязательный момент при определении норм теста.

Относительность норм и выборка стандартизации.Тестовых норм, пригодных для интерпретации результатов всех учащихся по лю­бым тестам, не существует. Область применимости любой нормы ограничивается данным тестом и конкретной совокупностью ис­пытуемых, поэтому нормы не абсолютны и не постоянны. Они отражают результаты выборки стандартизации на момент созда­ния теста и подлежат систематическому обновлению и перепро­верке.

К нормам предъявляют следующие требования:

- нормы должны быть дифференцированными. Например, тес­ты для общеобразовательных и профильных школ необходимо стандартизовать на различных выборках, в результате чего полу­чатся, скорее всего, существенно различающиеся нормы;

- нормы должны отражать реальный контингент и актуальные требования к качеству учебных достижений, вытекающие из со­временной ситуации в образовании;

- нормы должны быть репрезентативными, поэтому они все­гда устанавливаются эмпирически в соответствии с результатами тестирования выборки стандартизации (федеральной — для ЕГЭ, муниципальной — для аттестации школ, внутришкольной — для аттестации учащихся в школе).

«Норма» — относительное понятие, тесно связанное с каче­ством выборки, использованной для стандартизации. Выборка должна точно отражать категорию (или несколько категорий) лиц, для которых предназначен тест, а также быть достаточно большой и сбалансированной для обеспечения столь малой стандартной погрешности, чтобы ею можно было пренебречь в процессе стан­дартизации теста. Таким образом, при формировании выборки стандартизации необходимо учитывать две переменные — объем и представительность, обеспечивающие в совокупности высокую точность при оценивании норм выполнения теста.

Стратификация выборки.Для равномерного представления раз­личных групп учащихся в популяции испытуемых используют спе­циальный процесс — стратификацию. Стратификация — расслое­ние выборки на страты, размеры которых должны быть пропор­циональны размерам соответствующих популяций в генеральной совокупности учащихся [38]. Обычно в качестве оснований для стратификации выделяют факторы, наиболее связанные с пере-

менной измерения. В ЕГЭ к числу таких факторов можно отнести социальное положение родителей выпускника, регион, где рас­положена школа, ее принадлежность к числу сельских или город­ских школ и т.д.

Наличие многих факторов стратификации, необходимость ана­лиза пропорций генеральной совокупности испытуемых, прове­дение апробационного тестирования для определения норм дела­ют работу по стандартизации тестов довольно дорогостоящей и трудоемкой процедурой. Современный уровень развития тестовых технологий позволяет моделировать тесты с прогнозируемыми нор­мами с помощью IRT, банка калиброванных тестовых заданий и специальных программ для компьютерной генерации вариантов теста.

Информация, прилагаемая к стандартизированным тестам. Кстан­дартизованному тесту необходимо приложить:

- нормы выполнения теста, которые определяются на выборке стандартизации;

- объем выборки стандартизации, основания для ее стратифи­кации и временной период ее использования;

- необработанные результаты выполнения теста для выборки

стандартизации.

Сопоставление норм по различным тестам возможно лишь в том случае, если есть основания для утверждения об адекватности выборок стандартизации.

Критериально-ориентированный подход в педагогическихизме­рениях. При критериально-ориентированном подходе в педагоги­ческих измерениях результаты учащихся интерпретируются по от­ношению к содержательной области или требованиям, установ­ленным к учебным достижениям. При дихотомическом оценивании («1» или «О») результатов выполнения отдельных заданий балл каждого учащегося подсчитывается путем перевода в проценты доли правильно выполненных заданий по отношению к общему числу заданий теста. В случае политомических оценок в проценты переводится отношение сырого балла учащегося, накопленного по заданиям, к максимально возможному баллу по тесту. Полу­ченный для каждого учащегося процент сравнивается со стандар­тами выполнения — критериями, установленными экспертным путем и прошедшими эмпирическую валидизацию в процессе конструирования теста [1; 48; 60].

При критериально-ориентированном подходе по результатам 1 тестирования можно:

- выявить освоенные и не освоенные знания, умения и навыки ] и построить индивидуальную образовательную траекторию каж- 1 дого учащегося;

- ранжировать тестируемых по проценту выполнения и по- 1 строить рейтинговые шкалы;

- разбить испытуемых на две группы с помощью одного крите­риального балла или на несколько групп с помощью нескольких критериальных баллов, поставив, например, школьные отметки — «два», «три», «четыре», «пять».

Недостатки критериально-ориентированного подхода.Критери­ально-ориентированный подход имеет недостатки, связанные с необходимостью полного охвата содержания, принимаемого за 100 %, в одном тесте. Аттестационные критериально-ориентиро­ванные тесты нередко получаются очень длинными — из 150 — 300 заданий, выполнить которые даже в старших классах при одноразовом предъявлении просто невозможно. Поэтому при ат­тестации нередко применяют адаптивное тестирование, позво­ляющее за счет оптимизации трудности заданий значительно со­кратить длину теста. Используют также сокращение содержания теста за счет минимизации целей оценивания. Для этого крите­риально-ориентированные тесты нередко применяют для про­верки одного-двух умений или навыков, а при охвате более раз­нородного содержания выбирают нормативно-ориентированные тесты.

Критериально-ориентированные тесты имеют к тому же до­вольно ограниченную область применения. Они пригодны в тех случаях, когда можно четко определить знания, умения и навыки по конкретной области содержания и задать их верхний и нижний пределы для корректного определения критериев выполнения те­стов. В более сложных и менее структурированных областях зна­ний, связанных с решением задач творческого уровня, опреде­лить верхний предел зачастую невозможно.

Иногда при выполнении таких заданий школьник руководству­ется знаниями, но чаще все решают смекалка и догадка. Поэтому при создании тестов, предназначенных для контроля за выполне­нием задач творческого уровня, следует отдавать предпочтение нормативно-ориентированному подходу или стараться совмещать оба подхода в одном тесте [1].

Различия в нормативно-ориентированноми критериально-ори­ентированном подходах.Нормативно-ориентированные и крите­риально-ориентированные тесты различаются по целям создания, методике отбора содержания, характеру распределения эмпири­ческих результатов тестирования, методам их обработки, крите­риям качества тестов и тестовых заданий, а главное, по интерпре­тации результатов испытуемых, выполнивших тест.

Содержание критериально-ориентированного теста должно быть достаточно полно. В него включают все то, что условно можно принять за 100%-ный объем, планируемый к усвоению. Содержа­ние нормативно-ориентированного теста фрагментарно, в него включают только те разделы, которых достаточно для дифферен­циации учащихся по уровню учебных достижений.

70% очень 30% очень

легких трудных

заданий заданий

Диапазон расположения заданий теста

й!

g

о. С

0 Стандартная шкала баллов q

Критериальный балл

Область

неудовлетворительных

оценок

 

10 20 30 40 50 60 70 80 90 100 Шкала процентов выполнения, %

 

Ось оценок трудности заданий (доли правильных ответов)

Рис. 9. Распределение заданий по трудности в нормативно-ориентирован­ном тесте

В критериально-ориентированных тестах, используемых для аттестации, задания достаточно простые, поскольку педагоги все­гда стараются спланировать процент «двоек» и ограничить число неаттестованных учеников. Например, если «двойки» не должны превышать 10 % и критерий отсева неуспевающих планируется ус­тановить на уровне 70 % (все, кто выполнил меньше 70 % заданий теста, получают «два»), то в тест необходимо включить не менее 70 % легких заданий, которые смогут выполнить 90 % тестируе­мых учеников (рис. 9). Нормативно-ориентированные тесты обыч­но намного труднее. В них включают от 50 до 70 % заданий средней трудности, т. е. тех, которые смогла выполнить верно только по­ловина тестируемых учеников (рис. 10).

15% самых легких заданий

15% самых трудных заданий

В силу того что распределения сырых баллов репрезентативной выборки испытуемых по нормативно-ориентированным и крите­риально-ориентированным тестам имеют, как правило, различ-

70% заданий средней трудности

Диапазон расположения заданий теста

Рис. 10. Распределение заданий по трудности в критериально-ориентиро­ванном тесте

Рис. 11. Типичное распределение баллов по тестам для репрезентативной

выборки учащихся

ную форму (рис. 11), приходится использовать различающиеся ме­тоды оценивания надежности и валидности результатов педагоги­ческих измерений, методики шкалирования и выравнивания.

Наиболее существенные различия между нормативно-ориен­тированными и критериально-ориентированными тестами пред­ставлены в табл. 1.

Для учителя наиболее информативной является ситуация, ког­да оба подхода взаимно дополняют друг друга. Поэтому некоторые

Таблица 1

Различия между нормативно-ориентированнымии критериально-ориентированными тестами

 

Характеристики	Нормативно-ориентиро­ванные тесты	Критериально-ориенти­рованные тесты
Типичное среднее чис­ло учеников, выпол­нивших правильно поч­ти все задания теста	5-10 %	80-90 %
Область для сравнения результатов учащихся	Результаты других учеников	Содержательная об­ласть или совокупность видов учебной дея­тельности
Диапазон охвата целей проверки	Широкий, охватывает многие цели и виды учебной деятельности	Узкий, обычно охва­тывает несколько це­лей контроля
Репрезентативность охвата содержания предмета	Умеренная, фрагмен­тарная — обычно включают не все раз­делы	Большая, обычно включают все то, что можно операционали-зировать и принять за 100 %

 

Окончание табл.

 

Характеристики	Нормативно-ориентиро­ванные тесты	Критериально-ориенти­рованные тесты
Разброс результатов учащихся (вариатив­ность баллов)	Высокий, поскольку основная цель тести­рования — дифферен­циация испытуемых по уровню подготовки	Низкий, внутри ре­зультатов группы уча­щихся, превысивших по своим результатам критериальный балл, почти нет вариативно­сти
Подбор заданий по трудности	Распределение оценок трудности близко к нормальному. Основ­ная часть заданий име­ет трудность 40—60 %	Распределение ско­шенное. Основная часть заданий имеет трудность 80—90 %

тесты разрабатываются с расчетом на то, что результаты учащих­ся можно соотносить как с нормами, так и с содержанием теста. Пример — контрольно-измерительные материалы (КИМ) ЕГЭ.