Понятийный аппарат при разработке и использовании тестов.


Дата добавления: 2014-10-24 | Просмотров: 1753


<== предыдущая страница | Следующая страница ==>

Необходимость создания четкого понятийного аппарата для раз­работки тестов не всегда понятна преподавателям-практикам. От­части это объясняется кажущейся простотой самих понятий, так как нередко любой набор заданий в тестовой форме в представле­нии учителя ассоциируется с тестом. Такие псевдотесты сплошь и рядом публикуются в специальных сборниках. Их можно исполь­зовать в текущем контроле, но не в работе аттестационных цент­ров.

Несоответствие псевдотестов научно обоснованным критери­ям качества может привести к значительному ошибочному ком­поненту в оценках подготовленности учащихся, следствием кото­рого будут неправильные выводы относительно эффективности работы отдельных преподавателей или педагогических коллекти­вов. Таким образом, понятийный аппарат необходим, поскольку он служит целям отделения тестов от того, что нередко за них принимается.

Предтестовое задание.Определение предтестового задания яв­ляется базовым, содержащим специфические требования, с тем чтобы отличить его от традиционного контрольного задания. Пред­тестовое задание — это единица контрольного материала, содер­жание, логическая структура и форма представления которого удовлетворяют ряду требований и обеспечивают однозначность оценок результатов выполнения благодаря стандартизованным правилам проверки [60].

В предтестовых заданиях проверяются наиболее существенные опорные элементы содержания дисциплины. В каждом предтесто-вом задании определяется то, что однозначно считается правиль­ным ответом с запланированной степенью его полноты.

Требования, предъявляемые к форме предтес­товых заданий, можно условно разделить на специальные, отражающие специфику формы, и общие, инвариантные относи­тельно выбранной формы. Согласно общим требованиям задание должно иметь определенный порядковый номер, стандартную ин­струкции по выполнению, адекватную форме, эталон правильно­го ответа, стандартизованные правила по оценке результатов его выполнения и т.д. (см. гл. 7). Специальные требования к форме


довольно многочисленны, частично они представлены в главе 7, посвященной формам предтестовых заданий.

Преимущества предтестовых заданий по сравнению с тради­ционными контрольными заданиями обеспечиваются предельной стандартизацией при предъявлении и оценивании результатов их выполнения, что в целом повышает объективность оценок уча­щихся по тесту.

Тестовое задание.Предтестовые задания должны пройти обяза­тельную эмпирическую проверку, по результатам которой часть из них превращается в тестовые, а оставшаяся часть удаляется из первоначальной совокупности заданий теста. Предтестовое зада­ние превращается в тестовое, если количественные оценки его характеристик удовлетворяют определенным критериям, нацелен­ным на эмпирическую проверку качества содержания, формы и системообразующих свойств предтестовых заданий.

Обычно требуется не менее двух-трех апробаций, по результа­там которых ведется коррекция содержания, формы, трудности задания, его валидности и статистических свойств, характеризу­ющих качество его работы вместе с остальными заданиями теста. Исследование системообразующих характеристик тестового зада­ния проводится на основе анализа дескриптивной (описательной) статистики, а также методов корреляционного, факторного и латентно-структурного анализа. Интерпретация результатов ана­лиза — это всегда сложная аналитическая работа, результаты ко­торой зависят от множества условий, в том числе и от вида созда­ваемого теста. Статистические характеристики тестовых заданий и требования к их качеству рассмотрены в главе 9.

В длительной апробации и коррекции нуждаются в основном итоговые тесты, используемые для принятия управленческих ре­шений в образовании. Например, при разработке учительских те­стов для текущего контроля корреляционный и факторный ана­лиз не нужны, но дескриптивная статистика, позволяющая без особых усилий отобрать валидные задания приемлемой трудно­сти, будет также очень полезна.

Педагогический тест. Вотличие от первых двух определений, инвариантных относительно целей тестирования и решаемых за­дач, определение педагогического теста должно быть ориентиро­вано на конкретный вид теста. В частности итоговый нормативно-ориентированный тест — это система тестовых заданий, упорядо­ченных в рамках определенной стратегии предъявления и облада­ющих такими характеристиками, которые обеспечивают высокую дифференциацию, точность и обоснованность оценок качества

учебных достижений.

Из этого определения следуют два важных вывода. Первый: нет и не может быть тестов качественных вообще, так как оценка дифференцирующего эффекта теста, точности измерений (надеж-


ности) и их адекватности поставленным целям (валидности) за­висит не только от характеристик тестовых заданий, но и от осо­бенностей тестируемого контингента учащихся. Второй: для оцен­ки качества теста необходимы эмпирические данные тестирова­ния, полученные на репрезентативной выборке учащихся. Работа по коррекции теста консолидирует систему тестовых заданий — постепенно нарастают внутренняя связь и целостность, интегра-тивность системы, совершается переход от совокупности предте-стовых заданий к профессионально разработанному тесту.

Итоговый критериально-ориентированный тест — это система тестовых заданий, упорядоченных в рамках определенной страте­гии предъявления и обладающих такими характеристиками, ко­торые обеспечивают валидную содержательную интерпретацию учебных достижений по отношению к установленным, статисти­чески обоснованным критериям выполнения [1; 48]. В определении не конкретизируется базовая содержательная область, используе­мая при интерпретации, что позволяет применять его для различ­ных разновидностей критериально-ориентированных тестов.

Практические задания и вопросы для обсуждения

1.Каковы функции входного тестирования? Есть ли смысл разраба­
тывать входные тесты в школе?

2. Каковы цели разработки корректирующих тестов? Есть ли различия
между корректирующими тестами и традиционными средствами теку­
щего контроля?

3. В рамках какого подхода, по вашему мнению, следует разрабаты­
вать тесты для проведения выпускных экзаменов в школе?

4. Какой процесс называется стандартизацией теста? Перечислите ос­новные факторы, влияющие на устойчивость норм теста в вашей школе.

5. Каковы отличия нормативно-ориентированных тестов от критери­ально-ориентированных?

6. Сформулируйте определения предтестового задания, тестового за­дания, педагогического теста. Сравните свой ответ с содержанием соот­ветствующих разделов пособия.

7. Родители Миши хотят обсудить с вами его возможности для по­ступления по результатам ЕГЭ в университет, в котором вы работаете. Какой подход к интерпретации результатов Миши по ЕГЭ вы будете использовать? Почему?

8. Между директором школы, который вызвал к себе учителя, и учи­телем состоялся диалог следующего содержания.

Директор. Вы являетесь классным руководителем 6-го «А» класса с углубленным изучением математики. К нам из другой довольно слабой школы нашего района переводят ученика, который по математике имеет одно из первых мест в своем классе. Вот результаты тестов по математи­ке, которые этот ученик выполнил лучше, чем 90 % учащихся его класса. Как вы думаете, он будет у вас хорошо учиться или лучше определить его в другой, нематематический класс?


Учитель. Я не уверена в том, что новый ученик сможет учиться в нашем классе. Вы могли бы дать мне подробную содержательную рас­шифровку результатов его тестирования? Какие знания и умения он по­лучил, на каком уровне он освоил разделы программы?

Директор. Что вы имеете в виду? Я же сказал, что он отлично вы­полнил тест по математике.

Учитель. Я хотела узнать совсем другое. Мне бы хотелось понять, что он усвоил и чего он не знает.

Директор (раздражительно). Разве вы не умеете интерпретировать результаты тестирования? Возможно, вам следует пройти повышение квалификации по тестированию и оценке знаний учащихся.

Учитель (расстроенно). Я только что прошла курс обучения тести­рованию и хорошо понимаю, что означают данные, которые вы мне показываете. Я хочу знать, что посоветовать ему, чтобы он не стал полу­чать в нашем классе «двойки».

Очевидно, что между директором и классным руководителем класса с углубленным изучением математики отсутствует взаимопонимание. Директор предоставил учителю результаты учащегося, но они, похоже, педагогу не нужны. Почему? В чем проблема? Какие результаты тестиро­вания и какие тесты нужны, чтобы помочь новому ученику освоиться в классе? Что было бы, если аналогичный вопрос о способностях ученика задали родителям мальчика? Нуждается ли классный руководитель мате­матического класса в дополнительном обучении тестированию или учить следует директора?

 


 



 


.


Таблица 2 Требования к внешней деятельности учащегося

Уровень Требования к достижениям

усвоения учащихся (уровню подго- Формулировки требований

учебного товки учащихся) в обобщен- в терминах внешней деятельности

материала ных терминах

Воспроиз- Знать терминологию, спе- Давать определение; называть;
ведение цифические факты (даты, формулировать; описывать; ус-
знаний события, имена людей танавливать соответствие (меж-
ит.д.), категории, Крите- ду термином и определением);
рии, методы, принципы, показывать (находить); распо-
законы, теории и т.д. знавать (находить); пересказы­
вать; перечислять (особенно­
сти); выбирать и т.д.

Понимание Понимать факты, законы, Объяснять; соотносить; харак-
и примене- принципы, критерии, теризовать (приводить характе-

ние знаний теории; понимать прочи- ристики); сравнивать; устана-
в знакомой тайный текст; применять вливать (различие, зависимость,
ситуации знания для объяснения, причины); выделятьсуществен-
сравнения, для решения ные признаки; рассчитывать
качественных и количе- (определятьпо формулам или
ственных задач; правиль- алгоритму); решать; составлять
но использовать методы, что-то по готовой схеме; вы-
алгоритмы, процедуры; поднять в соответствии с пра-
строитьграфики, диаграм- вилами; демонстрировать; изме-
мы, таблицы и др. рять; продолжать/заканчивать

(предложение); вставлять пропу­
щенные слова (буквы) и т.д.
Примене- Интегрировать знания из Составлять устный или пись-
ние знаний разных разделов для ре- менный ответ на проблемный
в изменен- шения различных проб- вопрос; писать сочинение; про­
ной или лем, анализировать, водить исследование; формули-
незнако- обобщать, оценивать, ровать гипотезу (выводы); обо-
мой ситуа- конструировать, плани- сновывать свою точку зрения
ции ровать деятельность, экс- или точку зрения автора; пред-
перимент сказывать последствия; отли­
чать факты от мнений (сужде­
ний), факты от гипотез, выво­
ды от положений; анализиро­
вать информацию; находить
ошибку; высказывать свое мне­
ние, суждения о соответствии
выводов и фактов; давать отзыв
или рецензию; высказывать
суждения о значении (роли)
идей, о точности (измерений);


Окончание табл. 2

Уровень Требования к достижениям

усвоения учащихся (уровню подго- Формулировки требований

учебного товки учащихся) в обобщен- в терминах внешней деятельности

материала ных терминах

высказывать суждения о каче­стве (точности, эффективно­сти, экономичности) проде­ланной работы, о выбранном способе решения или исполь­зуемых методах; выстраивать мо­дель (изменять модель); рекон­струировать, составлять план эксперимента, рассказа, реше­ния; изменять план и т.д.


Таблица 4 Достоинства и недостатки различных форм предтестовых заданий

Форма предтес- I Достоинства Т Недостатки
товых задан ии _____ ______________________________________

Задания с дву- Благодаря краткости поз- Стимулируют механиче-

мя ответами воляют охватить большой ское запоминание, по-

объем материала, легко ощряют угадывание, тре-

разрабатываются (только буют увеличения количе-

один дистрактор), резуль- ства заданий и, соответ-

таты выполнения обраба- ственно, времени тести-

тываются быстро с высо- рования для компенса-

кой объективностью ции эффекта угадывания

Задания с вы- Годятся для самых раз- Требуют значительной
бором из четы- личных предметов, в силу работы авторов при под-
рех-пяти от- краткости формулировок в боре дистракторов, не го-
ветов тесте можно охватить дятся для проверки про-
большой объем содержа- дуктивного уровня дея­
ния, обеспечивают воз- тельности и когнитивных
можностьавтоматизиро- умений
ванной проверки и высо­
кую объективность оце­
нок учащихся, позволяют
провести развернутый ста­
тистический анализ своих
характеристик, скоррек­
тировать их и значительно
повысить надежность пе­
дагогических измерений______________________________________

Задания с кон- Просты в разработке, ис- Проверяют в основном
струируемыми ключено угадывание, час- знание фактологического
регламентиро- тично годятся для автома- материала или понятий-
ванными отве- газированной проверки ного аппарата, иногда (в
тами гуманитарных предметах)


Окончание табл. 4

Форма предтес- п .,

; „ Достоинства Недостатки

товых задании "

приводят к неоднознач­ным правильным и час­тично правильным

ответам

------------------------------------------------------------- _-----------------------------------------

Задания со сво- Позволяют оценивать Требуют длительной до-
бодно конструи- сложные учебные дости- рогостоящей процедуры
руемыми отве- жения, в том числе твор- проверки, значительного
тами ческий уровень деятель- времени выполнения, не
ности, легко формулиру- позволяют охватить зна­
ются, исключают угады- читальный объем содер-
вание жания предмета, снижа­
ют надежность педагоги­
ческих измерений
-------------------------------------------------------------------------------------------------------------------------------------------- I

Задания на Просты в разработке, В основном используются
соответствие идеально подходят для лишь для проверки ре-
оценивания ассоциатив- продуктивного уровня
ных знаний и проведения деятельности и алгорит-
текущего контроля, умень- мических умений, гро-
шают эффект угадывания моздки по форме пред­
ставления


ГЛАВА 12


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 |

При использовании материала ссылка на сайт Конспекта.Нет обязательна! (0.048 сек.)