Качеством образования

Дата добавления: 2014-10-24 | Просмотров: 1568

Цели интерпретации, проблема корректности при анализе дан- | ных тестирования.Интерпретация данных тестирования может иметь различные цели и проводиться разными группами лиц, j заинтересованных в использовании результатов выполнения тес­тов. Ее осуществляют тестологи, которые анализируют данные те-

стирования для коррекции теста. В итоговом контроле в целях по­вышения качества образования и выявления тенденций в измене­нии качества интерпретации подвергаются шкалированные баллы учащихся. В текущем контроле педагоги анализируют результаты тестирования для коррекции процесса обучения и диагностики причин отставания отдельных учеников и т.д.

Случаи неправильной или упрощенной интерпретации данных тестирования встречаются при анализе, проводимом без учета дополнительных факторов, например социально-экономических, значимо влияющих на результаты выполнения тестов. Наблюдае­мые по данным тестирования отставания в итоговых результатах групп учащихся отдельных школ района могут быть следствием неучтенной слабой материально-технической оснащенности учеб­ного процесса, низкой квалификации преподавательского соста­ва, высокого уровня безработицы среди родителей учащихся, а также ошибок при формировании выборочной совокупности уче­ников для проведения анализа результатов. Результаты интерпре­тации, получаемые путем намеренного исключения из анализа данных тестирования результатов слабых учащихся, могут быть искусственно завышены.

Некорректная интерпретация данных тестирования в целом приводит к возникновению недоверия к возможностям тестов. Осо­бенно это относится к тем педагогам и руководителям, чья дея­тельность незаслуженно получает негативные оценки.

Уровни интерпретации результатов тестирования.В тех случаях, когда рассматриваются результаты не тестирования в школе или отдельном классе, а национальных экзаменов типа ЕГЭ, можно выделить несколько уровней интерпретации результатов учащих­ся, определив права доступа каждой группы пользователей к раз­личным видам информации. В частности к таким группам пользо­вателей следует отнести:

- общество, учащихся и их родителей;

- педагогов, директоров школ;

- руководителей и работников органов управления образова­нием районного уровня;

- руководителей и работников органов управления образова­нием регионального (областного) уровня;

- руководителей и работников органов управления образова­нием федерального уровня.

Модели для анализа и интерпретации данных тестирования.За­рубежные специалисты по измерениям в образовании полагают, что корректное использование результатов тестирования и повы­шение справедливости управленческих оценок достигаются на основе применения динамических моделей для анализа данных в сочетании с лонгитюдными измерениями [80]. Неоднократное те­стирование учащихся на протяжении определенного периода обу-

чения, позволяющее оценивать скорость прироста учебных до­стижений, а затем сопоставлять школы на основе средних скоро­стей прироста, дает более достоверные оценки качества образова­ния по сравнению с одноразовыми измерениями.

Интерпретация данных тестирования, отражающая динамику изменения качества подготовленности учащихся, менее воспри­имчива к просчетам при формировании выборочных данных для анализа и косвенно принимает во внимание начальные (входные) данные учеников.

Влияние репрезентативности выборки на обоснованность интер­претации результатов тестирования.Репрезентативность выборки является важнейшим фактором, влияющим на обоснованность интерпретации результатов тестирования и качество измерений. На федеральном уровне для формирования репрезентативной выборки выпускников школ регионов необходимо определить ге­неральную совокупность, включающую всех выпускников теку­щего года в средних учебных заведениях общего образования Рос­сийской Федерации. Затем следует выделить основания по страти­фикации выборки (например, регион, район, центр региона, го­род разного типа, поселок, село, школа) и построить планируе­мую репрезентативную выборку из генеральной совокупности уча­щихся России, собирая сводную статистику по отдельным стратам. Требования к использованию результатов тестирования в управ­лении качеством образования.Проблему использования результа­тов тестирования в управлении качеством образования лучше всего рассмотреть на примере ЕГЭ. В последнее время в ряде регионов предпринимаются отдельные попытки интерпретации данных ЕГЭ для анализа различных проблем, связанных с качеством образо­вания. Корректная интерпретация результатов ЕГЭ в первую оче­редь зависит от правильной постановки основной цели их исполь­зования в управлении качеством образования. Процесс управле­ния предполагает целенаправленную деятельность по повышению эффективности системы образования и всех ее компонентов. По­этому приоритетными целями использования результатов тести­рования на разных уровнях управления являются анализ, распро­странение и внедрение в практику функционирования образова­тельной системы России лучших технологий, опыта и методов работы всех субъектов системы, выявленных на основе анализа и интерпретации результатов ЕГЭ. Таким образом, данные по всем уровням анализа результатов тестирования должны оказывать по­зитивное воздействие на систему образования путем управлен­ческой, методической и финансовой помощи отстающим образо­вательным учреждениям, а также внедрения в практику их рабо­ты лучшего опыта отечественного образования.

При использовании результатов тестирования в управлении качеством образования необходимо обеспечить сопоставимость ре-

зультатов выпускников школ по годам, которая требует выполне­ния ряда специальных требований со стороны теории педагоги­ческих измерений к содержанию тестов, их статистическим ха­рактеристикам и используемым методам шкалирования результа­тов учащихся. Помимо этого сопоставимость регламентирует оп­ределенные правила анализа данных тестирования для пользова­телей в управлении качеством образования. В частности для обес­печения сопоставимости данных по годам управленцам необходи­мо учитывать многие дополнительные факторы, отслеживать их изменение на протяжении анализируемого временного промежутка и их влияние на качество образования.

Для каждого уровня управления и региона необходимо вы­явить основные показатели, быстро изменяющиеся с течением времени. Таким образом, среди показателей — характеристик ка­чества учебного процесса, кадрового состава, форм и методов до­полнительного образования, уровня образованности и обеспечен­ности родителей учащихся, их социального статуса, миграцион­ных процессов среди населения России и др. — необходимо выде­лить главные факторы, наиболее существенно влияющие на каче­ство образования в данном регионе. При выполнении прочих ус­ловий, предъявляемых теорией педагогических измерений, сопо­ставление результатов тестирования по годам на каждом уровне управления возможно лишь в ситуации равенства главных факто­ров.

Надежность и генерализуемость данных тестирования.Для при­нятия эффективных управленческих решений необходима высо­кая объективность и обоснованность информации, базирующейся на результатах измерения. Среди управленцев и педагогов, исполь­зующих результаты тестирования, может сформироваться мнение о том, что надежность данных педагогических измерений являет­ся проблемой разработчиков тестов. Эта точка зрения верна лишь отчасти, поскольку надежность является составной частью более общей теории генерализации данных педагогических измерений.

Теория генерализации обосновывает качество широкого диа­пазона компонентов измерений: самих тестов, шкал учебных до­стижений, моделей измерения, процедур проведения тестирова­ния, методов обработки результатов, поведения экзаменаторов и экспертов и многих других компонентов процессов тестирования, влияющих на величину ошибки при принятии определенных уп­равленческих решений [80].

Помимо этого теория генерализации обеспечивает оценку воз­можности распространения результатов тестирования, получен­ных на выборочной совокупности выпускников, на генеральную совокупность выпускников России или региона. В этой связи пе­ред принятием административных решений на региональном и федеральном уровнях образования по данным тестирования необ-

ходимо оценить их генерализуемость, которая характеризует воз­можность обобщения различных тенденций в образовании, выяв­ленных при интерпретации результатов выполнения тестов.

Последовательность работ по использованию результатов тес­тирования.Использование результатов тестирования для управле­ния качеством образования должно включать определенные эта­пы, к которым относятся:

- выбор целей анализа и интерпретации результатов тестиро­вания;

- определение объектов и уровней анализа;

- выбор показателей качества и переменных измерения;

- построение репрезентативных групп испытуемых вероятно­стно-пропорциональным методом для формирования матриц эм­пирических данных тестирования;

- формирование матриц эмпирических данных по испытуемым I выборки;

- планирование и проведение дополнительного эксперимента для сбора эмпирических данных (если есть потребность согласно задачам исследования);

- выбор фасетов, формирование дизайна исследования для оценки генерализуемости эмпирических данных (на федеральном или региональном уровнях анализа);

- оценка коэффициентов генерализации для данных тестирова­ния (на федеральном или региональном уровнях анализа) и эмпи­рических данных дополнительного эксперимента (если они есть);

- оценка надежности и валидности эмпирических данных;

- применение количественных (качественных) методов или их сочетания для анализа и обработки эмпирических данных;

- интерпретация результатов обработки;

- подготовка выводов и рекомендаций для принятия управлен-ческих решений в целях повышения качества образования.

Среди перечисленных этапов трудно выделить менее или более важный. Все они обязательны в ситуации принятия администра­тивных управленческих выводов на муниципальном, региональ­ном или федеральном уровнях управления качеством образования. При использовании результатов тестирования в школе, и тем бо­лее в классе, часть этапов можно опустить.

В частности в школе по результатам тестирования могут быть построены радиальные диаграммы для сравнительного анализа тематической структуры усвоения содержания учебной дисцип­лины отдельными учащимися (на уровне класса или всей школы). Для различных групп учащихся может быть проведено сравнение результатов со средними баллами по школе или по району, а так­же установлена степень затруднений или успешности обучения отдельных учащихся или целых классов, выявлены слабо усвоен­ные разделы предметов и причины таких отставаний и т.д. 176

Для муниципального уровня управления качеством образова­ния с учетом временного фактора можно проследить динамику среднего балла по районам и по различным предметам, провести рейтинг школ внутри районов города и другие сравнительные ис­следования.

В целом следует отметить, что разработка методики использова­ния результатов тестирования для управления качеством образова­ния — актуальная задача, поскольку в настоящий момент в усло­виях множества учебных программ, допущенных к использованию, и многообразия школ система управления качеством образования нуждается в проведении различных сравнительных исследований. Различаются квалификации преподавателей, условия учебного про­цесса, в том числе и бытовые, комплектность школ, национальный и тендерный состав и др. Согласно международным исследовани­ям, все эти факторы серьезным образом сказываются на качестве подготовки выпускников учебных заведений. Поэтому принятие обоснованных управленческих решений сегодня невозможно без использования данных педагогических измерений.

Практические задания и вопросы для обсуждения

1. Какие условия и процедуры тестирования подлежат стандартиза­ции?

2. Разработайте инструкции для тестирования в классе при текущем контроле для:

а) случая, когда в тесте есть только задания с выбором одного или
нескольких правильных ответов;

б) случая, когда в тесте совмещены задания разных форм.

3. Соблюдение принципа конфиденциальности предполагает нераз­глашение сведений о результатах тестирования без согласия ученика. Как вы думаете, правильно ли сообщать результаты ЕГЭ учителям и родите­лям ученика без его согласия?

4. Сформулируйте административно-управленческие задачи в образо­вании, при решении которых необходимо проверять данные тестирова­ния на генерализуемость.

ГЛАВА 14