Определение уровня и структуры знаний у студентов - логопедов в области афазии при помощи компьютерного тестирования

Главная > Статьи по логопедии и дефектологии > Определение уровня и структуры знаний у студентов - логопедов в области афазии при помощи компьютерного тестирования

В процессе обучения студентов, создается необходимость контролировать уровень знаний студентов, а также формирование у них системы знаний. В рамках разработки компетентностного подхода в обучении афазиологии, нас интересовал этот вопрос в отношении студентов – логопедов. Для решения этой проблемы нами был создан теоретический компьютерный тест.

Разработка теста начиналась с формулирования его цели, то есть определения того, что тест должен измерить. В педагогическом тестировании обычно измеряются учебные достижения по определенной дисциплине.

Задачами этого теста, помимо измерения учебных достижений по афазиологии, является также определение структуры знаний студентов. 

Создание теста проходила поэтапно.

1 этап. Отбор учебного материала, подлежащего тестовому контролю, и его спецификация. Был выделен круг тем, включаемых в тест, и относительное количество заданий, которым должен быть представлен каждый тематический раздел. Далее последовало создание заданий в тестовой форме по всему курсу или, объединение их в тематические группы, комплектование теста. При конструировании  тестового задания используются  четыре формы: открытая, закрытая, на соответствие, на упорядочение.

В связи с этим, разработанный компьютерный тестовый комплекс по теоретическим знаниям в области афазии включает 270 вопросов как непосредственно из афазиологии, так и из смежных областей знаний, которые, в соответствие с логикой построения учебного процесса, формируют знания   в области афазиологии и составляют разделы учебного плана для студентов- логопедов. В частности, в содержание тестового комплекса вошли вопросы по различным областям логопедии (37 вопросов), нейропсихологии (83 вопроса), афазиологии (73 вопроса), восстановительному обучению при афазии (29 вопросов), неврологии (48 вопросов). Ответы, соответствующие вопросам тестового комплекса имеют различную структуру. Так в тесте имеются вопросы, которым соответствует единственно верный ответ или несколько верных ответов. В комплексе содержатся вопросы, ответы на которые необходимо ввести с клавиатуры или определить их очередность, а также вопросы, где нужно было соотнести ответы.

В тестировании приняли участие 44 студента МСГИ. Каждому студенту предлагалось 60 вопросов тестового комплекса, выбираемых случайным образом и предлагаемых в  произвольном порядке.

2-йо этап - верификация теста. Одним из характерных параметров вопросов тестового комплекса является трудность, определяемая как доля студентов, не сумевших правильно ответить на данный вопрос.

Наибольшее число вопросов имели трудность в диапазоне 0,3 – 0,5, то есть трудность теста оказалась для студентов несколько заниженной. Степень трудности значительной части (~10%) вопросов оказалась меньше 0,2. Такие вопросы не являются значимым барьером для определения уровня знаний студентов и в процессе усовершенствования тестового комплекса нуждаются в переработке с целью их усложнения. Вместе с тем, около 10% вопросов характеризуются завышенной (> 0.8) степенью трудности.

Важной характеристикой вопроса тестового комплекса является параметр его адекватности, определяемый как коэффициент корреляции между результатами студентов при ответе на данный вопрос и суммарными результатами тех же студентов по всему тестовому комплексу. Высокая положительная адекватность вопроса означает, что более сильные студенты, показавшие высокие результаты по всему тестовому комплексу успешнее ответили на данный вопрос, нежели студенты, показавшие по тестовому комплексу более слабые результаты. Различные вопросы с высокой степенью адекватности и образуют единый тестовый комплекс. Близкая к нулю адекватность вопроса означает, что результаты студентов при ответе на данный вопрос не зависят от уровня их результатов по всему тестовому комплексу. Такие вопросы, как правило, являются малозначительными или имеют слабое отношение к тематике тестового комплекса. Выраженная отрицательная адекватность вопроса означает, что более слабые студенты успешнее ответили на данный вопрос, нежели более сильные студенты. Эта несколько странная ситуация, как правило, бывает обусловлена неоднозначностью формулировок вопроса и ответов, техническими ошибками системы тестирования, выраженным несоответствием содержания вопроса тематике тестового комплекса. Большинство вопросов характеризуется высокой степенью адекватности, и совокупность этих вопросов образует единый тестовый комплекс  по теоретическим знаниям в области афазиологии. Вместе с тем, примерно 10% вопросов имеют близкую к нулю или выраженную отрицательную адекватность. Эти вопросы требуют детального анализа и возможной переработки или удаления из тестового комплекса.

По результатам анализа было удалено 3 вопроса. В пяти вопросах отрицательная адекватность оказалась обусловленной технической ошибкой (в компьютерной программе верный ответ был отмечен как неверный). В  14 заданиях была проведена корректировка формулировок.  Четыре вопроса  в корректировке не нуждались и отрицательное значение параметра адекватности было вызвано случайными факторами.

Заметим, что адекватность вопросов оказалась слабо зависящей от их трудности, то есть тестовый комплекс применим для определения уровня знаний как сильных, так и слабых студентов.

Таким образом, результаты верификации показывают, что тестовый комплекс может быть применен для определения уровня теоретических знаний студентов по афазиологии.

Результаты студентов охватывают широкий диапазон уровня знаний и тестовый комплекс позволяет дифференцировать студентов по уровню теоретических знаний в области афазиологии. Среднее значение адекватности результатов студентов, определяемой как коэффициент корреляции между результатами ответа отдельного студента на вопросы теста и результатами всей группы, оказалось равным 0,48. Невысокое значение адекватности  результатов студентов свидетельствует о различии в структуре знаний у разных студентов. Можно условно выделить две подгруппы студентов –«сильные» студенты с результатами тестирования > 0,6 и «слабые» студенты с результатами < 0,6.

Раздельный анализ результатов тестирования обеих подгрупп показал, что эти подгруппы различаются не только уровнем, но и структурой знаний

Адекватность результатов сильных студентов своей подгруппе составила 0,59, адекватность результатов слабых студентов своей подгруппе составила 0,63, а коэффициент корреляции между результатами подгрупп составил всего 0,25. Это также подтверждает, что разница результатов у этих двух групп студентов заключается не только в уровне, но и в структуре их  знаний.

В целом, созданный нами тест прошел верификацию, и может использоваться для дополнительного контроля уровня знаний студентов. Кроме того, результаты тестирования студентов ярко доказывают разницу в структуре знаний сильных и слабых студентов. Тест может быть использован как для промежуточного контроля, так и для самостоятельной работы студентов. При помощи теста можно определить пробелы в знаниях студентов, для дальнейшей их ликвидации либо в ходе учебного процесса либо

 

Литература

1.    Н. А. Лызь, А. Е. Лызь. Компетентностно – ориентированное обучение: опыт внедрения инноваций. Ж. Высшее образование в России. №6, 2009.

2.    Цветкова Л.С. Афазиология: современные проблемы и пути их            решения. - М., 2002.

3.    Шкловский В.М., Визель Т.Г. Восстановление речевой функции у больных с разными формами афазии. - М.: "Ассоциация дефектологов", В. Секачев, 2000.

4.    Налбандян О.Г. «Методика оценки эффективности учебного процесса в вузе» // Сборник научно-практической конференции МСГИ, 2008.

5.    Зимняя И.А. Ключевые компетенции – новая парадигма результата образования.

6.     Борисова Виктория Валерьевна «Метод динамического тестирования в определении структуры знаний студентов». Диссертация на соискание ученой степени  кандидата педагогических наук. Москва 2006 г.

 

Автор: 
А.В.Курганская НОЧУ ВПО «Московский социально-гуманитарный институт», г. Москва

Оставить заявку

CAPTCHA
 
заказать обратный звонок
г. Москва, Спартаковский пер., д. 2, стр. 1

Заказ в один клик

+7