Оценивание письменных работ

[Алексей Конобеев]

Уважаемые коллеги, одним из частых вопросов, которые слышу, общаясь с учителями, является "Как оценивать письменные работы?"

Предлагаю обсудить эту проблему. Прикрепляю отрывок из своей кандидатской диссертации, в котором я рассматриваю подходы и примерные шкалы оценивания эссе. Сразу хочу отметить, что диссертацию защитил еще в 2001 году, то есть с тех пор многое изменилось, появился ЕГЭ, появились новые требования, о которых тоже готов рассказать. Соответственно, теперь текст представляется уже односторонним и недостаточным. Если эта тема интересна - давайте обсудим ее. Очень интересно узнать как вы сами оцениваете эссе ваших учеников, и почему именно так.

критерии_оценивания_эссе.doc

[Radislav Millrood]

Уважаемые коллеги, одним из частых вопросов, которые слышу, общаясь с учителями, является "Как оценивать письменные работы?"

Предлагаю обсудить эту проблему. Прикрепляю отрывок из своей кандидатской диссертации, в котором я рассматриваю подходы и примерные шкалы оценивания эссе. Сразу хочу отметить, что диссертацию защитил еще в 2001 году, то есть с тех пор многое изменилось, появился ЕГЭ, появились новые требования, о которых тоже готов рассказать. Соответственно, теперь текст представляется уже односторонним и недостаточным. Если эта тема интересна - давайте обсудим ее. Очень интересно узнать как вы сами оцениваете эссе ваших учеников, и почему именно так.

 

Практику оценивания письменных работ учащихся в ЕГЭ (!) сегодня можно мягко назвать "безобразием". Низка совпадающая валидность баллов, выставляемых оценщиками (inter-rater reliability), много самодеятельности с разработкой критерием нв местах, главенствует способ оценки типа "общее впечатление". Между тем, такое положение можно исправить, если разработать четкие шкалы оценки письменной работы, включая оценку заголовка, исходного тезиса, разработки тезиса, заключительного тезиса, логичность, лексическую насыщенность и горамматическую адекватность текста учащихся. Сделать это непросто, так как само понятие "логичность" пока еще не обрело четкую форму, пригодную для обучения и контроля. Мы лишь интуитивно судим о логичности высказывания, а типология логических ошибок пока еще не установлена для письменных высказываний типа эссе. Есть и другие проблемы. Главная же - в оценивании письменных работ учащихся пока еще слишком много "мнения учителя" и мало "жестких норм". И это на экзамене, который может определить жизненный путь выпускников!

[Алексей Конобеев]

Практику оценивания письменных работ учащихся в ЕГЭ (!) сегодня можно мягко назвать "безобразием". Низка совпадающая валидность баллов, выставляемых оценщиками (inter-rater reliability), много самодеятельности с разработкой критерием нв местах, главенствует способ оценки типа "общее впечатление". Между тем, такое положение можно исправить, если разработать четкие шкалы оценки письменной работы, включая оценку заголовка, исходного тезиса, разработки тезиса, заключительного тезиса, логичность, лексическую насыщенность и горамматическую адекватность текста учащихся. Сделать это непросто, так как само понятие "логичность" пока еще не обрело четкую форму, пригодную для обучения и контроля. Мы лишь интуитивно судим о логичности высказывания, а типология логических ошибок пока еще не установлена для письменных высказываний типа эссе. Есть и другие проблемы. Главная же - в оценивании письменных работ учащихся пока еще слишком много "мнения учителя" и мало "жестких норм". И это на экзамене, который может определить жизненный путь выпускников!

Согласен, что четкие критерии все еще находятся в стадии разработки, и это тема для больших научных исследований. В то же время, федеральная комиссия пытается компенсировать недостаточную разработанность критериев тем, что каждую весну проводится совещание председателей комиссий и определяется - либо уточняется - что имеется в виду под "логичным высказыванием", количество и развернутость аргументов, что можно считать хорошим тезисом, а что нет, и так далее. Проблема, мне кажется, скорее в том, как именно подготовлены эксперты. На inter-rater reliability внимание стараются обращать большое, при расхождении в баллах между оценками двух экспертов в три балла из возможных 14 назначается третья проверка и оценка выводится как среднее арифметическое. Беда в том, что порой в разных регионах слышишь такие заявления от экспертов по ЕГЭ, что диву даешься, зная, насколько этоне согласуется с тем, о чем шла речь на совещании председателей комиссии. Так что я полностью согласен - впереди большая работа.

[Smolenko]

Прикрепляю отрывок из своей кандидатской диссертации, в котором я рассматриваю подходы и примерные шкалы оценивания эссе. Сразу хочу отметить, что диссертацию защитил еще в 2001 году, то есть с тех пор многое изменилось, появился ЕГЭ, появились новые требования, о которых тоже готов рассказать.

Да оценка письменных работ довольно сложная задача, и к радости перед началом учебного года нашла Ваши критерии, Спасибо!

[natpetrovna]

Уважаемые коллеги, одним из частых вопросов, которые слышу, общаясь с учителями, является "Как оценивать письменные работы?"

Предлагаю обсудить эту проблему. Прикрепляю отрывок из своей кандидатской диссертации, в котором я рассматриваю подходы и примерные шкалы оценивания эссе. Сразу хочу отметить, что диссертацию защитил еще в 2001 году, то есть с тех пор многое изменилось, появился ЕГЭ, появились новые требования, о которых тоже готов рассказать. Соответственно, теперь текст представляется уже односторонним и недостаточным. Если эта тема интересна - давайте обсудим ее. Очень интересно узнать как вы сами оцениваете эссе ваших учеников, и почему именно так.

За рекомендации большое спасибо. И хотя они не совсем свежие, но вот в том то и вопрос, что они практически не изменились! Новые требования не меняют сути этих критериев. Как бы мы не старались и какие бы критерии не разработали, все равно проверка письменных работ будет носить субъективный характер. Это вам не математика! Но сделать ее максимально объективной - и есть задача наших методистов. Я оцениваю в первую очередь ссылаясь на критерии ЕГЭ. Но не могу полностью избавиться от подхода типа: "понравилось - не понравилось"

[Nastusia]

Уважаемые коллеги, одним из частых вопросов, которые слышу, общаясь с учителями, является "Как оценивать письменные работы?"

Предлагаю обсудить эту проблему. Прикрепляю отрывок из своей кандидатской диссертации, в котором я рассматриваю подходы и примерные шкалы оценивания эссе. Сразу хочу отметить, что диссертацию защитил еще в 2001 году, то есть с тех пор многое изменилось, появился ЕГЭ, появились новые требования, о которых тоже готов рассказать. Соответственно, теперь текст представляется уже односторонним и недостаточным. Если эта тема интересна - давайте обсудим ее. Очень интересно узнать как вы сами оцениваете эссе ваших учеников, и почему именно так.

 

Спасибо большое. Файл очень полезный!

[Алексей Конобеев]

Одним из способов предварительного оценивания письменных работ и тренировочного этапа в их написании является peer editing. поиск и исправление ошибок в чужих работах часто помогает ученикам лучше оценить свой собственный уровень и развить умения редактирования текста. При этом если для такого editing дать задание не просто на нахождение ошибок, а еще и на выявление соответствий проверяемой работы неким стандартам оформления, то это помогает закрепить у учеников знания форматов различных типов текстов. Вот два примера того, какие guidelines и опоры используют для peer editing в школах в США: http://www.timesaversforteachers.com/freef...editingform.pdf и http://courses.washington.edu/dibas/202/peer%20editing.htm

Второй пример дан для испанского языка, но таблица на английском и может послужить основой для переработки под свой собственный класс.

Кстати, а как вы помечаете ошибки учеников в письменных работах? Просто исправляете? Ставите галочку чтобы ученики попробовали исправить сами? Помечаете как-то еще? Например, у меня на первом курсе использовались, среди прочих, такие пометки: art = wrong or missing article, t = wrong tense, sp = wrong spelling.

[Radislav Millrood]

Одним из способов предварительного оценивания письменных работ и тренировочного этапа в их написании является peer editing. поиск и исправление ошибок в чужих работах часто помогает ученикам лучше оценить свой собственный уровень и развить умения редактирования текста. При этом если для такого editing дать задание не просто на нахождение ошибок, а еще и на выявление соответствий проверяемой работы неким стандартам оформления, то это помогает закрепить у учеников знания форматов различных типов текстов. Вот два примера того, какие guidelines и опоры используют для peer editing в школах в США: http://www.timesaversforteachers.com/freef...editingform.pdf и http://courses.washington.edu/dibas/202/peer%20editing.htm

Второй пример дан для испанского языка, но таблица на английском и может послужить основой для переработки под свой собственный класс.

Кстати, а как вы помечаете ошибки учеников в письменных работах? Просто исправляете? Ставите галочку чтобы ученики попробовали исправить сами? Помечаете как-то еще? Например, у меня на первом курсе использовались, среди прочих, такие пометки: art = wrong or missing article, t = wrong tense, sp = wrong spelling.

Полезно также учителям оценивать письменные работы учащихся из классов коллег и затем сравнивать результаты. Как правило, бывает много взаимного напонимания. Непростое упражнение во всех смыслах...

[tam]

Полезно также учителям оценивать письменные работы учащихся из классов коллег и затем сравнивать результаты. Как правило, бывает много взаимного напонимания. Непростое упражнение во всех смыслах...

На что Вы нас толкаете? В школах и так редко бывает взаимопонимание между коллегами. У меня, например, один ученик из 7 класса переходит во второй четверти к другому учителю: там учат по-другому и оценки другие. А Вы тетради проверять!!!

[Алексей Конобеев]

Полезно также учителям оценивать письменные работы учащихся из классов коллег и затем сравнивать результаты. Как правило, бывает много взаимного напонимания. Непростое упражнение во всех смыслах...

Я в этом плане часто вспоминаю как начали готовить экспертов ЕГЭ по оценке письменных работ. Я дал пример эссе и спросил как бы они оценили, в надежде, что спросят на основании каких критериев оценивать. На самом деле вопрос задали "А из какой школы ученик это писал?" и пояснили, что для ученика сельской школы это "на пятерку" ответ, а вот для сильной городской может и три быть. В этом сразу явственно проявился бытовавший тогда подход к оцениванию, который зависел от личных взглядов учителя, от взгляда на сельскую школу как на нечто изначально disadvantaged и прочие мало на чем основанные предубеждения (примерно как некоторые взгляды на "ленивых учителей" которые, к сожалению, были продемонстрированы недавно на форуме) и личностные особенности в оценивании. Насколько я знаю, сейчас ситуация понемногу исправляется, ЕГЭ помогло взять хоть какие-то ориентиры для старших классов, но не все готовы эти же ориентиры проецировать на классы младшие. Может быть, если мы сравним устоявшиеся практики оценивания, удастся не только получить более целостную картину, но и какие-то общие пути работы выработать?

[Алексей Конобеев]

Вот еще нашел как один американский учитель помечает работы учеников:

Abbreviations for composition errors:

 

AC Accent missing or wrong

E Elision, failure to elide or inappropriate elision

SP Spelling error

GN Gender wrong

NB Number wrong sing/plural

NEG Negation wrong, misplaced, missing

VOC Vocabulary wrong, word choice, missing words

ART Article missing, wrong form used, wrong after negative,

expression of quantity

SVA Subject/verb agreement lacking

VF Verb form stem incorrect

TN Tense incorrect

MD Mood incorrect (indicative, imperative, subjunctive)

PP Past participle wrong form or agreement

AA Adjective agreement wrong

POS Possessive adjective wrong, missing or lacks agreement

DOP Direct object pronoun wrong or missing

IOP Indirect object pronoun wrong or missing

RP Reflexive pronoun wrong or missing

PRO Other pronoun - y or en, subj. (je, tu, il, elle, ...), stress (moi, toi, lui, elle, ... eux)

ADV Adverb wrong or misplaced

PRE Preposition wrong or missing

CONJ Conjunction wrong or missing

WO Word order wrong

INC Incomprehensible, due to structure or vocabulary choice

that makes it difficult to pinpoint a specific error

ADJ Adjective form

INF Infinitive wrong or missing

REP Repetition poor style

DEM Demonstrative pronoun wrong or missing

REL Relative pronoun wrong or missing

AUX Auxiliary verb wrong or missing

 

Как пишет сам учитель, It is essentially the same as what we used at SUNY Binghamton and U. of Illinois as graduate students.

[tam]

Я в этом плане часто вспоминаю как начали готовить экспертов ЕГЭ по оценке письменных работ. Я дал пример эссе и спросил как бы они оценили, в надежде, что спросят на основании каких критериев оценивать. На самом деле вопрос задали "А из какой школы ученик это писал?" и пояснили, что для ученика сельской школы это "на пятерку" ответ, а вот для сильной городской может и три быть. В этом сразу явственно проявился бытовавший тогда подход к оцениванию, который зависел от личных взглядов учителя, от взгляда на сельскую школу как на нечто изначально disadvantaged и прочие мало на чем основанные предубеждения (примерно как некоторые взгляды на "ленивых учителей" которые, к сожалению, были продемонстрированы недавно на форуме) и личностные особенности в оценивании. Насколько я знаю, сейчас ситуация понемногу исправляется, ЕГЭ помогло взять хоть какие-то ориентиры для старших классов, но не все готовы эти же ориентиры проецировать на классы младшие. Может быть, если мы сравним устоявшиеся практики оценивания, удастся не только получить более целостную картину, но и какие-то общие пути работы выработать?

Очень бы хотелось! А то оценка получается у каждого своя, субъективная.

[Radislav Millrood]

На что Вы нас толкаете? В школах и так редко бывает взаимопонимание между коллегами. У меня, например, один ученик из 7 класса переходит во второй четверти к другому учителю: там учат по-другому и оценки другие. А Вы тетради проверять!!!

Я давно уже подталкиваю учителей понять, насколько это бывает болезненно, когда за твой труд выставляют оценку, которая нас по некоторым причинам ранит.

[tam]

Я давно уже подталкиваю учителей понять, насколько это бывает болезненно, когда за твой труд выставляют оценку, которая нас по некоторым причинам ранит.

Что Вы имеете ввиду? Что мы занижаем оценки? отнюдь! Пытаемся вытащить на тройку тех, кто ее не отрабатывает.

А вот на хорошую оценку и работать надо ХОРОШО.

[Radislav Millrood]

Что Вы имеете ввиду? Что мы занижаем оценки? отнюдь! Пытаемся вытащить на тройку тех, кто ее не отрабатывает.

А вот на хорошую оценку и работать надо ХОРОШО.

"И мы и вы" не просто занижаем или завышаем оценки. Мы иногда чувствует себя хозяевами чужой оценки, которая противоречит самооценке ученика и в ряде случаев формирует у учащихся неадекватную самооценку. Мы это нередко делаем неосознанно, что нас не оправдывает.

[tam]

"И мы и вы" не просто занижаем или завышаем оценки. Мы иногда чувствует себя хозяевами чужой оценки, которая противоречит самооценке ученика и в ряде случаев формирует у учащихся неадекватную самооценку. Мы это нередко делаем неосознанно, что нас не оправдывает.

Согласна, самооценку необходимо формировать адекватную. А если самооценка завышена? Для этого есть критерии оценки и самооценки.

1. Student-Generated Rubrics

http://www.teachervision.fen.com/teaching-...html?detoured=1

2. Creating a Rubric: Tutorial

http://health.usf.edu/publichealth/eta/Rub...ial/default.htm

3. How to Create Class Rules

http://thecornerstoneforteachers.com/free-...ent/class-rules

4. Generates rubrics

http://www.rubrics4teachers.com/