ETS访学专题——判分员是如何工作的_托福与雅思哪个好考
2016-03-08 11:58
来源:新东方网
作者:滕达
在未来越来越多的考试,尤其是语言类的考试会以在线机考形式出现。以TOEFL家族考试为例,本系列的考试包括TOEFL iBT,、TOEFL JuniorComprehensive、 TOEFLPrimary。这些考试测试语言能力多样,参考人数众多。所以一个完善,公平,高效的在线判分系统和判分流程无比重要。在这篇文章中,我来给大家揭秘ETS神秘的判分系统和判分流程。托福与雅思哪个好考
首先我们来说一说系统中的“人”:判分人。ETS官方网站上罗列出的测试产品有47项之多,其中有些考试可以由程序判分,比如说我们熟知的TOEFL听力和阅读。也有不少的考试项目必须由判分员(Human-Rater)判分,比如说TOEFL口语写作这一类的主观题(ConstructResponse)。ETS的判分员来源多样,比如大学教授、中学教师、国际学校教师、美国高等院校考试测评专业学生。这些人要通过笔试、面试和严格的筛选培训流程才能上岗。上岗后往往会被分配到某个考试的某个科目,专人专项判分。
一个成功达标的判分人可以在美国境内的任何地点登录在线判分系统进行判分。当然他们要在指定的时间内登录,因为每个判分员在登录系统时,他的判分组长也会在同样时段内保证在线,以便监督判分公平性,并给予他们所需的指导和帮助。成功登录后,每个判分员需要做当日校准(DailyCalibration)。在这个环节评分员会判一些“预置答案”,这些口语录音已经由出题员,语言学学者,考试学者组成的专家小组提前定义好了分数。判分员会对这些答案进行“盲判”,当系统确认判分员给出的分数和专家小组提前预置的分数达到给定的标准时,判分员才会被分配真实考生的答案,并对它们进行判分。在当天的真实考试的判分过程中,系统还会给他们随机分配这样的“预置答案”,以便于监控全天判分过程中的准确度。
在真实判分的过程中,他们也能获得很多帮助,这包括判分原则、标答参考、组长沟通。判分原则也就是官方提供的答案标准。以TOEFL为例,在《TOEFL官方指南》上印有详细的评分标准。判分员在判分界面上可以随时呼出电子版的标准,也有不少判分员会把标准打印成卡片放在手边,随时进行参考;标答参考也叫做Benchmark,以TOEFL口语为例,判分系统上备有4,3,2,1,0各个档位的标准答案,供判分员随时参考以便矫正自己的准确度;如果判分原则和标答参考还不足以帮助判分员界定某些答案,那么他们可以呼叫自己的小组长,小组长会在线和判分员沟通,一起评判这个答案,界定分数。
ETS还会定期对判分员的数据进行抽查,以保证考生能获得公平科学的成绩。不合格的判分员会被“回炉重造”,甚至辞退。为了避免有些教师遇到自己学生的答案,在一些美国本土的考试中,ETS会故意混搭邮政编码,以保证来自纽约市的判分员不会判到来自纽约市学生的试卷。他们也会在培训过程中和判分员强调,必须看完整个文章或听完完整口语录音才下定论给分。比如说系统会强制一个60秒的口语答案被完整播放完,判分员才能在界面上评分。有趣的是,ETS的培训官员还会和判分员强调:哪怕有些学生口出狂言在口语考试中说脏话,你也要把答案听完,也许最后有几句英文,多多少少也是可以给个一分之类的。
总而言之,ETS是个严谨负责的机构,做事态度更是精益求精,所有我们所有的考生还是要认真对待自己的分数。当然人无完人,再严谨的系统都会有误差,ETS也给我们提供了复议的选择。中国考生对复议还是不复议经常拿不准。ETS给出的回答是:当考生特别自信的认为自己的答案被误判了,就应该复议。我的意见如下,如果口语连着两次都是20分以上突然降到了15分,而且自己很确定考试当天发挥得很正常,那么就勇敢复议。如果说是怀着侥幸心理觉得复议也许会提高一分两分,那还是回家好好复习,继续冲刺吧!
新东方重庆学校微信(微信号:xdf_cq)
最新考试资讯、教育新闻,请扫一扫二维码,关注我们的官方微信!
版权及免责声明
①凡本网注明"稿件来源:新东方"的所有文字、图片和音视频稿件,版权均属新东方教育科技集团(含本网和新东方网) 所有,任何媒体、网站或个人未经本网协议授权不得转载、链接、转贴或以其他任何方式复制、发表。已经本网协议授权的媒体、网站,在下载使用时必须注明"稿件来源:新东方",违者本网将依法追究法律责任。
② 本网未注明"稿件来源:新东方"的文/图等稿件均为转载稿,本网转载仅基于传递更多信息之目的,并不意味着赞同转载稿的观点或证实其内容的真实性。如其他媒体、网站或个人从本网下载使用,必须保留本网注明的"稿件来源",并自负版权等法律责任。如擅自篡改为"稿件来源:新东方",本网将依法追究法律责任。
③ 如本网转载稿涉及版权等问题,请作者见稿后在两周内速来电与新东方网联系,电话:010-60908555。