托福写作e-rater偏向中国考生?_托福好还是雅思好
2019-09-03 15:16
来源:新东方网
作者:Qui
VICE近日的一篇报道对作文的机器打分提出了质疑,而托福考试的写作部分正是采用了ETS自行研究的e-rater电子评分系统。
该报道同时指出,根据ETS的研究,e-rater给中国考生作文的分数比人工评分要高。
什么是e-rater?
早在2010年1月,ETS就对托福写作评分进行了调整,由原来的2个阅卷人评分,取算术平均分作为原始分(raw score),改为1个阅卷人和1个电脑评分系统(e-rater)评分。
e-rater所使用的是计算机语言学中的自然语言处理(Natural Language Process)方法。e-rater抽取出影响一篇文章好坏的一些要素,通过计算机数据功能与考生写作文本的相关信息进行标签匹配,并结合ETS过往的写作数据库来审核考生的写作质量。
根据ETS网站的信息,e-rater目前考虑的文章要素包括以下几个方面:托福好还是雅思好
★ content analysis based on vocabulary measures
基于词汇量的文本分析
★ lexical complexity/diction
用词复杂性
★ proportion of grammar errors
语法错误的比例
★ proportion of usage errors
用法错误的比例
★ proportion of mechanics errors
结构错误比例
★ proportion of style comments
文体得当程度
★ organization and development scores
组织语言及展开的能力
★ features rewarding idiomatic phraseology
使用习语的情况
ETS也在官网上表示,由于机器无法判定语言的有效性及内容的合理性,因此这部分内容必须由人工评分员完成。
值得一提的是,为了保证分数的公平有效,人工给分和机器给出的原始分(评分范围0-5)相差不得超过1分,若两者分数误差超过1分,将由ETS的专业阅卷者进行再次评分。
e-rater偏爱中国考生?
根据VICE的报道,据ETS于1999年、2004年、2007年、2008年、2012年和2018年进行的研究显示,相比人工打分,e-rater会特别偏爱某些地区的考生,特别是来自中国的考生。
新东方重庆学校微信(微信号:xdf_cq)
最新考试资讯、教育新闻,请扫一扫二维码,关注我们的官方微信!
版权及免责声明
①凡本网注明"稿件来源:新东方"的所有文字、图片和音视频稿件,版权均属新东方教育科技集团(含本网和新东方网) 所有,任何媒体、网站或个人未经本网协议授权不得转载、链接、转贴或以其他任何方式复制、发表。已经本网协议授权的媒体、网站,在下载使用时必须注明"稿件来源:新东方",违者本网将依法追究法律责任。
② 本网未注明"稿件来源:新东方"的文/图等稿件均为转载稿,本网转载仅基于传递更多信息之目的,并不意味着赞同转载稿的观点或证实其内容的真实性。如其他媒体、网站或个人从本网下载使用,必须保留本网注明的"稿件来源",并自负版权等法律责任。如擅自篡改为"稿件来源:新东方",本网将依法追究法律责任。
③ 如本网转载稿涉及版权等问题,请作者见稿后在两周内速来电与新东方网联系,电话:010-60908555。