孔子学院总部/国家汉办是中国教育部下属事业单位,为非政府机构。汉考国际教育科技(北京)有限公司(简称汉考国际)是由孔子学院总部/国家汉办主办的具有独立法人资格的考试服务公司,承担国家汉办所有考试项目的研发和运营。
行业动态 首页 > 行业动态
汉考科研君 学术分享|主观题评分背后的TA

“老师!您不公平,我俩答案差不多,凭什么给他六分,给我三分。”这是我们在学习或教学中,总会遇上个几次的场景,而此类争论的焦点多为主观题。

主观题是考试中常见的一类题型,它可以从多个层次、多个维度对考生的能力进行测评,尤其适合评估考生高层次的认知能力。虽然主观题也有其自身的弱点,如阅卷投入多、评分误差大、效率不高等,但在客观题盛行的今天,主观题仍是很多权威性考试中必不可少、不可替代的部分。因而,主观题评分背后TA——评分员,成为教育测量与考试研发中重要的研究内容之一。汉考科研君今天给大家带来的两篇文章就与此有关。

《汉语作为第二语言写作测试中的语言标准化:评分员视角》通过问卷调查,收集了两个性质相似的汉语考试的评分员对某一类试题的评分,并通过访谈的形式,从评分员角度,探讨汉语作为第二语言写作测试中不同的词汇和语法非标准变异所受认可程度的差异。《<国际中文教师证书>面试信度研究——基于多侧面Rasch模型》则使用多侧面Rasch模型,通过对教师考试真实数据的分析,探究了面试过程中考官能否有效区分考生能力、考官之间打分宽严差异大小、考官打分是否稳定、是否公平等问题。

读完这两篇文章,科研君对主观题成绩是如何产生的,哪些因素会影响我们在主观题所获得的分数,有了更多了解。

罗莲,彭恒利,李亚男. 汉语作为第二语言写作测试中的语言标准化:评分员视角[J]. 语言文字应用,2019,(02):133-141.

摘  要:在汉语作为第二语言的写作测试中,考生会产出一些中国人也在使用的非标准的变异,包括语法和词汇变异。本研究收集了一些近年来流行的非标准化的词汇和语法变异,造句后对其进行分类,同时请HSK(汉语水平考试)和MHK(少数民族汉语水平考试)评分员基于5点量表进行评分。评分结果表明,评分员对语法变异、谐音词、方言词的接受度较低,对新词语、旧词新义和外来词的接受度较高。基于该结果,本研究建议对学习者和考生产出的非标准变异采取较为灵活的态度。

关键词:汉语作为第二语言测试; 评分员; 变异; 规范化; 写作;

李亚男,王艾琳,王之岭. 《国际中文教师证书》面试信度研究——基于多侧面Rasch模型[J]. 华文教学与研究,2021,(02):42-51.

  要:面试是一种广泛应用的评价技术,面试的成绩受多方面影响。多侧面Rasch模型(MFRM可对影响成绩的多个侧面(参数)进行分析,因而适用于面试的信度研究。本文对2019年某次《国际中文教师证书》面试中12位考官给128位考生在5个打分项上的分数进行了MFRM分析,研究发现:考官在面试打分过程中能够有效区分不同水平的考生;考官打分宽严度虽存在显著差异,但对考生打分不会产生决定性影响;考官自身打分一致性总体上处在可接受的范围,但也存在一定程度的趋中现象;考官在不同打分项上给出的分数存在显著差异,在"试讲"这一打分项上打分最严。

关键词:《国际中文教师证书》面试; 多侧面Rasch模型; 信度; 

科研君说

汉考国际一直重视考试评分的准确性、科学性与公正性,在线评分系统可以对评分员进行实时监测、即时校准。为持续提高评分质量,我们也在定期开展评分员筛选、培训及考核,不断优化评分员队伍。欢迎经验丰富的国际中文教师的加入,成为评分背后那个准确、公平的TA!

 

版权所有 © 汉考国际 2016 京ICP备16003362号-2
建议使用IE浏览器(8.0以上版本)或Firefox浏览器访问本网站
小智在线客服

在线
客服

在线客服(仅工作日)服务时间:9:00-11:30 13:30-17:30

E-mail:jszx@chinesetest.cn

服务
热线

010-59307656
仅限工作日

关注
微信

关注官方微信
顶部