刘超英 | 分班自评的检验及思考
提 要：国际上二语教学界关于自评分班的研究已进行了四十年，然而对于自评分班的准确性一直存在争议。从2016年起北京大学采用自评分班。本文从多个方面对这一实践的结果进行检验，结果表明：对于以提高汉语水平为目的的高校留学生群体，可以有效地使用自评分班，如果还有其他措施调节，效果更好。本文对于若干有争议的问题进行了讨论，提出检验自评准确性的标准不是与测试的相关性，而是分班的特定目标要求。
关键词：自评；分班；检验准确性的标准
一、研究背景
（一）国际上关于自评分班的争论焦点
早在二十世纪七八十年代，当国际上的应用语言学家开始认真地思考二语学习中的自评问题时就开始了关于自评分班的研究，这一研究一直持续到现在（Summers 等，2019）。对于自评能否用于分班，长期以来学者们分歧很大。Oscarson（1978）、LeBlanc 和 Painchaud（1985）、Bachman 和 Palmer（1989）、AlFallay（2004）等认为学习者能比较准确地评价其语言能力，自评比较稳定有效，自评与测试在分数上有一致性，自评可以用来完成传统标准化考试的分班任务。Ross（1998）对 60 篇有关自评的文章做了元分析，认为自评能提供稳健的效标共时效度。对于人员选拔来讲，自评所提供的能力图像过于朦胧；而对于一些低风险决策，例如在某个项目之内进行分班或做一个简略的需求分析，自评的精度是足够的。而另一些学者则持不同意见，Dieten（1989）、Peirce 等（1993）认为在自评和测试之间没有稳定的关系，二者间只存在弱相关，因而自评不适合作为分班评价。Fratter 和Marigo（2018）通过一项自评与分班测试结合的实验研究得出结论，总体上看大学语言中心的学生还不具备很好的自评技能，他们在决定自己的语言能力等级时还没有把握，还需要一些诸如测试的外部评价。只用自评，学生可能会高估或低估自己的语言能力，学生的自评能力需要培训。
关于自评分班的争论涉及很多问题，而焦点是自评的精度。但是自评的精度需要多高才能满足分班的要求，并没有说清楚。此外，除了LeBlanc和 Painchaud（1985）等人真的在分班实践中使用了自评外，不少学者（尤其是持反对意见的学者）做的还只是可行性研究，因此他们无法回答一个非常直白的问题：“在难以对学生进行自评培训的情况下，在实际教学中使用自评分班能不能行得通，效果如何？”他们无法提供使用效度方面的证据。
（二）北京大学的探索
北京大学在外国留学生分班方面进行了多年的探索。北大的对外汉语教学以非学历的长期、短期进修教学为主，此外还有预科教学、研究生的汉语教学等。长期以来北大都使用测试分班，每学期开学，考试分班都是一项十分耗费人力的大工程，但单靠考试分班，效果始终不理想。后来，学校在考试之后增加了一个确认教材的环节，首先根据考分预估学生使用的教材，然后师生一对一面谈，确认教材。长期班的换班率明显下降，但是短期班由于项目太多，人力有限，只能直接用考试分班。2015年，研究者首先在短期班进行了自评试验，证明自评分班可行（刘超英，2017）。2016年，研究者又研制了长期项目汉语自评表，试验证明自评也可用于长期项目，但需要在使用中验证。从 2016年开始，除预科班之外的各汉语进修项目均使用自评取代测试进行分班，目前这一模式运行正常。
自评分班已显示出如下几个主要优点。
第一，节省人力、物力，使用方便。以往使用测试分班，需要印试卷、租考场、安排监考、组织评分、销毁试卷等，现在学生是在自己的电脑或手机上提交自评，上述繁杂的工作已经取消。
第二，能提前知道学生的汉语水平，提高了效率。由于学生的自评信息在开学之前就通过网络传输到了学校，教学管理者可以在学生到校之前就预估学生需要的教材。除了分班之外，学校招生部门也在使用自评系统，如果他们发现某个学生的汉语水平与该项目的多数学生差距过大，便会建议该生选择其他项目，节省教学成本。
第三，能得到学生听、说、读、写及其他多方面的信息。
当然，所有这些优点都必须有一个前提，即自评分数能够比较准确地反映学生的汉语实际情况。假如做不到这一点，以上这些优点就无法全面体现出来。因此，我们有必要对自评分班的有效性进行检验。
二、分班自评的检验
（一）自评表的设计
根据学生的特点，北大的汉语自评表分长期表和短期表，分别对应长期进修教学和短期进修教学。
长期自评表由听、说、读、写四个部分组成，每部分有15个陈述性题目。如 :
我 能 读 没 有 拼 音 的 中 文 课 文。
I can read Chinese texts without Pinyin.
题目内容是根据外国学生在课堂学习和日常生活中的情景设计的，难度分为初级、准中级、中级、高级四个层次，与教学中的九个难度的教材相联系。自评表有中英、中日、中韩三个双语版本供学生选用。每个题目有五个选项，选“总是这样（Always）”得5分，选“多数情况是这样（In most cases）”得4分，选“半数情况是这样（About half of the time）”得3分，选“很少这样（Seldom）”得2分，选“从来做不到（Never）”得1分。每题满分5分，共60题，总分300分。
短期自评表的结构与长期自评表大致相同，只是每个部分各10题，共40题，总分200分。
（二）信度和难度
本研究主要使用的是2016—2017年北大留学生长期、短期等项目的自评分班信息，其他信息做对比或补充。
由于每次自评的题目相同，分析信度和难度时我们将同年的数据合在一起，作为一个大样本。表1､ 表2是2016年长期、短期自评的信度和标准误。
数据显示，无论是长期还是短期自评，单项还是全卷，Alpha信度系数都达到了0.96以上，表明自评的内部一致性好，相当稳定。
自评与测试的难度含义不同，自评中的P值表示的并非被试在试题上的答对率，而是自评者根据任务对自己能做情况的估计，同时也可以反映自评任务的难度。表3是2016年长、短期自评的P值。
表3显示，长期和短期自评题大致上都是中等难度。由于在自评表中，每一部分的题目难度都是从易到难排列的，例如长期自评表“听”第1题最容易，第15题最难，第16题是“说”最容易的题，第30题是“说”最难的题，依此类推。短期自评表只是题量不同，排列顺序相同。每一题的P值见图1。
图1显示，无论长期还是短期自评，各题的P值均呈现出一种有规律的变化，题目P值的变化与题目任务难度的变化是一致的。这表明，尽管学生在自评时对于选项的选择是完全自由的，没有外在的客观答案，但大多数学生并没有乱选，而是依照一个内在的客观答案在进行选择。
（三）师评
检验学生自评是否有效的一个方式是请任课教师进行评判。我们选择任课教师已经相当了解学生而又离开学时间不是很久的时间点，将每个学生的自评分数发给各班教师，请教师对每个学生做出判断。判断内容有两项。第一，该生的自评分数与其实际汉语水平是否相符，要求教师在“自评基本相符”“自评高估”“自评低估”中做出判断。第二，该生的水平是否适合学习该班的教材，要求教师在“适合学本班教材”“应学低班教材”“应学高班教材”中做出判断。之所以设计后一个问题是因为适合学习某一教材的水平是有一个范围的，即使有的学生自评有一定的高估或低估，但只要不超出某一范围，就应该认为是达到了分班的目的。
2016—2017年几个项目的师评结果见表4—表9。
表4、表5显示，有70％—83％的学生自评与其实际汉语水平基本相符，自评高估和低估的比例大致相当。适合学习本班教材的学生比例在81％左右，与自评基本相符率相当或比自评略高。
表6、表7显示，有64％—68％的学生自评与其实际汉语水平基本相符，比短期的低一些，高估和低估的比例有的相差较大。我们分析，部分原因是长期项目学生的构成更为复杂，要求更为多样化。与短期项目有明显区别的是长期项目适合学本班教材的比例明显高于自评基本相符率，达到了86％—90％，我们认为一个重要的原因是长期项目有确认教材的环节，起到了调整的作用。
除了长期和短期语言进修项目之外，一些主要用英语授课的留学生的研究生项目也开设汉语课，也使用自评分班。
表8、表9显示，研究生项目自评基本相符率比进修生更高，达到82％—92％，适合学本班教材的比例与自评基本相符率接近，在91％左右。
师评结果表明，学生的自评与其实际汉语水平多数甚至大多数是比较相符的，根据自评确定的教材大多数是合适的。
（四）换班情况及教材变换幅度
1.换班情况
在北大，学生进入班级学习之后发现不合适可以要求换班，由教学负责人根据学生的情况决定是否可换及如何换。学生要求换班的原因复杂，但是教学难度不合适是一个重要的原因。换班率的高低在一定程度上反映了分班评价的效果。表10、表11反映了2016—2017年的换班情况。
2015年使用的是测试分班，2016年和2017年是自评分班。表10、表11显示，实行自评分班后，学生换班率总体上并没有增加。2017年秋季长期项目换班率偏高并非趋向，因为2018年秋季的换班率为6.8%，总体上看自评与测试分班的换班率差别不大。比较一下短期与长期项目可以发现，长期项目的换班率明显低于短期项目，其原因我们认为是长期项目确认教材的环节起了作用。
2.教材变换幅度
长期项目在测试或自评之后，经过确认教材和个别学生的换班，即进入正常教学。尽管此后仍会有学生觉得不合适，但是从总体上说，到了这一阶段大多数学生的教材已能满足进行正常教学活动的要求，因此，我们把这一阶段的教材作为研究的一个参照点，称作“最终教材”，而把最初根据分数预估的教材称作“预估教材”。
观察从预估到最终的教材变动情况，能够检查测试分数和自评分数的预估精度和偏离的程度。
表12显示教材的变动很有规律，教材一致及调一本教材的占大多数，其中2015年测试教材一致及调一本教材的比例为95.58%，2016年自评这一比例为85.31%，2017年自评这一比例为90.25%。调两本及以上教材的比例有规律地逐渐减少。如果把最终教材作为基本合适的教材，可以看出一种误差分布的规律。比较测试和自评可以看出，虽然测试的精度高于自评，但是自评的精度已达到85%以上，已可以满足推荐教材的基本要求。2017年自评经过调整分数线，教材一致及调一本教材的比例已经明显提高，达到了90%，与测试的差别不是很大了。
再看一下长期项目教材变动的方向，见表13。
表13显示，自评与测试的教材变动方向很不一样，测试以向上换为主（换到难度更高的教材），而自评则以向下换为主。这种差别在2015年测试和2016年自评中表现得尤为明显。测试分数偏低是测试分班中比较常见的一种情况，即所谓没考好，一些学生已有的语言交际能力在测试分数中没能反映出来。自评分数偏高则有多方面原因。2016年自评后我们做了分析，认为主要是因为分数线设定不当。经过分数线调整，2017年向下调的比例明显得到控制，但是总的趋势并没有变化。
长期项目由九个相互衔接、逐步递进的教材段构成：从低到高依次为《起步1》《起步2》《加速1》《加速2》《冲刺1》《冲刺2》《飞翔1》《飞翔2》《飞翔3》。我们把确认教材前各段的测试或自评的均分作为预估分，把确认教材及换班后各教材段的均分作为最终分，检查一下前后两组分数的相关性。
图2、3、4显示，测试和自评的预估均分从总体上与最终均分相当接近，为强相关。
我们将每个学生的最终教材设定为分班的目标，用1—9表示九个教材段，作为因变量，将每个学生的测试或自评总分作为自变量，使用一元线性回归分析来检查测试和自评分数对于学生最终教材的预测能力，结果见表14。
回归方程的模型检验显示，无论是2015年的测试，还是2016年、2017年的自评，方程的决定系数（coefficient of determination）R2都在0.8以上，表示根据测试或自评分数所做的教材预估的有效性达到了80%以上。此外，方差检验和T检验均表明，无论测试还是自评，回归方程的线性关系显著，回归方程的系数显著。
比较自评和测试，尽管在数值上自评比测试还是差一些，但差距不大，能够满足预估最终教材的基本要求。
（本文发表于《国际汉语教育（中英文）》2020年第3期，更多文章信息，请扫描下方二维码，移步知网下载）
2020年第3期目录
关于我们
刊物简介
《国际汉语教育（中英文）》是由中华人民共和国教育部主管，北京外国语大学主办，外语教学与研究出版社、北外中国语言文学学院、北外孔子学院工作处共同承办的学术刊物。国际标准连续出版物号为ISSN2096-3106，国内统一连续出版物号为CN10-1385/H，季刊，16开，公开发行。
栏目简介
本刊特稿：邀请业内专家对国际汉语教育领域相关问题进行深入研究与探讨。
专家主题论坛：每期确定一个业内主题、一个专家主持人，邀请几位专家围绕这一核心主题，从各自视角深入探讨。
专业建设研究：对国际汉语专业建设的现状与问题进行研究。
教师培养发展：对汉语教师培养与发展的相关问题，如人才培养模式、不同国家与地区师资培训的现状与需求进行探讨与研究。
汉语教学研究：对汉语教学中的实际问题、教学方法、教学经验等进行思考、研究与分析。同时，特别关注K-12汉语教学的状况，并对相关教学问题进行探讨与分析。
学习者研究：对学习策略、学习方法、学习环境等可能影响汉语学习者学习效果的因素进行调研与分析。
学术研究新论：介绍国际汉语学术领域前沿动态，探讨业内的重点、热点问题，倡导不同学术观点的争鸣，搭建学术对话与交流平台。
二语习得研究：介绍第二语言习得研究的最新信息，并对汉语作为第二语言教学进行分析与研究。
汉语测评研究：研讨汉语水平测试、汉语教学的测试与评估等相关问题。
海外教学动态：及时报道海外不同国家与地区汉语作为第二语言教学的相关信息，对汉语教学情况进行介绍与研究。
汉语国际传播：报道世界各国语言学习、传播的历史与经验，对汉语国际传播的现状、趋势、对策等进行研究。
新媒体教学研究：关注新媒体技术对汉语教学的影响，探讨将新媒体技术与汉语教学相结合，提升教学效果、提高学习效率的方法。
教学资源研究：对国际汉语教学资源进行介绍、分析和研究。
汉语教学漫谈：汉语教学名师漫谈教学中的感悟与反思。
我的汉语之路：采用访谈形式，对汉学家或在汉语学习中取得突出效果的汉语学习者进行采访，分享他们在汉语学习中的经验，以资借鉴。
书评/综评/综述：对国际汉语领域或二语习得领域的优秀图书及产品进行评述与分析；对业内的重大会议或相关问题进行综述与评论。
联系方式
本刊网址
http://gzzy.cbpt.cnki.net/
（识别下方二维码即可访问）
（扫码访问《国际汉语教育（中英文）》网站）
电子邮箱：
gjhyjy@fltrp.com
联系电话：
（8610）88819623（赵老师）
（8610）88819269（安老师）
《国际汉语教育（中英文）》
订购方式
（2021年将改名为《国际中文教育（中英文）》）
扫描下方二维码预订2021全年期刊（请用手机淘宝、天猫app扫码进入）
单期订购方式：
①外研社天猫旗舰店（请用手机淘宝、天猫app扫描二维码进入）
②北京外研书店（8610）88819915
欢迎大家访问本刊网站！
本刊诚邀业内专家、学者及相关人士赐稿，
非常感谢！
往期精选
1
2
3
编辑 | 李彩霞 赵青 安琪
美术编辑 | 龚芳斌星（实习）
原创稿件，转载请注明来自微信订阅号：外研社国际汉语
欢迎分享与转发
点击“阅读原文”访问期刊官网