品科PINKE
2017/12/5 15:15:33
参照过去人工评卷的方法，我们将网上阅卷系统按照三个阶段来评卷，并且在计算机系统的控制下，过去很多好的评卷思想由于客户条件无法实现或者不能很好的实现，现在可以得到充分利用，不仅能够提高评卷质量，更能够促进和考察评卷员的评卷质量。
试评阶段：将部分或全部试卷分发给评卷员评卷，主要是同一评卷员对评分标准的掌握尺度。试评试卷来自于考生的正常答卷，对其评卷不影响考生的最终成绩。
正评阶段：由系统将考生试卷随机地分发给评卷员，系统经过误差控制，产生考生的最终成绩。
检查阶段：由评卷组长随机对某试题或某评卷员的评分结果进行检查。考察各教师的评分稳定性。该阶段实际上是与正评阶段同时进行的。
对设置了三评的答卷/答题，系统首先随机将答卷分发给两个评卷教师，这两个评卷教师评阅完成后得出X1，X2两个评分，此时系统将对【X1-X2】的绝对值进行比较，如其绝对值小于容许的误差值，则系统将自动取X1，X2的平均值作为该考生的得分；如超出容许的误差值，系统将把该考生的答卷自动分发给第三人评卷人。第三评卷评阅完成后，得到X3的评分，此时系统对三人评分值的两两之差进行比较，如果它们的差值在容许误差范围内，则系统将取三位评卷人员的评分中，差值最小的两个评分的平均值作为该考生的得分，否则系统将该考生的答卷转发评卷组长进行终评。
质量控制 在评卷过程中，虽然通过误差控制可以有效地抑制了考生成绩的评判误差，但是所有评卷员在评卷中对标准掌握得是否一致，每一个评卷员在评卷过程中对标准的掌握是否一致，均影响着评卷的质量、速度和考生的成绩。系统通过以下两个控制来进一步抑制误差、提高阅卷的整体质量、效率。
评卷员之间一致性控制 控制每个评卷员之间的一致性。使用的数学模型为柯斯检验法。简述如下：首先计算出整体评卷的分数－人数比曲线，再计算评卷员个人的个人分数－人数比曲线；这时比较两个曲线的拟合程度，如果超过设置的允许值，则认为评卷有误差，否则就没有误差。
评卷员个人一致性控制 个人一致性控制主要通过个人复评试卷来检验评卷员在评卷中的稳定性。系统每隔一段时间（可以定时，可以随机，随机时要保证一定间隔）自动在评卷员已评试卷中抽取一定数量的个人复评试卷分发给评卷员进行评卷。
个人复评主要是检查评卷员在不同的时间对同一份试卷评判是否一致，并将比较结果写入统计结果库，以此来检查评卷老师在评卷过程中的“稳定性”。 其中个人复评的结果分数不作为有效评分。
相关文章
