天才一秒记住【热天中文网】地址:https://www.rtzw.net
从图中可以看到同样是正确次数得分20,但是对于不同难度的模块会有146,149和153三个不同的报告分数。
不同难度的模块对应不同的分数范围限制,在一次测验中只能将被试分配到简单、中等和困难其中的一个模块中。
从图中还可以看出,错误作答1个题目会引起不超过2个报告量尺分数的变化。
正确次数得分到报告分数的转换表明了计分过程稳健性的程度较好。
分数转换图也突出了测验设计和组卷时需要注意的潜在问题。
一个问题是,得分差距。
图10-1-2所示正确次数得分38和39分别对应报告量尺分数167和169,这里跳过了168。
由于这个问题与量尺化有关,组卷蓝图与修订量尺同时开发以确保每一个测验的分数差距不会超过1,将这个准则设定为规范和量尺化的目标。
另一个问题是,简单、中等和困难模块计分的显著重叠,这与路由决策的不确定性有关。
当路由决策是由部分信息量来做出决定时,一些被试的真实能力与路由划界分数会非常靠近,这些被试将被分配到难度较为简单的模块中。
由此可见,在分数转换的过程中,量尺的转换会引起一定的偏差,并且路由决策的结果也会对被试的能力值估计以及分数的转换带来一定的影响(Robin&Steffen,2014;Robin,Steffen&Liang,2014)。
图10-1-2正确次数得分与报告量尺分数转换图
(摘自Robin&Steffen,2014)
图10-1-3所示为一个典型的测量结果报告图。
该测量结果显示了图10-1-1中所示的MST测验被试可能被分配到阶段二中每一个模块的情况。
除非被试得分低于138,则低能力或者高能力的被试将被分配到中等难度的模块,测量的标准误和计分错误保持在可接受的3.0±0.3范围内。
路由划界分数设定在估计的量尺分数146和155之间,因此分别有接近30%,40%和30%的常模群体会被分配到简单、中等和困难的模块中。
这符合了GRE测验MST设计的基本要求。
顶部的实线表示每一个模块的测量标准误(SEM)。
底部的实线表示每一个模块的计分误差(Robin&Steffen,2014;Robin,Steffen&Liang,2014)。
图10-1-3两阶段GRE测验MST设计测量结果
(摘自Robin&Steffen,2014)
新的GRE测验在满足了所有设计目标要求的前提下,还能使被试有更好的测验体验。
MST测验形式让考试充分保持了纸笔测验形式的优势,既可以在模块内对题目进行浏览和检查,还能够修改答案。
其又结合了CAT测验自适应的特性,对不同被试匹配不同难度的模块,从而能够更加准确测量被试的能力值,也使得测验更加个性化。
并且大量的研究也证明MST测验设计具有一个较为稳健的结果,测量误差较小。
本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!