热天中文网

第二 可修改答案的计算机化自适应测验设计与方法(第2页)

天才一秒记住【热天中文网】地址:https://www.rtzw.net

而且两种设计中被试还不能返回修改前一个单元,被试并不能按照自己的考试习惯来修改答案,这也给被试带来了极大的不便。

设计三在应用中还存在一些局限性。

例如,在只考查阅读水平的测验中,所有的题目都拥有共同的刺激背景,如何来划分题目单元将会很困难;相反如果一个测验的绝大部分题目都没有共同刺激背景,那么设计三与传统CAT几乎没有差异。

(二)优化的Stog设计

针对Stog设计造成的RCAT效率的下降,Vispoel等人(2000)将Stog设计加以改进提出了优化的Stog法。

该方法的思路是允许被试在作答题目单元时,暂时将不确定答案的题目标记起来,待当前单元内的其余题目全部作答完以后,计算机会再次呈现该单元内的所有题目供被试修改,通过标记待修改题目节约了测验的时间。

另外,计算机屏幕下方会显示测验所剩余的时间,以此提醒被试合理安排时间,如果被试不想受到时钟的干扰也可以选择将其隐藏。

Vispoel等人(2000)将优化的Stog法应用到真实的CAT中,测验包括40道考查词汇记忆的题目。

实验结果表明这种方法是非常有效的,因为在修改阶段被试花费55%的时间用于修改标记过的题目(标记的题目只占总题目数的6.93%)。

优化后的Stog法的平均测验时间只比传统CAT多了12%,而且差异不显著。

在将测验分为8个题目单元时,其测验时间只比传统CAT多了6%。

这都说明优化的Stog法对提高RCAT的效率是有效的。

从实验结果来看,Stog设计(尤其是设计二)和优化Stog设计都将RCAT的效率和精度保持在一定的范围内。

但是这些设计都将被试的修改行为限制在一个题目单元内,被试必须修改完当前题目单元并提交答案之后再作答下一个单元(除非被试放弃修改当前题目单元),在这种测验环境中,被试的作答习惯会受到极大的限制。

并且要成功应用以上设计还需要对每个题目单元单独限时,在应用于RCAT中如何规定每个单元的测验时间也是个很复杂的问题。

如果每个单元的作答时间是没有限时的,那么被试在作答完一个单元之后就会纠结要不要花时间来修改,修改过程中又要担心花费时间过长影响后面的答题。

这种情形导致被试在整个测验过程中经常处于一种焦虑的状态,而由此带来的考试焦虑有可能更高。

另外,按照以往的纸笔考试习惯,遇到一些难题或是暂时想不起答案的题目,考生经常会跳过这些题目继续作答。

然而在Stog设计和优化Stog设计中并不允许被试跳过题目来作答,甚至在一个单元内也不能跳过。

也许有考生认为在遇到较难的题目时先随意选择一个答案,等到一个单元作答完毕之后再修改答案,但这样做又会违背CAT的选题策略,反而会引起更大的误差。

(三)题目口袋(ItemPocket)设计

Stog(1997)的设计将题目划分为单独的小单元,被试只允许修改单元内的题目。

所以被试每作答一个单元就要做出一个决定:是否要花费时间去修改当前单元,还是抓紧时间作答剩余单元。

另外,修改答案后会造成“人题”

不匹配,Stog和优化Stog法的设计中都没有消除“人题”

不匹配造成的测量误差。

针对以上两种设计的缺陷,Han(2013)提出了一种题目口袋(ItemPocket,IP)法。

1.题目口袋法的设计方案

IP的设计思路是指在测验的过程中,计算机为被试提供了一种题目口袋选择,即允许被试在作答过程中,随时可以把待修改的题目或者暂时想跳过的题目放入IP中,然后接着作答下一个题目,放入IP内的题目不参与当前能力估计。

当IP容量已满后,被试需要替换一题才能再次放入。

在规定的测验时间内被试随时可以修改IP内的题目,修改后的题目自动从IP内释放。

测验时间结束后IP内还未被释放的题目视作错误作答。

从IP内释放的题目与IP外的题目一样也参与被试的能力估计,IP容量可以根据测验的长度、时间等设定。

2.题目口袋设计的评价

IP方法允许被试随时将不确定答案的题目放入其中,一来可以帮助被试有效安排时间,防止被试在一个不确定答案的题目上花费过长时间,影响剩余题目的作答。

二来IP方法允许被试跳过题目来作答,并且在IP内作答不影响IP外的选题,从而有效地降低了由于“人题”

不匹配引起的误差。

另外,与Stog和优化Stog法相比,在IP设计中被试对测验的控制感更足,更符合被试考试习惯,能有效降低被试的紧张及焦虑度。

但Han并没有指出IP容量大小该如何选择,IP容量过大或过小都会产生不利的影响。

本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!

如遇章节错误,请点击报错(无需登陆)

新书推荐

您的无限生存游戏已开启逍遥初唐被抛弃的首领受气包她不干了[快穿]从选秀冠军到全球巨星绝品神医都市游回到三国战五胡不会真有人觉得修仙难吧一睁眼,我穿成两个熊孩子后娘快穿之反派也是有骨气的鬼王的前半生流放前我已经富可敌国了开局就是死亡回归长公主病入膏肓后重生香江的导演卖油娘与豆腐郎武侠BOSS之路亚索的英雄联盟重生09做男神我老婆是传奇天后突然成仙了怎么办全球进化:我有属性面板拉仇恨从斗罗开始斗罗之神级选择系统诸天大航海时代