天才一秒记住【热天中文网】地址:https://www.rtzw.net
2.项目分析和筛选
两批题目子样本分别接受了单维性检验、局部独立性检验、项目特征曲线(ItemRespoemCharacteristicCurve)、项目功能差异(DIF)、测验等值、项目参数。
(1)单维性检验和局部独立性检验。
第一,单维性。
尽管题库中题目的单维性并不是IRT-CAT的一个先决条件,但是大部分的IRT应用模型都含有单维性假设。
这意味着在项目作答数据中,公共方差可归因为有单一的潜在特质变量。
该研究中所采用的GPCM模型也是基于单维性假设的。
为考察这组数据的单维性,使用Mplus软件做了验证性因子分析(CFA),并删除了因子载荷小于0.4的题目(Nunnally,1978)。
第二,局部独立性。
这是IRT模型所固有的,这意味着,当被试的特质水平不变时,他在任何一道题目上的作答与在其他题目上的作答是独立的。
为了检验局部独立性,研究者使用Mplus软件分析了单因子模型的残差相关。
尽管局部独立性意味着残差相关为0,一些研究发现IRT模型的参数估计在轻微违反单维性假设时还是相当稳健的(DrasgowF,ParsonsC,1983;ReckaseM,1979)。
当一个题目与其他题目残差相关大于0.25,且占比超过题目总数的15%,就删掉这道题。
研究者也指出,选择相关系数0.25作为分界值,这个标准多少是有些主观的,毕竟就他们所知还没有一个被证实了的经验标准。
正如Embretson和Reise(2000)所说,所有模型的局部独立性是可以与现实近似的,稍微偏离局部独立性假设对模型参数的估计是不受影响的。
经CFA检验,剩余的64道题目符合单因素模型。
(2)项目特征曲线(项目反应曲线)。
应用非参数平滑技术,使用TestGraf软件计算出了项目特征曲线,以便题目更好地发挥功能,方便IRT模型分析。
每个项目选项特征曲线均与潜在特质相关。
(3)项目功能差异(DIF)。
DIF检验用来识别因为群体的差异所造成的系统误差,如性别、年龄、取样等。
使用有序多分类LogistiousLressionModel)来实现DIF分析,其中题目的作答作为因变量,群组成员作为自变量。
当控制住了量表分数,不同的群体成员在项目得分上有直接作用,则称为良性DIF,当量表分数与群体发生交互作用时,这称为不一致的DIF。
鉴于本研究中的样本量较大,微弱DIF效应可能会统计显著,因此使用Nagelkerke(1991)的决定系数R2作为指标来评估DIF。
决定系数R2被用来解释回归模型中变异的比率。
当群体效应或群体与量表的交互效应使R2增加了0.03以上,则认为存在DIF。
研究者解释道,应用这么一个相对严格的临界值是为了保证所有的项目对于不同年龄或性别的群体都是适用的。
(4)测验等值。
使用锚测验设计的方法进行等值处理。
(5)项目参数。
使用GPCM模型估计项目参数。
GPCM是一个双参模型,允许项目之间有不同的区分度,双参模型比条件苛刻的单参数模型可能更拟合数据特征。
区分度允许我们为每一道题估计项目信息函数。
低区分度的试题被应用的可能性很低,因此,从题库中删除低区分度a<0.7的题目。
先前的模拟研究发现,这类低区分度的项目在题库中被选中的概率不到0.05%,所以将这些项目舍去,测试也不受任何影响。
3.评估算法和测验特性
本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!