分类: 心理学 >> 心理测量 提交时间: 2023-11-22
摘要: G-DINA (the generalized deterministic input, noisy and gate)模型限制条件少,应用范围广,满足大量心理与教育评估测验数据的要求。研究提出一种适用于G-DINA等模型的同时标定新题Q矩阵与项目参数的认知诊断计算机化自适应测验(CD-CAT)在线标定新方法SCADOCM,以期促进CD-CAT在实践中的推广与应用。本研究分别基于模拟题库以及真实题库进行研究,结果表明:相比传统的SIE方法,SCADOCM在各实验条件下均具有较为理想的标定精度与标定效率,应用前景较好;SIE方法不适用于饱和的G-DINA等模型,其各实验条件下的Q矩阵标定精度均较低。
分类: 心理学 >> 心理测量 提交时间: 2023-11-13
摘要: 作答选择题可被看作从噪音中提取信号的过程,研究提出了一种基于信号检测论的认知诊断模型(SDT-CDM)。新模型的优势在于:(1)无需对选项进行属性层面的编码。(2)能获得传统诊断模型无法提供的题目区分度和难度参数。(3)可以直接表达每个选项之间的合理性差异,对题目性能刻画更加细微全面。两个模拟研究结果表明:(1)EM算法可以实现对新模型的参数估计过程,便捷有效。(2)SDT-CDM具备良好性能,分类准确性和参数估计精度较高以外,还能提供选项层面的估计信息,用于题目质量诊断与修订。(3)属性数量、题目质量与样本量等因素会影响SDT-CDM的表现。(4)与称名诊断模型NRDM相比,SDT-CDM在所有实验条件下对被试的分类准确性更高。实证研究表明:SDT-CDM比NRDM具有更好的模型数据拟合结果,其分类准确性和一致性更高,尤其当属性考察次数较少时具有很强的稳定性,难度和区分度参数与IRT模型估计结果的相关性也更高,值得推广。
分类: 心理学 >> 心理测量 分类: 心理学 >> 心理统计 提交时间: 2023-05-11
摘要: 心理学研究中,不恰当的模型参数估计框架或收敛准则严重影响模型参数点估计的可靠性,进而影响到研究结论的可靠性。本研究提出了基于MLE-EM的CDM模型参数估计新框架,以及新收敛判断方法。通过模拟研究与实证数据分析的方式,探索了新参数估计框架和新收敛判断方法的表现,并与已有模型参数估计框架及收敛判断方法进行了比较。结果显示,新的模型参数估计框架及收敛准则的表现优于已有的模型参数估计框架及收敛准则,能有效提高模型参数点估计的可靠性。
分类: 心理学 >> 发展心理学 提交时间: 2023-03-28 合作期刊: 《心理科学进展》
摘要: 随着认知诊断计算机化自适应测验(cognitive diagnostic computerized adaptive testing, CD-CAT)理论与实践的发展, 兼顾知识状态与能力的双目标CD-CAT逐渐受到重视。选题策略是CAT的核心, 通过梳理传统CD-CAT和双目标CD-CAT选题策略的研究, 并对它们的特点、关系及表现进行介绍和评析。最后, 基于认知诊断模型与CAT实践发展指出未来应加强一般化认知模型、复杂测验条件认知诊断模型下选题策略的研究; 应开发双目标诊断测验的项目和测验特征指标; 还应加强非参数选题方法和CD-CAT的实践应用研究。
分类: 心理学 >> 社会心理学 提交时间: 2023-03-28 合作期刊: 《心理科学进展》
摘要: Q矩阵代表着项目考察的属性, 反映了项目的重要特征, 其正确性是影响认知诊断分类准确性的关键因素。研究Q矩阵估计(修正)方法具有重要价值。首先, 研究从是否采用认知诊断模型将Q矩阵估计(修正)分为基于认知诊断模型视角下的参数化方法和基于统计视角下的非参数方法。然后, 分别从最优项目质量、最优模型数据拟合和参数估计视角对它们进行分类介绍, 评析不同方法的特征和表现、区别与联系、优势与不足。最后, 提出几个未来研究问题:在复杂测验条件下系统比较各种方法; 校准知识状态和参数估计误差、结合多种思路和方法等多角度提出Q矩阵估计(修正)方法; 研究多级评分项目、混合测验模型、属性多级、属性个数未知甚至Q矩阵元素为连续变量等条件下的Q矩阵估计(修正)方法。
分类: 心理学 >> 社会心理学 提交时间: 2023-03-27 合作期刊: 《心理学报》
摘要: 科学素养是指作为一名有反思意识的公民所具有的解决科学问题和运用科学理念的能力。为实现在认知诊断中对科学素养的测评, 本文基于PISA 2015科学素养测评框架首次提出科学素养包含的三阶潜在结构, 使用新提出的多阶认知诊断模型对PISA 2015科学测评数据进行分析, 并通过模拟研究探究新模型的心理测量学性能。结果表明:(1)新模型能够较好地分析包含三阶潜在结构的科学素养; (2)科学知识对科学素养的影响最大, 科学背景次之, 科学能力的影响最小; (3)全贝叶斯MCMC算法能够为新模型提供较精准的参数估计。
分类: 心理学 >> 社会心理学 提交时间: 2023-03-27 合作期刊: 《心理学报》
摘要: 基于分部评分模型的思路, 本文提出了一般化的分部评分认知诊断模型(General Partial Credit Diagnostic Model, GPCDM), 与国际上已有的基于分部评分模型思路的多级评分模型GDM (von Davier, 2008)和PC-DINA (de la Torre, 2012)相比, GPCDM的Q矩阵定义更加灵活, 项目参数的约束条件更少。Monte Carlo实验研究表明, GPCDM模型的参数估计精度指标RMSE介于[0.015, 0.043], 表明估计精度尚可; TIMSS (2007)实证数据应用研究表明, 与GDM和PC-DINA模型相比, GPCDM与该数据的拟合度更好, 并且使用GPCDM分析该数据的诊断效果也更优。总之, 本研究提供了一种约束条件更少、功能更为强大的多级评分认知诊断模型。
分类: 心理学 >> 社会心理学 提交时间: 2023-03-27 合作期刊: 《心理学报》
摘要: 双目标CD-CAT的测验结果既可用于形成性评估也可用于终结性评估。基尼指数可度量随机变量的不确定性程度, 值越小则随机变量的不确定程度越低。本文用基尼指数度量被试知识状态类别以及能力估计置信区间后验概率的变化, 提出基于基尼指数的选题策略。Monte Carlo实验表明与已有的选题策略相比, 新策略的知识状态分类精度和能力估计精度都较高, 同时能有效兼顾题库利用均匀性, 并能快速实时响应, 且受认知诊断模型和被试知识状态分布的影响较小, 可用于实际测验中含多种认知诊断模型的混合题库。
分类: 心理学 >> 社会心理学 提交时间: 2023-03-27 合作期刊: 《心理学报》
摘要: 多模态数据为实现对认知结构的精准诊断及其他认知特征(如, 认知风格)的全面反馈提供了可能性。为实现对题目作答精度、作答时间(RT)和视觉注视点数(FC)的联合分析, 本文基于联合-交叉负载建模法提出3个多模态认知诊断模型。实证研究及模拟研究结果表明: (1)联合分析比分离分析更适用于多模态数据; (2)新模型可直接利用RT和FC中信息提高潜在能力或潜在属性的估计准确性; (3)新模型的参数估计返真性较好; (4)忽略交叉负载所导致的负面结果比冗余考虑交叉负载所导致的更严重。
分类: 心理学 >> 社会心理学 提交时间: 2023-03-27 合作期刊: 《心理学报》
摘要: Q矩阵的正确性是影响题目参数估计和被试分类准确性的重要因素。针对Q矩阵修正问题, 首先提出了一种简单有效的新方法(ORDP)。然后, 模拟研究通过改变被试知识状态的分布、样本容量(N)、测验长度(L)、Q矩阵错误率(M)、项目质量(Iq)和属性层级结构, 比较了ORDP与已有方法(R、RMSEA和HD)的表现。研究表明:(1) 当知识状态服从均匀分布时, ORDP方法在所有层级结构下最优; 当知识状态服从多元正态分布时, RMSEA和ORDP表现没有明显差异, 除独立结构外, RMSEA方法均稍优于ORDP方法; (2) 各方法在多元正态分布下的修正效果不及均匀分布时的修正结果; (3) N、L、M、Iq和属性层级结构对4种方法的表现均有明显影响; (4) 基于Tatsuoka (1984)分数减法数据的修正结果表明, 采用ORDP方法修正的Q矩阵与数据拟合最优。
分类: 心理学 >> 社会心理学 提交时间: 2023-03-27 合作期刊: 《心理学报》
摘要: 项目增补(Item Replenishing)对认知诊断计算机自适应测验(CD-CAT)题库的维护有着至关重要的作用, 而在线标定是一种重要的项目增补方式。基于数据挖掘中特征选择(Feature Selection)的思路, 提出一种高效的基于熵的信息增益的在线标定方法(记为IGEOCM), 该方法利用被试在新旧题上的作答联合估计新题的Q矩阵和项目参数。研究采用Monte Carlo模拟实验验证所开发新方法的效果, 并同时与已有的在线标定方法SIE、SIE-R-BIC和RMSEA-N进行比较。结果表明:新开发的IGEOCM在各实验条件下均具有较好的项目标定精度和项目估计效率, 且整体上优于已有的SIE等方法; 同时, IGEOCM标定新题所需的时间低于SIE等方法。总之, 研究为CD-CAT题库中项目的增补提供了一种更为高效、准确的方法。
分类: 心理学 >> 社会心理学 提交时间: 2023-03-27 合作期刊: 《心理学报》
摘要: 数据缺失在测验中经常发生, 认知诊断评估也不例外, 数据缺失会导致诊断结果的偏差。首先, 通过模拟研究在多种实验条件下比较了常用的缺失数据处理方法。结果表明:(1)缺失数据导致估计精确性下降, 随着人数与题目数量减少、缺失率增大、题目质量降低, 所有方法的PCCR均下降, Bias绝对值和RMSE均上升。(2)估计题目参数时, EM法表现最好, 其次是MI, FIML和ZR法表现不稳定。(3)估计被试知识状态时, EM和FIML表现最好, MI和ZR表现不稳定。其次, 在PISA2015实证数据中进一步探索了不同方法的表现。综合模拟和实证研究结果, 推荐选用EM或FIML法进行缺失数据处理。
分类: 心理学 >> 社会心理学 提交时间: 2023-03-27 合作期刊: 《心理学报》
摘要: 认知诊断评估中缺失数据的处理是理论和实际应用者非常关注的研究主题。借鉴随机森林插补法(RFI)不依赖于缺失机制假设的特点,对已有的RFI方法进行改进,提出采用个人拟合指标(RCI)确定插补阈值的新方法:随机森林阈值插补方法(RFTI)。模拟研究表明,RFTI在插补正确率上明显高于RFI方法;与RFI和EM方法相比,RFTI在被试属性模式判准率和边际判准率上表现出明显优势,尤其是非随机缺失和混合缺失机制,以及缺失比例较高的条件下,其优势更加明显。但对项目参数的估计,RFTI方法不具有优势。
分类: 心理学 >> 社会心理学 提交时间: 2023-03-27 合作期刊: 《心理学报》
摘要: 认知诊断模型的标准误(Standard Error, SE; 或方差—协方差矩阵)与置信区间(Confidence Interval, CI)在模型参数估计不确定性的度量、项目功能差异检验、项目水平上的模型比较、Q矩阵检验以及探索属性层级关系等领域有重要的理论与实践价值。本研究提出了两种新的SE和CI计算方法:并行参数化自助法和并行非参数化自助法。模拟研究发现:模型完全正确设定时, 在高质量及中等质量项目条件下, 这两种方法在计算模型参数的SE和CI时均有好的表现; 模型参数存在冗余时, 在高质量及中等质量项目条件下, 对于大部分允许存在的模型参数而言, 其SE和CI有好的表现。通过实证数据展示了新方法的价值及计算效率提升效果。
分类: 心理学 >> 社会心理学 提交时间: 2023-03-27 合作期刊: 《心理学报》
摘要: Q矩阵是CDM的核心元素之一, 反映了测验的内部结构和内容设计, 通常由领域专家根据经验进行主观界定, 因此需要对可能存在的错误进行修正。本研究提出了一种新的Q矩阵修正方法——基于完整经验交叉相乘信息矩阵的Wald-XPD方法。采用Monte Carlo模拟检验了新方法的表现, 并与同类方法进行了比较。研究表明:新开发的Wald-XPD方法在Q矩阵恢复率、保留正确标定属性的比例以及修正错误标定属性的比例这3个主要指标上均有较好的表现, 且整体上优于其他方法, 尤其是在修正错误标定的属性方面。通过实证数据展示了Wald-XPD方法在Q矩阵修正中的良好表现。总之, 本研究为Q矩阵修正提供了有效的方法。
分类: 心理学 >> 社会心理学 提交时间: 2023-03-27 合作期刊: 《心理学报》
摘要: 选择题中的作答选项能提供额外诊断信息, 为充分利用选项信息, 研究提出认知诊断计算机自适应测验(CD-CAT)中两种处理选择题选项信息的非参数选题策略和变长终止规则。模拟研究的结果发现:(1)定长条件下两种非参数选题策略的分类准确性整体要高于参数选题策略; (2)两种非参数选题策略较参数选题策略具有更加均衡的题库使用情况; (3)非参数选题策略在两种新的变长终止规则下具有更高的分类准确率; (4)两种非参数选题策略均适用于选择题CD-CAT情境, 使用者可任选其一进行测验分析。
分类: 心理学 >> 社会心理学 提交时间: 2023-03-27 合作期刊: 《心理学报》
摘要: 充分挖掘选择题(Multiple-Choice, MC)的诊断信息受到了较多关注, 将干扰项信息考虑在内可以提升诊断精度。为了弥补参数模型基于大样本才能获得可靠估计的不足, 以及适用于班级水平的小样本诊断测验情境, 本研究提出了非参数的多选题诊断方法。模拟和实证研结果表明:(1)当MC测验中题目参数不存在较大差异时, dph−MCdph−MC{{d}_{\text{ph}-\text{MC}}}法在多数情况下表现优于参数类诊断模型。(2)当MC测验中题目参数存在较大差异时, dph−MCdph−MC{{d}_{ph-MC}}法的表现最优。(3)实证研究中非参数方法和参数类模型的分类一致性程度较高, dph−MCdph−MC{{d}_{\text{ph}-\text{MC}}}距离法估计得到的考生属性总体掌握程度与总分相关最高。最后, 基于MC诊断测验的特点提出了若干研究方向。
分类: 心理学 >> 心理测量 提交时间: 2022-10-06
摘要: 研究通过在纵向诊断数据分析中引入计算简单、耗时少的汉明距离判别法(HDD),提出了纵向HDD (Long-HDD)。与HDD相比,Long-HDD额外使用汉明距离刻画个体在相邻时间点上对属性掌握的相依性,以利用前一时间点信息提高当前时间点的分类准确性。三个模拟研究的结果主要表明:在分析纵向诊断数据时,与参数化模型相比,Long-HDD的分类准确性几乎不受样本量影响,在样本量较小时表现更优;且其计算耗时更少,更有利于提供及时性诊断反馈。实证研究结果表明Long-HDD可用于分析实践测评数据,且其追踪诊断结果与参数化模型的存在一致性。
分类: 心理学 >> 心理统计 分类: 心理学 >> 心理测量 提交时间: 2022-07-15
摘要: Q矩阵是CDM的核心元素之一,反映了测验的内部结构和内容设计,通常由领域专家根据经验进行主观界定,因此需要对可能存在的错误进行修正。本研究提出了一种新的Q矩阵修正方法基于完整经验交叉相乘信息矩阵的Wald-XPD方法。采用Monte Carlo模拟检验了新方法的表现,并与同类方法进行了比较。研究表明:新开发的Wald-XPD方法在Q矩阵恢复率、保留正确标定属性的比例以及修正错误标定属性的比例这三个主要指标上均有较好的表现,且整体上优于其他方法,尤其是在修正错误标定的属性方面。通过实证数据展示了Wald-XPD方法在Q矩阵修正中的良好表现。总之,本研究为Q矩阵修正提供了有效的方法。
分类: 心理学 >> 心理测量 分类: 心理学 >> 心理统计 分类: 心理学 >> 教育心理学 提交时间: 2022-05-12
摘要: 通常情况下,认知诊断需要通过认知诊断模型对被试进行诊断评价。认知诊断模型所生成的诊断结果的有效性依赖于被试作答反应是否与所选用的模型拟合。因此,在对诊断结果进行评估的时候,需要通过被试拟合分析来对被试个体的作答反应与模型的拟合情况进行检验,以避免错误或无效的补救措施。本研究基于加权的得分残差,提出认知诊断评价中新的被试拟合指标R 。模拟研究结果表明,R 指标的一类错误率有较好的稳定性,对随机作答、疲劳、睡眠和创造性作答四种异常被试类型均有较高的统计检验力。并将R 指标应用于分数减法实证数据,展示R 指标在实际测验中的使用过程。