绿色圃中小学教育网

标题: 信息技术环境下SPSS统计软件对试卷质量的信度分析 [打印本页]

作者: 中学生作文 时间: 2014-1-20 22:51
标题: 信息技术环境下SPSS统计软件对试卷质量的信度分析
信息技术环境下SPSS统计软件对试卷质量的信度分析
摘要：随着科技的进步、教学理念的发展进步，教学与信息技术的结合已经成为教育界一种新的发展趋势，世界各国都在大力推进信息技术在教学过程中的普遍应用，加强信息技术在教学中的应用也必将成为我国教学改革的一个方向，SPSS的应用就是其中之一。SPSS（Statistical Package for Social Science）是目前国际最流行并具有权威性的统计分析软件之一，利用SPSS统计软件进行数据分析处理具有简单、方便、准确等特点。完整的试卷质量分析，必须把涉及总体分析的效度、信度和涉及分项分析的难度、区分度及成绩分布等指标结合起来综合考查。本文就从信度角度对试卷进行质量分析，挖掘考试结果中蕴藏的大量信息，以期试卷与试题的选择更为科学合理，从而提高教学质量和效率，使得考试能稳定反应学生实际水平，同时为教师在试题与试卷的选择上提供一定的借鉴与参考。
关键词：信息技术；SPSS软件；试卷质量；信度分析；
1、引言
教学是一所学校存在的核心，而教学评价则是衡量一所学校教育质量的标志。一般情况下，衡量一所学校教育质量的很大比重要看教学效果，即教学成绩的优劣，而教学成绩的检测来自于试卷，通过对试题和试卷进行定量分析，衡量其优劣，掌握科学的数据，全面了解教与学两方面的信息，及时发现教学活动中出现的问题，从而对教学做出合乎逻辑的调整，使教学活动保持最佳状态，最大限度的提高教学质量。因此，在编制或选用试题和试卷时，通常要采用信度、效度、难度和区分度等指标来衡量试题和试卷的优劣，以增加测试的科学性。通过对学生各项测试得分的统计分析，发现教学中存在的问题，帮助和指导教师在今后的教学中有针对性地解决问题，使教学工作更加富于实效。有效的试卷分析工作能客观地反映教学的水平与效果，可以帮助教师和学生发现教学活动中的薄弱环节，改进教学工作，提高教学质量。
2、SPSS介绍
2.1试卷分析的重要性
试卷分析是教学工作中的重要组成部分，同时也是每个教师必须完成的工作。通过对试卷进行分析，可以反馈学生学习结果和教师教学效果，帮助教师发现教学活动中的薄弱环节，提高教学质量。全面的试卷质量分析工作量很大，目前尚无较好的试卷质量分析软件。我们尝试用SPSS 软件进行分析，该软件能够满足试卷分析的全部指标。
2.2 SPSS的发展历程
SPSS的全称是：statistical Program for social sciences，即社会科学统计程序。SPSS原是为大型计算机开发的，其版本为SPSSx。20世纪80年代初，微机开始普及以后，它率先推出了微机版本（版本为SPSS/PC+x…x）。80年代末，Microsoft发表Windows后，SPSS迅速向Windows移植。至1993年6月，正式推出SPSS for Windows 6.0版本。该版本修正了以前版本的不足，使运行速度大大提高，根据统计理论与技术的发展，增加了许多新的统计分析方法，使之功能更加完善。与以往的SPSS for dos版本相比，SPSS for Windows显得更加直观易用。它采用现代的电子表格形式作为数据管理器，使用户变量命名、定义数据格式、数据输入与修改等过程一气呵成；采用菜单方式选择统计分析命令，简明快捷；采用对象连接和嵌入技术，使计算结果能被其他软件调用，实现数据共享，提高工作效率。目前我国正在使用的用户中，绝大部分是使用9.0、10.0、11.0或13.0等版本。
2.3 SPSS的使用方法
2.3.1 SPSS的运行环境
SPSS对微机的软硬件环境要求不高，其支持平台为 Windows95或以上版本即可，内存(RAM)为16MB以上，硬盘50MB及以上磁盘空间。

作者: 中学生作文 时间: 2014-1-20 22:51

2.3.2 主要窗口及其功能
SPSS主要有3大窗口：数据编辑窗(Data Editor)、结果输出窗 (Output Navigator)和语句编辑窗(Syntax Editor)。
3. SPSS的实际应用
3.1 试卷的信度
3.1.1信度的涵义
在教学评价中，信度（也称可靠性），是指考试能否稳定反映考生实际水平的程度。[1]因此可以说信度是反映考试结果可靠性、稳定性的一个重要指标。信
度的最大值为1，最小值为0。信度一般采用相关分析的方法，即用对同一对象
[1]刘成章主编. 信息技术教育学. 高等教育出版社，2002. 8.
两次考试的分数的相关系数的大小来表示一致性程度的高低。相关系数的绝对值越大，表明二者的密切程度越高。一种测验中，前后两次测试同样的被测试者，若前后两次测试结果的相关系数大，则表明该考试的信度高，即试卷可以科学地反映出学生的实际水平。
3.1.2信度的作用与分类
信度（Reliability）指测验结果的稳定性与可靠性程度，是反映学生水平程度的数量化指标。影响测验水平的因素诸多，测量结果的一致性可以从不同角度来分析，主要有：再测信度、复本信度、分半信度同、质性信度荷、伊特信度和评分者信度等。若X为测量值，Y为真实值，Z为测量随机误差，则真实值和测量值之间关系为：X=Y+Z，σ2X=σ2Y+σZ2，即测量值的方差等于真实值的方差与随机误差的方差之和，所以信度系数为：RX =σY2/σ2X=1-（σ2Z/σ2X）。
3.2 信度的度量方法
调查在各种领域的研究中都必须是可信的，并且经得起反复的检验，这样的调查才有价值。可信度指测量工具的稳定性，它代表反复测量结果的接近程度，理想的完全相同测量工具在实际工作中是不存在的。可信度的度量方法主要有以下几种：
表一：可信度的度量方法
可信度的测量方法调用过程分析结果备注
重测可信度 Scale→ReliabilityStatistics→
Intraclasscorrelationcoefficient选项内部相关ICC 系数测量变量为连续变量和等级变量> 0.75较好< 0.4较差
Descriptive statistics →Crosstabs
→ Kappa 选项 Kappa 系数测量变量为分类变量
复本信度 Correlation→bivariate根据需要可选择
Pearson、Kendall’s tau -b和Spearman 选项 Spearson相关系数、Kendall等级相关系数和Spearman等级相关系数
折半信度 Scale→Reliability Model中Split-half选项 Spearman-Brown 系数和Guttman Split-Half 系数
内部一致性信度 Scale→Reliability model 中Alpha选项 Cronbach's Alpha系数 > 0.8较好

评分者信度 Scale→ReliabilityStatistics中Friedman、chi-square 选项 Kendall 和谐系数调查者在三人以上或同一调查者测量三次以上
Correlation→bivariate根据需要可选择。Pearson 、Kendall’s tau -b和Spearman选项 Spearson 相关系数、Kendall 等级相关系数
和Spearman 等级相关系数两名调查者的评分者间可信度和测量两次的评分者内可信度

3.2.1 再测信度

作者: 中学生作文 时间: 2014-1-20 22:51

再测信度（Test-Retest Reliability）又称稳定性系数，是估计测验跨时间的一致性分析指标，试卷再测信度是进行试题评价的一项重要指标，指考试能否稳定反应学生实际水平的程度。用同一种测验对同一组被试者实施两次或更多次的测验，前后两次或多次测验分数间的相关系数即为再测信度。再测信度通过同一被试样本前后两次量表得分的pearson相关分析获得，如果相关系数为高度的正相关，则表示该测验信度高，反之则信度低。“再测信度”的计算是用同一试卷在先后两个不同时间内针对同一被测的两次测试，然后计算出两次考试分数的相关系数。由此可以看出，计算再测信度实际上使用的是重测法，其基本模式为：测试C1与测试C2，其中C 表示两次测试的试卷相同，C1，C2 表示同一测试试卷经过适当时间间隔实施两次。
3.2.2 复本信度
复本测验（Alternate-Form Reliability或Parallel Forms Test）是指在试卷格式、题数、难度、指导语说明、施测要求等方面都相当，并都用来测量相同潜在特质或属性，但被试以不同的测验。复本信度（跨版本的一致性分析）是指两个平行测验测量同一批被试所得结果的一致性程度，其大小等于同一批被试在两个复本测验上所得分数的相关系数。[2]
3.2.3折半可信度
只用一个测量工具对同一组受试者实施一次测量，但将奇数题和偶数题分开计分，再计算奇数题和偶数题分数之间的相关系数（roe），即为折半可信度，实
际可信度需要用斯皮尔曼- 布朗公式校正后得出：  ，也属于等值系数。
[2]黄光扬. 教育测量与评价[M]. 上海：华东师范大学出版社，2002，48.
3.2.4 内部一致性信度
内部一致性信度（Internal Consistency Reliability）也称为同质性信度，指的是测验内部全部题目间的一致性。采用克伦巴赫系数（Cronbach's  Alpha）检验总量表及分量表的内部一致性信度。研究认为：克伦巴赫α系数大于0.6即可表明题目间的内在一致性较好和可靠[3]。也有研究认为：如果是分量表，其信度系数最好在0.70以上，如果是在0.60～0.70之间，还可以接受使用，如果分量表的克伦巴赫α系数在0.60以下，应考虑重新修订量表或增删题目[4]。估计内部一致性信度的常用方法分别有分半信度法、库德尔-理查逊公式法、克伦巴赫系数法等。
Nunnally（1978）认为考试信度的判定标准：R大于0.9属于可靠性最高；R 大于0.85属于可靠性较高，考试成绩可以用于对学生个人进行评估；R值位于0.70～0.85之间，考试成绩多用于进行群体之间的比较；R小于0.70 属于可靠性不高。[5]
提高试卷的内部一致性可信度，在试卷设计时，可以采取的做法有：增加试卷中反映同一独立概念的项数；舍弃被试者回答计分平均分数趋近回答选项范围两极端点值的题项；舍弃被试者回答计分方差偏低的题项；排除单项总分相关系数低的题项。[6]
3.2.5 评分者信度
评分者信度（Scorer Reliability），有些测试评分是由评分者给被试者打分或评定等级，这种测量的可靠性完全取决于评分者评分时的一致性和稳定性程度。对于这种主观性较强的测试，就必须计算评分者信度，它分为评分者间信度和评分者内信度。评分者间信度是用于度量不同评分者间的一致性，评分者内信度是度量同一评分者在不同的场合下的一致性。估计评分者信度系数的常用方法有两种：两名评分者间信度和测量两次的评分者内信度可用Pearson相关系数或 Kendall Spearman等级相关系数表示；评分者在三人以上或同一评分者测量三次以上者，且采用等级评分时可以采用肯德尔和谐系数作为评分者信度估计系数。
[3]方积乾，陆  盈. 现代医学统计学. 北京：人民卫生出版社，2002：247～251.
[4]曾五一，黄炳艺. 调查问卷的可信度和有效度分析统计[J]. 统计与信息论坛，2005，20(6)-11.
[5]吴明隆. SPSS统计应用实务---试卷分析与应用统计. 北京：科学出版社2003.
[6]伍新春. 高等教育心理学[M]. 编高等教育出版社，1999.
3.3 信度分析在SPSS上的实现
要排除单项总分相关系数低的项目来提高试卷的内部一致性信度，在SPSS 上程序如下Analyze—Scale—Reliability Analysis，可选择Scale if item deleted的选项，然后根据运行结果中的corrected item-total correlation以及Alpha if item deleted两项数据作为判断准则。[7]估计分半信度和内部一致性信度可选择Model选项中Split-half和Alpha，得测试信度。选择 Statistics选项Intra-class correlation coefficient和Friedman chi-square可以分别利用内部相关系数（Intraclass Correlation Coefficient，ICC）和Kendall和谐系数分析重测信度和评分者信度。
信度是对测试对象而言，主要回答前后测量是否一致，即测试结果的可靠性问题。信度反映了考试中随机误差的大小，信度代表测量的稳定性与可靠性，考试信度高说明其“真实可靠”，一切与测试有关的环节都会影响试卷的效度，测量信度是试题的随机误差的反映，在考察测量效度时，一定要注意测量信度。

作者: 中学生作文 时间: 2014-1-20 22:51

4. 结语
在考试中，试卷是进行测量的工具。要提高测量的精度，需要运用科学的测量理论和恰当的测量工具对组成试卷的项目进行分析，具有较高信度的试卷才可以正式使用。可以看出，在试卷分析时应用SPSS统计软件，极大的简化了教师的工作量，教师不但可以轻松的获得科学的、量化的试卷评价指标，而且可以准确地反映出试题及教学中存在的问题，准确的调整试卷及教学中存在的问题，有效的促进教学效果。

欢迎光临绿色圃中小学教育网 (http://lspjy.com/)