摘要：自2003年以来，教育部先后评选出7807门国家精品开放课程，时至今日其应用状况和影响效果如何却不得而知。文章采用问卷调查方法，对全国25个省市自治区136所高等院校中近300名精品开放课程的管理者、开发者和使用者进行了随机抽样调查。研究发现，当前国家精品开放课程的应用效果、共享状况和实际影响仍需进一步提升，亟待建立一套涵盖精品开放课程建设效率、应用状况、实施效果和教/学影响等方面的长效评价机制，从而为“十三五”期间国家精品开放课程的持续改进和广泛应用提供有力的保障，为高等教育创新人才的培养创造更好的资源环境。
一 问题提出
2011年，教育部发布《关于国家精品开放课程建设的实施意见》，计划在“十二五”期间建设1000门精品视频公开课和5000门国家精品资源共享课，旨在“加强优质教育资源开发和普及共享，进一步提高高等教育质量，服务学习型社会建设”[1]，由此拉开了新一轮国家精品开放课程建设的序幕，也是自2003年教育部启动精品课程建设工作以来继续推进国家精品开放课程项目的又一重大举措。截至2016年8月，我国已建成国家精品资源共享课2911门[2]，精品视频公开课992门[3]，加上2003～2010年评选出的3904门国家级精品课程[4]，先后总计有7807门课程入选国家精品开放课程，此外还有数万门省级、校级精品开放课程，内容涵盖理、工、农、医、文、法等13个学科门类，形成了国家、省、校三级精品开放课程体系，并向高等院校和社会公众免费开放，旨在“推动信息技术与教育教学深度融合，促进优质教育资源应用与共享，全面提高教育教学质量”[5]。
面对慕课为高等教育国际化和全球化带来的全新视野和机制[6]， 2015年教育部进一步出台了《关于加强高等学校在线开放课程建设应用与管理的意见》，明确提出“建设一批以大规模在线开放课程为代表的优质在线开放课程……2017年前认定1000余门国家精品在线开放课程，到2020年认定3000余门国家精品在线开放课程”[7]。国家精品开放课程项目历时之长、规模之大、立意之高由此可见一斑。
迄今为止，国家精品开放课程项目已实施十余年，然而其建设效益、应用状况、实施效果和教与学影响如何？又在多大程度上深化了高校教学改革、提高了高等教育质量？这些问题的答案却无从知晓。目前，相关研究主要集中在国家精品开放课程的背景、目标、实施过程、影响因素和共享推广等方面[8][9][10]，或是聚焦于特定学科的精品开放课程建设[11][12][13]。同时，有关评价研究则集中在精品开放课程的评审过程和指标体系方面[14]，或对个别高校的部分精品开放课程进行案例研究，剖析其建设和应用中的绩效评价问题[15]，而对国家精品开放课程整体的效果评价和影响评价尚未给予足够的关注。
在现实层面，国家精品开放课程现有评价机制主要是申请入选国家精品开放课程的评审指标体系，尚没有针对已入选国家精品开放课程的建设过程、应用状况、实施效果和教/学影响的评价[16]。诚如CIPP评价理论的创立者丹尼尔·斯塔弗尔比姆（Daniel Stufflebeam）[17]所言：“评价的根本目的不在于证明，而在于改进”。如果我们无从知晓国家精品开放课程项目的实施现状，那么改进也就无从谈起。斯塔弗尔比姆[18]提出的CIPP评价模式包含四个部分：
①背景评价（Context），主要是对教育项目目标的合理性进行诊断性评价；
②输入评价（Input），主要是对各种备选项目的有效性和可行性进行比较鉴别，最终确定一种最优方案；
③过程评价（Process），是对项目实施情况的监督和检查，旨在调整和改进实施过程，提高项目运行的效益和效率；
④成果评价（Product），在于测量、确证和解释项目实施的结果与影响。
由于国家精品开放课程项目已实施十余年，背景评价和输入评价已没必要，重点在于过程评价和成果评价。因此，本研究基于CIPP评价模式，构建了一套涵盖国家精品开放课程建设效益、应用状况、实施效果和教/学影响的评价机制（如图1所示），并通过问卷调查方法对其必要性进行了验证，以确证精品开放课程项目实施以来产生的实际效果与教/学影响，进而促进“十三五”期间数千门精品在线开放课程的建设优化和广泛共享，为高等教育创新人才的培养创造更好的资源环境。
二 研究设计
本研究旨在了解十余年来国家精品开放课程的应用状况、共享程度和教学影响，确证对其建设过程、应用状况、共享效果和教/学影响开展评价的必要性，从而为国家精品开放课程评价机制的建立和创新提供决策依据。本调查设计的问卷以CIPP评价理论为指导，结合国家精品开放课程评价的现实需要，涵盖了课程建设评价、应用评价、效果评价和影响评价四个结构变量，并按照李克特5级量表的编制流程对问卷的结构变量和观测指标进行分析设计，经小范围试测和专业人士评议，具有较高的信度（Cronbach’s α=0.822）和效度。
本研究对全国25个省市自治区136所高等院校中294名精品开放课程的管理者、开发者和使用者进行了随机抽样调查。从调查对象的地域分布来看，调查样本具有较高的代表性，如表1所示。本调查向样本总体随机发放问卷96份，回收问卷66份（回收率68.75%）。经分析鉴别，所有回收问卷全部有效（有效率100%）。调查所得数据使用SPSS 15.0统计软件进行分析处理。
三 研究结果
1 调查样本的描述性特征
本调查的研究对象共有66名，其中男性占57.6%，略多于女性（占42.4%）；具有中高级职称的被调查者累积百分比达83.3%。从被调查者所在高校的类型来看，本科院校优势明显，占89.4%。从被调查者所在工作部门来看，60.6%来自高校电教中心或类似机构，另有13.6%的被调查者来自高校教务处等管理部门，其余25.8%则来自教学科研部门。从职责角色来看，被调查者中精品开放课程的管理人员和开发人员占绝大多数，累积百分比达80.3%。另外，调查发现62.1%的被调查者所在高校拥有国家精品开放课程，其余37.9%的高校还没有国家精品开放课程。
2 国家精品开放课程应用现状
本调查通过对精品开放课程的使用频率、应用满意度、共享满意度和影响状况等四个特征参数的描述性统计，呈现了当前国家精品开放课程的应用现状，如表2所示。调查结果显示，高等学校对国家精品开放课程的使用频率呈正偏态分布，使用率较低；被调查者对于课程应用状况倾向于不满意；对于课程共享情况的满意度则更低。而且，国家精品开放课程对高等学校的教学影响呈正偏态分布，影响较低。
3 对国家精品开放课程建设评价的认同度
本研究采用统一课程平台、过程评价和成本效益评价等三个观测指标，调查了精品开放课程管理者、开发者和使用者对开展国家精品开放课程建设评价的认同度。研究发现，被调查者对于建立统一的精品开放课程平台（Mean=4.1515）、开展建设过程（Mean=3.8636）和成本效益评价（Mean=4.1515）都持赞同态度。可见，精品开放课程开发者、管理者和使用者普遍认为有必要建立统一的课程平台，并对其建设过程进行评价以优化建设过程，提高建设效率和效益。
4 对国家精品开放课程应用评价的认同度
本研究主要从课程平台的访问记录功能、使用评价、反馈机制和共享评价四个维度来了解被调查者对于开展精品开放课程应用评价的态度倾向。调查显示，被调查者对于增加精品开放课程的访问记录功能（Mean=3.9394）、开展课程使用状况评价（Mean=4.1515）、建立课程应用反馈机制（Mean=4.3485）和课程共享状况评价（Mean=4.1364）具有很高的认同度。由此可见，精品开放课程管理者、开发者和使用者对建立精品开放课程应用反馈机制和开展课程应用与共享状况评价普遍持赞同态度，希望以此促进国家精品开放课程的广泛应用和深度共享，为高等教育创新人才的培养创造更好的资源环境。
5 对国家精品开放课程效果评价的认同度
本研究采用教学效果、学习效果和实施效果等三个观测指标，对开展国家精品开放课程效果评价的必要性进行了调查。研究发现，被调查者对于开展教学效果评价、学习效果评价和实施效果评价均具有很高的满意度，如表3所示。通过各项特征参数的统计，本研究发现被调查者普遍认为应建立针对国家精品开放课程的教/学效果和项目总体实施效果的评价机制，以确证并提升精品开放课程对于高校教学和学习产生的实际效果。
6 对国家精品开放课程影响评价的认同度
就开展国家精品开放课程影响评价而言，被调查者对于开展国家精品开放课程对高校教师、教学、课程和高校教育信息化的影响评价均有很高的认同度，如表3所示。同时，被调查者普遍赞同通过国家精品开放课程对用户影响的广度（如用户人群和数量）和深度（如用户使用课程的方式和特点等）进行评价。而通过国家精品开放课程对社会大众（非高校师生）的影响进行评价，被调查者的平均同意度较低（Mean=3.5303）。可见，除了社会大众影响评价的平均同意度较低，被调查者对于其余各影响指标都持较高的认同度，普遍认为应该评价国家精品开放课程对高校教师、教学、课程和教育信息化影响的广度与深度。此外，被调查者对于定期开展国家精品开放课程评价的态度呈负偏态分布，具有很高的认同度（Mean=4.3788，Skewness=-0.876）。
7 对国家精品开放课程现有评价机制的建议
在本次调查中，31.82%的被调查者对于国家精品开放课程现有评价机制提出了改进意见或建议，主要集中在精品开放课程建设评价、应用评价、效果评价和影响评价四个方面。其中，26.47%的被调查者就精品开放课程建设的统一性问题提出了一些改进意见，包括建立统一的课程平台、资源库，形成统一的建设标准和统一化的管理机制，避免重复建设、资源浪费；11.76%的被调查者对于现阶段国家精品开放课程的应用状况与效果表示担忧，认为亟待对国家精品开放课程的应用状况与效果展开评价，有8.82%的被调查者更是直接提出需加强国家精品开放课程的应用推广。此外，还有一些被调查者认为应加强国家精品开放课程建设的持续性、示范性、实用性和技术性，解决好课程有关的知识产权问题，建立精品开放课程的应用反馈机制、定期检查机制、教师评价机制、成本效益评价机制和共享交流机制等。由此可见，被调查者对于改进和完善国家精品开放课程现有评价机制持积极态度，同时也在一定程度上印证了建立国家精品开放课程建设、应用、效果与影响评价机制的必要性。
四 讨论与结论
本研究初步揭示了国家精品开放课程建设十余年来的应用现状及其对高校教/学的影响，不仅证实了课程管理者、开发者和使用者对于开展精品开放课程建设、应用、效果和影响评价具有较高的认同度，还说明了建立国家精品开放课程评价机制的必要性和重要性。
1 国家精品开放课程应用与共享状况欠佳
尽管本调查有关国家精品开放课程应用现状的观测变量仅包含使用频率、应用满意度、共享满意度和影响状况等四个维度，但调查结果在一定程度上揭示了当前国家精品开放课程应用状况欠佳、影响程度亟待扩大的基本事实。胡俊杰等[19]对3582门国家精品开放课程的调查研究显示课程的能访问率为57.9%，课程视频资源的能正常观看率为41.4%，课程交互模块能使用率仅占8.4%。秦炜炜[20]针对精品开放课程主持人、建设者和管理者进行的一项探索性调查也表明：绝大部分高等院校（80%以上）很少使用其它学校相关学科的精品开放课程，只有少数高校在日常教学中经常使用相关学科的精品开放课程。许艳丽等[21]通过研究发现目前国家精品开放课程中教学视频的应用不尽如人意。可见，目前国家精品开放课程的应用状况及其对高等教育所产生的效果和影响并未达到预期水平，有待进一步提升。
2 建立国家精品开放课程建设评价机制
研究结果表明，有必要建立国家精品开放课程建设评价机制，包括对精品开放课程的建设过程和成本效益进行定期评价，并建立统一的课程平台，以降低成本、提高效率，方便用户使用，进而形成全国范围内的精品开放课程共建共享机制。“爱课程”网作为教育部、财政部“十二五”期间支持建设的高等教育课程资源共享平台，无疑是国家精品开放课程平台走向集成、统一、高效的重要成果，但对于数以万计的省级和校级精品开放课程而言，各个高校所采用的课程平台却千差万别。因此，对于高等学校而言，使用相对统一的课程平台是促进精品开放课程跨区域、跨校共享的重要条件。与此同时，尽管我国已建成数千门国家精品开放课程和数万门省级、校级精品开放课程，然而不同的高校、不同的课程却采用了不同的建设模式，如精品开放课程教学团队独立制作模式、课程教学团队与高校教育技术中心联合制作模式、课程教学团队提供课程资源与高校提供统一课程平台等模式[22]。显然，不同的建设模式会对课程的建设效益产生不同的影响。因此，对于精品开放课程建设过程的评价有助于发现课程建设过程中存在的问题与不足，形成更加便捷高效的标准化建设流程（如课程规划、设计、开发、试用、发布等环节的程序化和标准化）。而对国家精品开放课程进行成本效益评价则有助于降低课程的建设成本，提高建设效率，不断优化课程资源的配置与共享。
3 建立国家精品开放课程应用评价机制
研究结果表明，亟需建立国家精品开放课程应用评价机制，包括对课程使用状况和共享范围进行定期评价，并建立课程应用反馈机制，如通过课程平台记录用户对课程的访问情况（包括访问量、访问路径、在线时长、不同课程模块的访问时间、发帖次数和内容等）以了解课程的使用状况，进而获取用户的反馈意见，为课程的持续改进和及时更新提供参考依据。麻省理工学院开放课件项目（Open CourseWare，OCW）的成功与其完善的评价机制是分不开的。自2001年OCW项目启动以来，麻省理工学院先后对这一项目进行了多次评价，评价内容包括OCW的有效性、可获取性、应用、效率和效果等。其中可获取性与应用评价作为该项目评价机制的重要组成部分，不仅包括对用户的数量、背景、地域、学科与兴趣等背景信息的分析评价，还包括对用户访问OCW网站的目的、使用方式、使用水平（广度/深度）以及OCW网站和课程材料服务于用户的可用性等方面的多种评价[23]，从而为该项目的不断优化和持续发展提供了坚实的保障。教育部高等教育司前司长张尧学曾对此评价说：“我们（国家精品开放课程）现在是走在他们（麻省理工学院的OCW项目）前面的，构思也比他们好。因为他们上网仅仅强调课件，而我们不仅有课件，还有实验，还有教材，还有队伍，是名师指导下的课件、实验、教材。”[24]因此，作为全球开放教育资源运动典型项目的国家精品开放课程项目也有必要建立应用评价机制，以有助于了解课程的应用现状，并有助于课程的广泛应用。毕竟，国家精品开放课程的根本目的不在于建设和遴选，而在于应用和共享，在于提升高等教育教学质量，促进高等教育创新人才的培养。
4 建立国家精品开放课程效果与影响评价机制
研究结果表明，亟待建立国家精品开放课程的效果与影响评价机制，定期评价精品开放课程对高校师生、教学、课程和高等教育信息化等方面产生的效果与影响。首先，效果评价有助于确证精品开放课程对于高校师生和教学产生的实际效果，并能及时发现和解决课程建设中存在的问题与不足，为课程的普遍应用和全面共享提供参考依据。具体而言，效果评价机制不仅包括对国家精品开放课程项目实施效果的总体评价，还包括微观层面每一门课程对本学科领域产生的具体效果的评价。尽管开展效果评价的具体策略与方法还有待进一步研究，但效果评价机制对于国家精品开放课程辐射示范作用的发挥无疑具有重要的促进作用。其次，作为效果评价机制的延伸，影响评价旨在了解国家精品开放课程作为不同学科领域的优质教育资源对于高等教育产生的现实影响。影响评价不仅有助于揭示国家精品开放课程对高等教育产生影响的广度和深度，还有助于检视精品开放课程建设项目目标的达成程度，发现课程建设、应用和推广中存在的不足，为项目的有效推进提供决策依据。
综上可知，国家精品开放课程的现有评价机制在课程建设评价、应用评价、效果评价和影响评价等方面还有待改进和完善。精品开放课程现有评价机制的不足不仅表现在课程建设的持续性和前沿性、示范性、实用性、技术性和知识产权等方面，还涉及课程的反馈机制、推广机制、检查机制、师生评价机制、成本效益和共享交流机制的不足等方面。因此，目前正在实施的国家精品开放课程项目需要在改善现有评价机制的基础上形成一套更加全面、有效的评价机制，从而为项目预期目标的真正实现提供有力的支持。这一评价机制的建立不仅有利于确证当前国家精品开放课程的应用状况及其教/学影响，还有助于揭示精品开放课程应用共享的内在机制，为课程的后续建设和持续改进提供实践参考，切实发挥国家精品开放课程对于“全面提高教育教学质量，造就数以千万计的专门人才和一大批拔尖创新人才”[25]的战略作用。
五 结语
本研究采用问卷调查方法，对国家精品开放课程的管理者、开发者和使用者进行了随机抽样调查与分析，揭示了国家精品开放课程建设十余年来的应用和共享现状，揭示了课程管理者、开发者和使用者对于建立涵盖建设评价、应用评价、效果评价和影响评价等方面的国家精品开放课程评价机制的认同度。尽管本研究的调查样本具有较高的代表性，并遵循了随机抽样的基本原则，但由于样本数量有限，要反映全国范围内国家精品开放课程的发展现状、课程建设者与使用者对国家精品开放课程的认识和态度仍存在一定的局限性。鉴于政府部门对于国家精品开放课程的开发具有重要的影响[26]，本研究从理论上对我国建立国家精品开放课程评价机制的必要性与紧迫性进行了调查分析，以期为“十三五”期间国家精品开放课程的有效实施、持续推进和广泛共享提供必要理论支持和决策依据，促进国家精品视频公开课、国家精品资源共享课、国家精品在线开放课程的全面发展，切实发挥精品开放课程在深化本科教学改革、提升高等教育教学质量等方面的引领示范作用。
参考文献
[1]教育部.教育部关于国家精品开放课程建设的实施意见[Z].北京:教育部,2011:2-3.
[2]教育部.教育部办公厅关于公布第一批“国家级精品资源共享课”名单的通知[Z].北京:教育部,2016:1.
[3]教育部.教育部关于政协十二届全国委员会第四次会议第1301(教育类133号)提案答复的函[Z].北京:教育部,2016:1.
[4][19]胡俊杰,杨改学,魏江明,等.国家精品课程对精品视频公开课建设的启示——基于对2003-2010国家精品课程的调查引发的思考[J].中国远程教育:综合版,2014,(6):89-94.
[5][7]教育部.教育部关于加强高等学校在线开放课程建设应用与管理的意见[Z]. 北京:教育部,2015:1-3.
[6]王欣.MOOC的全球化及对高等教育国际化的影响[J].苏州大学学报:教育科学版,2014,(3):112-117.
[8]胡俊杰,李文卫,赵霞霞,等.我国数字化学习资源建设:问题与对策——以精品视频公开课为例[J].远程教育杂志,2016,(4):102-112.
[9]谢彩云,赵英,李华锋.高校精品课程网站建设阻碍因素有效传播策略[J].现代远程教育研究,2012,(6):83-88.
[10]谢幼如,尹睿,谢虎.精品课程群支持的专业综合改革与实践[J].中国电化教育,2013,(8):1-7.
[11]王娟,孔亮.教育技术学专业精品课程建设现状及影响因素分析[J].中国电化教育,2012,(9):95-101.
[12]黄德群,毛发生.广东高校精品课程网络资源共建共享模式研究[J].中国远程教育,2012,(8):88-94.
[13]郑曙光.精品开放课程建设的实践及思考——以《经济法学》开放课程建设为例[J].中国高教研究,2015,(9):89-93.
[14]张秀梅.精品课程评审指标体系分析[J].中国电化教育,2012,(10):76-80.
[15]张家年,李凌云,孙祯祥.绩效视野中精品课程建设、应用与评价的研究[J].中国电化教育,2014,(7):113-118.
[16]秦炜炜,焦建利.国家精品课程评价研究之内容分析[J].中国电化教育,2009,(9):63-67.
[17]Kellaghan T, Stufflebeam D. International handbook of educational evaluation[M]. Berlin: Springer-Verlag, 2003:31-62.
[18]赵玮.CIPP教育评价模式述评[J].开放潮,2006,(9):58-59.
[20][22]秦炜炜.国家精品课程发展十年现状调查[J].中国远程教育,2013,(8):53-57.
[21]许艳丽,马德俊,刘刚.国家精品课程网站中教学视频的应用研究[J].电化教育研究,2012,(2):88-92.
[23]MIT Open Courseware.OCW Evaluation Strategy and Plan Revised[OL].
<http://ocw.mit.edu/NR/rdonlyres/066B1035-ADA0-491A-82CB-59BF3A37A5EE/0/10OCWEvaluationStratPlanV2rev111803.pdf>
[24]教育部.教育部年终成就宣传新闻发布会[OL]. <http://www.people.com.cn/GB/jiaoyu/1054/2330021.html>
[25]教育部.教育部关于启动高等学校教学质量与教学改革工程精品课程建设工作的通知[Z]. 北京:教育部,2003:1.
[26]黄福涛.中美日三国大学课程开发与教学的比较研究[J].苏州大学学报:教育科学版,2013,(1):108-115.
本文原创：秦炜炜
摘自：现代教育技术杂志
