2.3 评价指标体系的重要程度问卷调查

2.3.1 问卷设计的原则

1．目的明确性原则

任何问卷调查都有其目的：证实或证伪某个结论。目的明确是问卷设计的基础。只有目的明确，才能提出明确的假设，才能围绕假设来设计题项。我们设计问卷的目的非常明确，那就是调查评价指标体系中观测点的重要程度，以此来衡量评价指标体系的合理性。

2．题项适当性原则

问卷所选择的题项要与研究假设相符，即所选择的问题是针对研究假设的，是研究假设的合理的内涵和外延；所选题项在数量上要适当。确定适当数量的题项可根据以下两点来确定：根据一般经验，根据预试结果。依据这一原则，我们设计的题项涵盖了评价指标体系的全部内容。

3．语句理解一致性原则

语句理解一致性是指研究者与被试，以及被试之间对问卷的题项语句的理解都要一致；如果不一致，就达不到研究者所要测量的目的。

4．调查对象合适性原则

选择的对象要符合研究假设的推论，问卷结构（开放式或封闭式）、题项形式及用语都要考虑调查对象的合适性。我们的调查问卷主要在高校发放，因此在设计问卷时主要考虑高校工作人员的合适性。

2.3.2 问卷内容和说明

问卷内容主要包括被调查者基本信息和调查内容两部分，调查内容分为5个模块。具体框架见图2.2。

从问卷内容框架可以看出，问卷内容的模块与评价指标体系有很大区别。我们先将评价指标体系中的每个观测点编号，然后打乱顺序，将各指标重新归类，形成如图2.2所示的5大模块。这样做的目的是让被调查者脱离评价指标体系的局限，更客观地对评价指标的重要程度做出判断。

问卷的调查内容主要包括5大模块64项指标，涵盖了绝大部分评估指标内容。为了验证被试填写问卷的认真程度，每个模块设计了一个测试项。如第一模块的测试项为“校名与区域经济的关联度”，第二模块的测试项为“教师的性别比例”，第三模块的测试项为“校园绿化费用”，第四模块的测试项为“授课作息时间的安排”，第五模块的测试项为“在校大学生攻读第二外语的比例”。

2.3.3 问卷调查

1．调查概况

问卷发放时间是2008年1月29日至8月12日；发放对象为全国各地高校；发放形式是邮局投递和E-mail；发放数量为117份，回收111份，其中有效问卷106份，无效问卷5份。

2．被调查者基本信息统计

被调查者中男性70人，占66%；女性36人，占34%。年龄在26～35岁之间的有33人，36～45岁之间的有39人，41～50岁之间的有10人，51～60岁之间的有8人，60岁以上的有16人。被调查者中硕士最多，共52人，占49%；高级职称人数最多，有36人，占34%。教师人数最多，占35%；校级教学管理人员，占29%。被调查者的单位大部分为地方工科大学。

2.3.4 观测点的权重计算

1．计算方法

问卷的统计方法采用特尔斐法（Delphi Technique）。特尔斐法又称专家咨询法，它避免了专家会议法的弱点。由于专家在研究问题时不进行面对面交流，不直接交换意见，在互不影响的条件下达到意见一致。这就防止了权威人物对群体决策产生的特殊作用，使每位专家都能独立地发表自己的意见；既能保证逐渐形成深思熟虑的观点，又能保证提出独到的见解和评定。同时，这种方法采用了数理统计方法，将专家意见进行了定量处理。在整个过程中，专家意见逐步收敛并最后取得一致，因而是目前最受欢迎的一种方法。

特尔斐法采用匿名形式，用问卷形式向专家征求意见，然后由问卷设计人员进行汇总、整理；然后将一轮结果作为参考资料发给每位专家，让专家再发表意见，确定评价指标的权重。特尔斐法的具体实施步骤为：

（1）设计调查表。调查表主要有两种形式：一种是要求专家直接写出各指标的权重值；另一种是要求专家对各指标的重要程度做出判断。

（2）发放调查表实施调查。将调查表邮寄给调查对象，请他们对每项指标的重要程度做出判断或直接写出各指标的权数值，做第一轮调查。

（3）回收调查表，进行统计处理。调查表收回后，先将每份问卷编码，然后将数据录入Excel表。

2．计算过程和结果

我们设计的调查表要求被调查者对各项指标的重要程度做出判断。指标的重要程度可分为1～9共九级，1为重要程度最低，9为重要程度最高。表2.3中我们选出4个指标作为例子，共有106位被调查者对指标的重要程度做出了判断。

我们按重要程度等级1～9分别赋值“1,2,3,4,5,6,7,8,9”，则可以计算出“指标1”的加权平均值为

（4×1+1×2+2×3+4×4+15×5+22×6+16×7+22×8+20×9）/106=6.63。

同理可以求出指标2、指标3和指标4的加权平均值分别为7.13, 6.49,5.82。

求出各指标的加权平均数之后，再进行归一化处理，便可求出权重。

指标1的权重：W1=6.63/（6.63+7.13+6.49+5.82）=0.25。同样可求出指标2、指标3和指标4的权重分别为0.27,0.25,0.23。

我们在实际操作时，将权重的值保留一位小数，因此指标1、指标2、指标3和指标4的权重分别为0.3,0.3,0.2,0.2。

依照特尔斐法，评价指标体系中各指标权重的计算结果如表2.4所示。

从整个问卷来看，我们统计出每个评价指标的加权平均值。加权平均值越高，意味着该指标越重要。因此，根据每个指标的加权平均值，我们可以了解整个指标体系中，哪些指标重要，哪些指标相对不重要。

从加权平均值的统计结果来看，评价指标重要程度位于前10位的指标分别是：“教师的师德修养和敬业精神”、各主要教学环节的质量标准“学校定位与规划符合地方经济和产业发展的需要”、“理论与实践教学结合程度”、“教学质量监控”、“实验室和工程训练条件”、“教学内容与课程体系更新与改革”、“用人单位评价（工程能力、实践能力和创新能力）”、“学生的社会责任感与道德观”、“管理体制、机制改革与创新”（见表2.5）。

加权平均值最低的，也就是最不重要的10个指标是：“教师的性别比例”、“校名与区域经济的关联度”、“校园绿化费用”、“在校大学生攻读第二外语的比例”、“毕业生起薪点”、“国外优质师资”、“授课作息时间的安排”、“第二课堂活动”、“运动场及体育设施”、“干部队伍的数量和结构”（见表2.6）。其中，“教师的性别比例”、“校名与区域经济的关联度”、“校园绿化费用”、“在校大学生攻读第二外语的比例”、“授课作息时间的安排”正是我们加入各模块的测试项。大部分被调查者将这些测试项选择为不重要，可见问卷调查的结果是可信的。