德尔菲法专家咨询统计
这个方法是做什么的
德尔菲法专家咨询统计整理一轮专家咨询的评分结果:每行是一个咨询条目(如一项评价指标),第一列写条目名,其余每列是一位专家给出的重要性评分(如 1–5 分)。对每个条目报告有效评分数、均值、标准差、变异系数 CV = SD/均值和满分频率;均值与满分频率反映意见的集中程度,CV 反映协调程度,越小越一致。按“均值不低于界值且 CV 不高于界值”的规则标出保留或建议修改的条目,两个界值默认 3.5 与 0.25,可以在控件里改。
整体协调程度用 Kendall 和谐系数 W 衡量:每位专家对全部条目的评分转换为平均秩,含并列校正,再做 χ² 检验;只用对全部条目都有评分的专家计算,有缺失的专家在卡①单独列出。评分可以是 1–5、1–7 或 1–10 分,只要分越高越重要。W 的一致程度措辞参照 Schmidt (1997):低于 0.3 很弱,0.3 到 0.5 弱,0.5 到 0.7 中等,0.7 到 0.9 强,0.9 以上极强。卡①还给出专家积极系数(至少回答了 1 个条目的专家占比)和每位专家的应答率。
需要准备什么数据
- 放入条目名称列:1 个,定类变量(分组/标签)
- 放入各位专家的评分列:至少 3 个,定量变量(数值)
数据要求
- 数据表至少 3 行。
- 本方法允许所选变量含缺失值——缺失本身就是分析对象的一部分,不会因为「完整记录不够」被拦下。
- 单列缺失率不超过 50%。
以上条目由系统从该方法的校验规则直接生成,与上传数据时的实际拦截规则一致。
什么时候用它
- 构建评价指标体系,经过一轮或多轮专家咨询,需要筛选条目并报告专家意见的集中与协调程度
- 论文需要报告专家积极系数、各条目均值与变异系数、Kendall W 及其显著性
- 多轮咨询之间想比较意见是否趋于一致
- 想快速找出均值偏低或争议较大的条目,作为下一轮修改的重点
- 需要把均值、标准差、变异系数和满分频率一次整理成论文表格
前提是评分为数值、方向一致(分越高越重要),至少 3 个条目、3 位专家;专家人数一般在 15 到 50 人之间更有代表性。“评分满分值”控件默认 5,用于计算满分频率,必须与问卷量表的最高分一致,否则满分频率全为 0。多轮咨询时,每轮各运行一次,比较各轮的 W 与 CV 是否改善。
什么时候不要用它
- 专家对同一组对象做排序,只想检验排序一致性:用「Kendall一致性检验」。
- 评分者对同一批对象打连续分,关心评分的绝对一致:用「组内相关系数(ICC)」。
- 两位评分者做分类判断,看一致程度:用「Kappa一致性检验」。
- 条目已经确定,想检验问卷的内部一致性:用「信度分析」。
- 要给筛选后的指标定权重:用「层次分析法(AHP)」或「熵值法」。
容易误读的地方
- χ² 检验显著,不等于专家意见高度一致。 演示数据 15 位专家、20 个条目,Kendall W=0.456,p<0.001,按 Schmidt (1997) 的措辞只属于“弱一致”;χ² = m(n−1)W 随专家数和条目数增大,W 不高时检验也很容易显著,报告时应同时给出 W 的大小与 CV。W 也不随专家人数单调变化:演示数据只取前 5 位专家时 W=0.571,全部 15 位时为 0.456。
- 3.5 和 0.25 是约定俗成的界值,不是统计检验。 演示数据中“出院随访”均值 3.60、CV=0.253,只比界值高 0.003 就被标为建议修改,同样被标出的还有“护理科研产出”(均值 2.67)与“护理成本控制”(均值 3.40);靠近界值的条目应结合专家意见判断,必要时在控件里调整界值并在论文中说明。
- 专家积极系数需要发放数,表格里看不到。 报告按“至少回答 1 个条目的专家占比”计算,未回收的问卷不会出现在数据里;论文中的积极系数通常是“有效回收数 / 发放数”,要由研究者另行补充。例如发放 20 份、回收 15 份时,论文应写 75%,而这份数据上报告显示的会是 100%。
- 专家权威系数 Cr 本模块不计算。 Cr = (判断依据系数 Ca + 熟悉程度系数 Cs)/2 需要每位专家的自评数据,不在“条目 × 专家”的评分表里;卡⑤会把它列为未计算的指标,论文需要单独整理这部分。
- 有缺失的专家不进入 Kendall W。 W 要求每位专家对全部条目都给出评分,个别空格会让整位专家被排除;卡①的应答情况表会标明哪些专家没有纳入,缺失较多时应先补齐再分析。演示数据 15 位专家全部完整作答,专家积极系数为 100%。
报告里有什么
- 输出结果一:数据概览与专家积极程度
- 输出结果二:条目统计与筛选
- 输出结果三:条目均值与变异系数
- 输出结果四:专家意见协调程度(Kendall W)
- 输出结果五:结论与学术表述
条形为均值(左轴),折线为变异系数(右轴),两条横线分别为保留阈值。