浏览 AI使用教程
问卷发出去才发现题目有问题怎么办:现有数据的边界与下一版修订
问卷已发出才发现题意含混,先保留原题与已收数据,判断哪些指标仍可解释、哪些必须补收。随后用构念映射和认知访谈修订下一版,不把改题当成修好了旧答案。
收回 486 份问卷,才发现“经常使用”每个人理解得都不一样
本页486份问卷是教学场景,不是实际调查。先处理已发/已收的数据,再讲下一版如何预测试。
学生问‘你是否经常使用 AI 并认为它提高了学习效率?’选项只有“是/否”。有人把每周一次算经常,有人按每天使用判断;认为效率提高但并不经常使用的人不知道选什么。问卷发完后,他既无法区分使用频率和效果判断,也无法解释“是”究竟代表哪一部分。
题项检查的目标不是让句子更好看,而是让不同受访者按相近过程理解、回忆、判断并选择答案。每道题必须对应明确构念和分析用途,一个题只完成一件测量任务;正式发放前还要通过认知访谈和小规模预测试发现研究者自己看不见的歧义。
- 识别诱导、双重、模糊和带前提题项
- 把坏题改成可回答、可编码的版本
- 完成认知访谈和预测试修订记录
已经发出的问卷,先按错误影响决定怎么处理
| 发现的问题 | 已收数据可以做什么 | 不能做什么 | 下一步 |
|---|---|---|---|
| “经常使用”没有时间窗或次数定义 | 保留回答为受访者对“经常”的主观选择,报告原题和限制 | 事后换算为每周3次,或当连续频率比较 | 若研究必须得到频次,设计明确时间窗的新题并另行补收 |
| 一个题同时问“方便且准确” | 记录对这一复合表述的回答 | 拆成两列后声称分别测量方便和准确 | 新版拆两题;旧版与新版分开,不直接拼成同一指标 |
| 选项遗漏关键情况 | 保留现有选项分布和开放补充,评估谁无法正确作答 | 把缺选项者自动归为中立或零 | 核查可否重新联系且符合原告知/批准;无法补收则放弃相应估计 |
| 只有错别字,题意和选项没改变 | 保存原版和修订说明,检查是否导致理解差异 | 不留记录地覆盖原始问卷 | 给新版本编号、切换时间及版本字段,再由研究负责人决定是否可合并 |
| 核心构念根本未测到 | 报告该目标无法用现有数据回答 | 靠AI改列名或挑相关题冒充已验证量表 | 重新设计测量及预测试;必要时调整研究问题或重收 |
不要先看哪一种修法更容易得到显著结果。按题意、实际作答过程和研究设计作决定;涉及方案变更时按本机构原批准流程处理。
补收时怎样保留可解释的版本链
冻结旧问卷、导出文件、题号与值标签,单独保存问题清单:哪道题、谁受影响、为什么不能回答原问题。停止继续传播有关键问题的版本,已收回答不覆盖。
新版分配新版本号;数据增加questionnaire_version与收集批次,不用同列名掩盖题意变化。对同一人补收时按合规的关联标识记录,不能当成两个独立受访者。
分析计划明确各版本哪些字段同义、哪些不可合并,记录排除或降级结论的理由。下面的改题和预测试流程只适用于新版本,不会自动修复已经收回的答案。
题项不能用,通常坏在问题、回忆、判断或选项中的某一层
一个答案同时代表两件事
- 原因
- 双重问题把频率、态度、满意度或结果塞进同一句。
- 怎么改
- 拆成独立题项,每题只对应一个构念和一个分析字段。
所有人都倾向选择正确或体面的答案
- 原因
- 题干带道德评价、权威暗示或明显期望。
- 怎么改
- 使用中性表述,说明没有正确答案;敏感行为给出合理范围和拒答选项。
同一个词有多种理解
- 原因
- 使用‘经常、适量、良好、近期’等无边界词。
- 怎么改
- 给明确时间窗、对象和可观察行为,例如‘过去 7 天使用几天’。
受访者只能猜
- 原因
- 要求回忆过长时间、精确次数或自己不知道的信息。
- 怎么改
- 缩短回忆期、使用类别范围,或改从日志和系统记录获取。
选项选不下去
- 原因
- 选项重叠、不完整、顺序不一致,或把‘不知道’和‘不适用’混在一起。
- 怎么改
- 确保互斥且尽量穷尽,分开拒答、不知道和不适用,并检查跳转逻辑。
把看似自然的题目改成能产生明确字段的题
| 原题 | 主要问题 | 修订示例 | 得到的数据 |
|---|---|---|---|
| 你是否经常使用 AI 并认为它提高效率? | 双重问题、经常无定义 | 过去 7 天,你有几天在课程作业中使用生成式 AI?0–7 天;另题询问效率变化 | 使用天数与主观效率分别编码 |
| 你是否赞同学校合理且必要的 AI 管理规定? | 诱导、两个评价维度 | 你对当前课程 AI 使用规则的整体支持程度如何?五级选项;另题问清晰度 | 支持程度与清晰度分开 |
| 你每天使用 AI 多少分钟? | 可能无法精确回忆 | 昨天你使用生成式 AI 的总时长大约是?0、1–15、16–30、31–60、60 分钟以上 | 有边界的时长类别 |
| 你从不让 AI 代写,对吗? | 暗示正确答案且施压 | 过去一个月,你是否使用生成式 AI 直接生成过提交内容?从未/1 次/2–3 次/4 次以上/不愿回答 | 带时间窗的敏感行为频次 |
| 你的学习效果很好吗? | 构念和参照都不清 | 过去四周,你按时完成课程任务的比例大约是? | 可定义的行为指标,但仍需说明计算方式 |
修订示例只说明题目结构;实际选项、量表和时间窗必须根据研究对象、已有验证工具和分析计划确定。
认知访谈不是问“题目清楚吗”,而是观察受访者怎样得到答案
- 01
从目标人群招募少量多样参与者
覆盖会影响理解和回答的关键差异,例如年级、语言、使用经验或健康状态。目的先找错误,不是估计比例。
- 02
让参与者边答边解释
询问他如何理解关键词、想起了哪些经历、如何在选项中做决定。不要解释正确答案,否则会掩盖题项问题。
- 03
按四个环节记录卡点
分别记录理解、回忆、判断和作答映射的问题,保留原话与题号,不只写‘受访者觉得不清楚’。
- 04
一次只修明确的问题
记录原题、问题证据、修订稿和理由;重大改动后重新访谈,防止修好一个歧义又制造新的前提。
- 05
再做流程预测试
检查完成时长、跳题、必填、随机化、设备显示、缺失和数据导出。认知访谈解决理解,流程预测试解决整份问卷的运行。
每道题都要能追到研究问题和实际测试证据
问卷修订对照
题号: 对应研究问题: 目标构念或指标: 原题与选项: 问题类型:双重 / 诱导 / 模糊 / 回忆困难 / 选项问题 / 跳题问题 认知访谈证据:参与者原话或行为 修订稿: 修订理由: 是否影响既有量表效度或授权: 下一轮测试结果: 最终状态:保留 / 修改 / 删除 / 待专家确认
使用已有量表时,不能为了更自然随意改词、拆题或更换选项;先核对授权、目标人群版本和验证证据。
四道看似完整的题,分别藏着双重、模糊、诱导和范围问题
| 实际输入的原题 | 问题 | 修订后题目 | 小试时验证 |
|---|---|---|---|
| 你是否认为学校线上学习平台方便且提高了成绩? | 一次问便利性和成绩两个构念 | 过去 4 周,完成一次作业时使用平台是否方便?另起一题询问学习结果 | 受访者能分别复述两题含义 |
| 你最近经常使用 AI 工具吗? | 最近、经常和 AI 工具都未定义 | 过去 7 天,你使用生成式 AI 完成课程作业的天数是?0 / 1-2 / 3-4 / 5-7 | 回忆时间明确,选项互斥且覆盖 |
| 你是否同意负责任的学生都应核对 AI 引用? | 带道德评价,容易诱导同意 | 过去一次使用生成式 AI 写作时,你是否逐条打开并核对引用来源? | 回答指向可回忆行为而非自我评价 |
| 使用 AI 后你的效率提高了多少? | 默认使用且默认已经提高 | 你是否使用过生成式 AI 完成该任务?若是,与不用时相比,用时如何变化? | 未使用者能正常跳题,允许不变或变慢 |
题目是教学输入,不是已经验证的量表。正式使用前仍需检查量表授权、内容效度、认知访谈和预测试结果。
