大模型诊病还不“靠谱”
发布时间：2026-03-05
信息来源：中国科学报
字体：
大
中
小
打印
发布时间：2026-03-05
信息来源：中国科学报
一项研究发现，大语言模型（LLM）或许还不能协助公众做出更好的日常健康决策。研究者表示，未来这类工具的设计需要更好地支持真实用户，才能安全地向公众提供医学建议。相关研究近日发表于《自然-医学》。
全球医疗机构提议将LLM作为提升公众获取医疗信息的潜在工具，让个人在向医生求助前进行初步健康评估和疾病管理。但之前的研究显示，控制场景下在医师资格考试中得分很高的LLM并不能保证有效完成真实世界的交互。
英国牛津大学互联网研究所的Adam Mahdi、Adam Bean和同事测试了LLM是否能协助公众精准辨别医疗病症，如普通感冒、贫血或胆结石，并选择一种行动方案，如呼叫救护车或联系全科医生。研究人员给1298名英国受试者每人指派了10种不同的医疗情景，并让他们随机使用3个LLM（GPT-4o、Llama3或CommandR+）中的一个；同时让对照组使用他们的常用资源，如互联网搜索引擎。
研究表明，不用人类受试者进行测试时，LLM能准确完成这些情景，平均能在94.9%的情况下正确辨别疾病，在56.3%的情况下选择正确的行动方案。不过，当人类受试者使用相同的LLM时，相关病症的识别率低于34.5%，选择正确行动方案的情况低于44.2%——这一结果并未超过对照组。研究人员通过人工检查了其中30种情况的人类-LLM交互，发现受试者常向模型提供不完整或不准确的信息，并且LLM有时会生成误导性或错误的信息。
作者总结称，当前的LLM并不能很好地用于实际的患者医疗，因为将LLM与人类用户配对会产生现有基准测试和模拟交互无法预测的问题。
相关人物
