高级检索
当前位置: 首页 > 详情页

中文大语言模型在放射医学中级专业技术考试中的正确率和答案解析质量

Accuracy and quality of answer reasoning of Chinese large language model in Chinese middle level professional qualification examination of radiology

文献详情

资源类型:

收录情况: ◇ 统计源期刊 ◇ 中华系列

机构: [1]上海交通大学医学院附属同仁医院影像科 [2]上海交通大学医学院附属同仁医院教学科 [3]上海交通大学医学院附属同仁医院院长办公室 [4]上海交通大学医学院附属瑞金医院《诊断学理论与实践》编辑部 [5]上海交通大学医学院附属瑞金医院放射科
出处:
ISSN:

关键词: 大语言模型 住院医师规范化培训 考核 放射科

摘要:
目的:对比中文大语言模型(large language model,LLM)和医师在放射医学中级专业技术考试中的正确率,评估中文LLM提供的答案解析质量。方法:本研究分层随机抽取100题精选习题组成测试用题,网页访问文心一言要求其给出正确答案及解析,邀请15名不同经验的放射科医师参与测试。比较中文LLM及医师的答题正确率,2名医师使用5分制的半定量方法评估答案解析质量。结果:文心一言的正确率为60.00%,低于医师的正确率[67.00%(64.00%,73.00%)],两者之间的差异具有统计学意义( W=2.47, P=0.013)。文心一言提供的答案解析的字数为(196.44±99.25)字,正确和错误的答案解析的字数分别为(211.03±107.53)字和(174.55±81.84)字,差异无统计学意义( t=1.82, P=0.072)。正确答案的解析在质量评估中获得1~4分的试题数量分别为3题、9题、12题和36题,无获得5分的答案解析。 结论:中文LLM具备一定的医学知识和临床推理能力,能够辅助带教医师开展教学,但尚不能单独辅导住院医师学习,缺乏引导式、启发式教学的能力。

基金:
语种:
第一作者:
第一作者机构: [1]上海交通大学医学院附属同仁医院影像科
通讯作者:
推荐引用方式(GB/T 7714):

资源点击量:25446 今日访问量:1 总访问量:1495 更新日期:2025-06-01 建议使用谷歌、火狐浏览器 常见问题

版权所有©2020 首都医科大学附属北京同仁医院 技术支持:重庆聚合科技有限公司 地址:北京市东城区东交民巷1号(100730)