资源类型:
收录情况:
◇ 统计源期刊
◇ 中华系列
文章类型:
机构:
[1]上海交通大学医学院附属同仁医院影像科
[2]上海交通大学医学院附属同仁医院教学科
[3]上海交通大学医学院附属同仁医院院长办公室
[4]上海交通大学医学院附属瑞金医院《诊断学理论与实践》编辑部
[5]上海交通大学医学院附属瑞金医院放射科
出处:
ISSN:
关键词:
大语言模型
住院医师规范化培训
考核
放射科
摘要:
目的:对比中文大语言模型(large language model,LLM)和医师在放射医学中级专业技术考试中的正确率,评估中文LLM提供的答案解析质量。方法:本研究分层随机抽取100题精选习题组成测试用题,网页访问文心一言要求其给出正确答案及解析,邀请15名不同经验的放射科医师参与测试。比较中文LLM及医师的答题正确率,2名医师使用5分制的半定量方法评估答案解析质量。结果:文心一言的正确率为60.00%,低于医师的正确率[67.00%(64.00%,73.00%)],两者之间的差异具有统计学意义(
W=2.47,
P=0.013)。文心一言提供的答案解析的字数为(196.44±99.25)字,正确和错误的答案解析的字数分别为(211.03±107.53)字和(174.55±81.84)字,差异无统计学意义(
t=1.82,
P=0.072)。正确答案的解析在质量评估中获得1~4分的试题数量分别为3题、9题、12题和36题,无获得5分的答案解析。
结论:中文LLM具备一定的医学知识和临床推理能力,能够辅助带教医师开展教学,但尚不能单独辅导住院医师学习,缺乏引导式、启发式教学的能力。
基金:
上海交通大学2024年“生成式人工智能+教育”专项基金(CTLD24A0021);2024年秋上海交通大学“人工智能+教育”专项基金(CTLD24A0081);上海交通大学“数智课程”建设项目[医学影像学(预防医学专用)];上海交通大学医学院2024年本科核心课程建设项目[医学影像学(预防医学专业)];上海交通大学医学院2023年度本科教材建设项目[医学影像学(供预防医学专业用)];上海市同仁医院萤星计划(TRYXJH28)
第一作者:
第一作者机构:
[1]上海交通大学医学院附属同仁医院影像科
通讯作者:
推荐引用方式(GB/T 7714):
钟京谕,星月,胡扬帆,等.中文大语言模型在放射医学中级专业技术考试中的正确率和答案解析质量[J].中华医学教育探索杂志.2025,24(2):145-149.