某人什么时候应该信任AI助手的预测?

在繁忙的医院中,放射科医生正在使用人工智能系统来帮助她根据患者的X射线图像来诊断医疗状况。使用AI系统可以帮助她更快地诊断

在繁忙的医院中,放射科医生正在使用人工智能系统来帮助她根据患者的X射线图像来诊断医疗状况。使用AI系统可以帮助她更快地诊断,但是她怎么知道何时相信AI的预测?

她没有。取而代之的是,她可能依靠自己的专业知识,系统本身提供的信心水平,或者对算法如何做出其预测(看起来令人信服但仍然是错误的)的解释来估计。

为了帮助人们更好地理解何时信任AI“队友”,麻省理工学院的研究人员创建了一种入职技术,该技术指导人类对机器做出正确预测的情况以及其做出错误预测的情况有更准确的理解。

通过向人们展示AI如何补充他们的能力,培训技术可以帮助人类做出更好的决定或与AI代理合作时得出更快的结论。

“我们提出了一个教学阶段,我们将人类逐渐向这种AI模型介绍,以便他们自己可以看到其弱点和优势,”社会和工程系统博士研究所的研究生研究所的研究生Hussein Mozannar说。 ,系统和社会(IDSS)也是计算机科学和人工智能实验室(CSAIL)临床机器学习小组和医学工程与科学研究所的研究人员。 “我们通过模仿人类在实践中与人工智能互动的方式来做到这一点,但是我们会干预以给他们反馈,以帮助他们了解他们与AI的每一次互动。”

Mozannar与计算机科学助理教授Arvind Satyanarayan一起撰写了这篇论文,他领导Csail的可视化组。 MIT电气工程和计算机科学副教授,临床机器学习小组的负责人,以及高级作家David Sontag。该研究将在2月的人工智能协会协会上进行。

这项工作着重于人类建立其他人的心理模型。如果放射科医生不确定案件,她可能会问一个在某个领域的专家的同事。从过去的经验和对这位同事的知识中,她具有自己的长处和缺点的心理模型,以评估他的建议。

Mozannar说,当人类与AI代理商互动时,人们就会建立相同种类的心理模型,因此重要的模型是准确的。认知科学表明,人类通过记住过去的互动和经验来决定复杂的任务。因此,研究人员设计了一个入职过程,该过程提供了人类和人工智能共同努力的代表性示例,这些示例是人类将来可以借鉴的参考点。他们首先创建了一种算法,该算法可以识别最能教会人类有关AI的示例。

Mozannar说:“我们首先使用AI未指导的对他们过去的决定的观察,从而学习了人类专家的偏见和优势。” “我们将对人类的知识与我们对AI的了解相结合,以了解它对人类依靠AI有帮助的地方。然后,我们获得了我们知道人类应该依靠AI和人类不应依靠AI的类似情况的情况。”

研究人员对基于段落的问题的回答任务测试了他们的入职技术:用户收到书面段落和一个问题,其答案包含在段落中。然后,用户必须回答问题,并可以单击按钮以“让AI答案”。但是,用户无法事先看到AI答案,但是要求他们依靠其AI的心理模型。他们开发的入职过程首先向用户展示了这些示例,后者试图在AI系统的帮助下进行预测。人类可能是对或错,AI可能是对或错,但是在解决示例之后,用户看到了正确的答案,并说明了AI为什么选择其预测的解释。为了帮助用户从示例中概括,显示了两个对比的示例,这些示例解释了为什么AI对或错了。植物学教科书。人可以自己回答或让AI系统回答。然后,她看到了两个后续示例,可以帮助她更好地了解AI的能力。也许AI在有关水果的后续问题上是错误的,但就关于地质的问题而言。在每个示例中,系统用于进行预测的系统都会突出显示。 Mozannar解释说,看到突出显示的单词有助于人类理解AI代理的极限。

为了帮助用户保留他们所学到的知识,用户然后写下了她从这个教学示例中提出的规则,例如“这种AI不擅长预测花朵”。然后,她可以在实践中与代理商合作时稍后参考这些规则。这些规则还构成了用户对AI的心理模型的形式化。教学的影响

研究人员与三组参与者一起测试了这项教学技术。一个小组经历了整个入职技术,另一组没有收到后续比较示例,而基线组没有接受任何教学,但可以提前看到AI的答案。

“接受教学的参与者和未接受教学但可以看到AI的答案的参与者一样。因此,结论他们能够模拟AI的答案,以及他们看过的问题。” Mozannar说。

研究人员更深入地研究了数据,以查看个人参与者写的规则。他们发现,接受培训的人中,近50%的人为AI的能力提供了准确的课程。那些有准确的课程的人在63%的示例中是正确的,而那些没有准确的课程的人对54%的人是正确的。那些没有接受教学但可以看到AI答案的人在57%的问题上是正确的。

“当教学成功时,它会产生重大影响。那是这里的收获。当我们能够有效地教参与者时,他们能够做得比您真正给他们答案更好。”他说。

但是结果也表明仍然存在差距。经过培训的人中,只有50%的人在AI中建立了准确的心理模型,甚至只有63%的时间。莫桑纳尔说,即使他们学到了准确的课程,他们并不总是遵守自己的规则。自己的心理模型?他们希望将来探索这个问题,并完善入门过程以减少所花费的时间。他们还对使用更复杂的AI模型进行运行的用户研究感兴趣,尤其是在医疗保健环境中。

“当人类与其他人类合作时,我们在很大程度上依靠知道我们的合作者的优势和劣势是什么 – 它可以帮助我们知道何时(何时何时)(何时)依靠对方寻求帮助。我很高兴看到这项研究将该原则应用于人类和人工智学。 “向用户传授AI的优势和劣势对于产生积极的人类联合成果至关重要。”

这项研究得到了国家科学基金会的部分支持。

在麻省理工学院新闻的允许下重新发布。阅读原始文章。

原创文章,作者:点数网,如若转载,请注明出处:http://www.dsonekey.com/2933.html

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注

联系我们

400-800-8888

在线咨询:点击这里给我发消息

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息