医疗行业在缺乏联邦监管情况下推进AI治理

在缺乏联邦标准的情况下，医疗行业正艰难地尝试采用人工智能，而特朗普政府不太可能提供帮助，这使得负责任地实施AI的重担完全落在行业自身肩上。专家在拉斯维加斯举行的HIMSS医疗保健会议上表示，随着技术日益复杂，这一任务变得愈发艰巨。

“有一点很明确：本届政府不会监管AI。无论好坏，请自行理解。”供应商自动化公司Commure的首席执行官Tanay Tandon在小组讨论中表示。

特朗普总统对AI治理采取不干预态度，意味着那些希望借助AI节省成本、为过度劳累的临床医生减负的医院，可能在未来至少四年内处于监管灰色地带。总统表示其目标是让美国开发者自由创新，但这给技术开发者和医疗公司带来了不利影响——它们迫切希望获得护栏，因为AI容易出错、随时间性能下降，并可能加剧现有偏见。

此外，一些专家指出，缺乏国家标准实际上可能阻碍AI的发展和采用。“当没有联邦框架时，绝对会引发各种问题。”电子健康记录协会主席Leigh Burchell表示，“我们都想知道规则是什么，然后我们才能遵守。”

拜登与特朗普在医疗AI上的不同立场

迄今为止，包括美国卫生与公众服务部技术办公室、医疗保险和医疗补助服务中心以及食品药品监督管理局在内的少数联邦机构，已发布了针对医疗AI使用和质量的针对性规则。但国会和行政部门均未聚焦于全面的监管框架——尽管拜登政府期间取得了一些进展，当时HHS的一个工作组正在努力构建统一的监管结构。

该工作组在1月发布了一项战略计划——就在特朗普就职前10天。然而，特朗普在其首批行政命令之一中否决了该蓝图。与此同时，从事AI监管的联邦雇员（包括FDA的）已被卷入特朗普政府的政府人员精简行动。在此动荡中，负责AI政策的HHS办公室的未来仍不明朗。

结果，华盛顿在制定具体医疗AI监管战略方面本已微弱的势头似乎已停滞，至少目前如此。取而代之的是，特朗普宣布了“星际之门计划”，一项与私营公司达成的5000亿美元投资协议，以优先发展AI并保持美国在该领域的领先地位——这一高风险赌注很快因中国高性能且低成本的开源模型DeepSeek的发布而变得复杂。

“本届政府——刹车已松开，油门已踩下。”

——Brian Spisak，哈佛大学国家防备领导力倡议AI与领导力项目主任

特朗普政府在2月初发布了一份信息征询，征求公众对潜在国家AI行动计划的意见。然而，该计划的措辞明确表明了政府的优先事项：即“维持并增强美国AI的主导地位，并确保不必要的繁重要求不会阻碍私营部门的AI创新。”

撤销拜登时代的AI计划在很大程度上是象征性的，因为各机构尚未对开发者或用户施加任何要求。但在“本届政府——刹车已松开，油门已踩下”，Brian Spisak在HIMSS上表示，“医疗系统领导层肩负重大责任，要在创新与速度、安全与传统之间找到最佳平衡。”

技术巨变

这一责任——同样落在创建模型的AI开发者、将AI集成到健康记录中的软件供应商以及使用它们的临床医生身上——不容小觑。目前，医疗机构中最前沿的AI也仅用于行政管理自动化，仅边缘性地涉及患者护理。但这种情况似乎正在改变：根据HIMSS秋季进行的一项调查，医疗组织对AI的更多临床应用（如定制治疗方案或辅助临床医生诊断）兴趣日益浓厚。

许多应用涉及生成式AI，它可以创建原始文本和图像。但此类模型已知会产生幻觉，即提供事实上不正确或不相关的答案。AI可能遗漏重要信息，这种错误称为遗漏。模型也可能漂移，即AI的性能随时间变化或下降。专家表示，鉴于AI在从电子健康记录系统提取数据、转录医患对话等方面的应用日益普遍，此类错误可能干扰临床医生照顾患者的能力。

与此同时，技术正以惊人速度发展。去年，医疗行业才刚刚开始应对生成式AI的治理问题。但现在，讨论已转向AI代理，它们可以在几乎无人监督的情况下完成复杂任务。

Commure的Tanay将当前时刻比作19世纪末美国从煤油转向电力的时期。“六个月前我们做事的方式已完全无关紧要。”他说。由于开发速度飞快，专家表示，任何政府的联邦标准都可能需要保持灵活性。

拜登政府的HHS工作组建议，政府可以围绕工具测试和试点制定指南，并提供一些采用支持。然而，它回避了规定性的方法。这符合许多利益相关者的期望。许多科技公司和医院系统的高管表示，任何联邦标准都应根据AI模型带来的风险水平进行分层——例如，对帮助医生诊断疾病的算法进行更严格的监督，而对帮助医院工作人员分配床位的算法则采取较宽松的限制。

“我们必须权衡监管不足（可能增加风险）与监管过度（将扼杀创新）之间的平衡。”加州橙县儿童医院首席智能与创新官Anthony Chang在小组讨论中表示。“本届政府更可能倾向于监管不足。因此，作为专业人士，我们必须小心，不能允许这种情况发生。”Chang说。

各州和行业组织填补空白

缺乏华盛顿的指导，医院和医疗团体在拼凑各州法律和行业组织发布的自愿标准的同时，正忙于建立自己的内部控制。包括科罗拉多州、犹他州和加利福尼亚州在内的各州已颁布法律，对AI系统设定免责声明要求。更多州正在考虑类似法律：据Burchell称，电子健康记录协会正在跟踪150项与医疗AI相关的州法案。“法案数量激增。”Burchell说。

但标准不一可能阻止医疗AI开发者和软件公司在特定州推出产品，从而可能使患者因居住地而处于不利地位。她补充说，更规避风险的软件公司可能会完全避开AI或某些州。“州级各种形式和规模的法律对我们构成风险，因为这意味着我们必须进行各种不同的开发。我们更愿意开发一套可以在全国广泛使用和接受的系统。”Burchell说。

医疗AI标准组织也在填补联邦政府留下的空白。这些组织通常由领先医院、数字健康公司和科技巨头组成，包括Health AI Partnership（一个面向行业的AI学习网络）和健康AI联盟（Coalition for Health AI，CHAI），后者最近推出了一个面向医院的AI注册中心。“我认为我们可能会看到更多像Health AI Partnership这样的非政府组织成为我们今天的北极星，提供一些领导力。”EHR供应商Meditech的生成式AI计划企业负责人Rachel Wilkes表示。

但专家表示，没有联邦政府支持，行业联盟的标准几乎没有分量。历史上，自愿标准并不特别有效。“在没有联邦框架的情况下，人们有空间按自身最佳利益行事，无论那是什么。”Wilkes说。

“我们仍不太知道如何应对”

EHR供应商和医院运营商表示，他们正在为AI工具建立严格的内部标准，包括验证和频繁审计。“政府监督有其位置，但我确实认为临床实践的发展往往更多由医疗系统内部发生的事情驱动。”美国最大EHR公司Epic的研发执行副总裁Seth Howard说。在采访中，Epic、Oracle、Meditech和eClinicalWorks的高管表示，他们正在以严格监督的方式向医生提供AI，包括后端准确性检查和持续监控。然而，科技领导者强调，确保一切按计划运行也是医院和临床医生的责任。

“我们从事的是一个关乎人命的行业。它不能轻率对待。关于护栏、制衡和需要进行的讨论，不能被低估。”eClinicalWorks首席执行官Girish Navani说。科技巨头也持类似观点。例如，谷歌已与营利性医院巨头HCA合作，开发了一个评估框架，以捕捉其AI模型产生的任何错误并确保其可靠性，据谷歌云医疗保健负责人Aashima Gupta称。“我们提供这些工具用于评估框架，所有环节都有人员参与反馈循环，该反馈循环使模型更有效。”Gupta说，“这让我感到安心。”

尽管一些私营部门表示他们已处理好治理问题，但AI工程师认为，现代AI极难监督。生成式AI的主要优势——创造力——也引入了主观性，使其输出评估变得复杂。例如，如果两名临床医生被要求根据临床笔记总结患者病史，他们的结果可能大不相同，尽管仍然准确。生成式AI也是如此，专家说：当存在这种变异性时，如何以标准化方式衡量质量？“AI治理仍是一个非常成熟的过程。”哈佛的Spisak说。

医院高管表示，他们正在谨慎处理监督问题。但一些研究表明，针对较简单的预测性AI模型的治理体系已经不够严格。根据去年发表在《新英格兰医学杂志》上的一项研究，拥有明确AI工具使用和评估程序的医院仍在努力识别和缓解问题。即使是一些资源最充足、技术最先进的系统也在挣扎。克利夫兰诊所拥有一个AI治理机构，成员来自该学术医疗中心的各方利益相关者，据该院首席数字官Rohit Chandra称。该工作组监督AI对组织和患者的影响，同时确保临床安全，并讨论隐私、合法性和偏见等棘手问题。但“我不认为我们已经完全弄明白了。”Chandra在小组讨论中说，“‘幻觉’这个词在过去两三年才出现，我们仍不太知道如何应对。”

医院应尝试让特定人员对工具性能负责，作为包括高管、律师、医生和护士在内的更大治理机构的一部分，标准组织CHAI的运营主管Brenton Hill说。医院需要决定如何有效监控AI并报告该信息，这取决于他们拥有的产品。他们还需要考虑AI将使用哪些资源，并与AI供应商制定适当的数据使用协议，Hill在小组讨论中说。但“没有一种万能治理结构能解决所有问题。”Hill说。

“白日梦”

尽管联邦监管机构的路线图会有所帮助，但致力于将AI工具整合到医疗保健中的利益相关者表示，他们并不抱太大希望。“虽然自我监管是好的，但我们认为这还不够。我们认为AI太重要了，不能不受监管。”谷歌的Gupta说。但当被问及她对特朗普政府的期望时，Gupta不置可否。“目前很难说。我们正试图找出如何最好地与他们合作，分享我们的最佳实践……现在说还为时过早。我认为整个医疗界都在等待。”Gupta说。

其他专家表示，特朗普政府是对医院高管的警钟，他们曾希望华盛顿能承担起监督AI的责任。相反，责任应落在所有接触技术的人身上，以确保AI算法——鉴于其变化性和固有的不透明性——按设计运行，尤其是在任何错误都可能影响患者健康的行业中。“简单的答案是，如果监管机构说它安全，那我就可以信任它。我认为人们曾希望AI也能如此。”代理AI公司Notable的首席医疗官Aaron Neinstein说，“我认为那是一个白日梦。”