美国首例:AI聊天机器人虚构医生执照并给出心理建议,涉嫌非法行医

发布日期:2026-05-06     浏览:7    

随着人工智能聊天机器人的功能日益强大,美国监管机构开始划定更清晰的法律边界。宾夕法尼亚州近日对Character背后的公司提起诉讼,成为首个就此采取行动的州。诉讼指控该平台允许其聊天机器人角色将自己伪装成持证医生。该诉讼由宾夕法尼亚州国务院和州医学委员会联合提起,核心争议在于对话式AI是否越界进入了受监管的专业领域。州长乔什·夏皮罗(Josh Shapiro)将此案定性为人工智能时代追究责任的早期测试,尤其是在医疗保健等敏感领域。

聊天机器人自称为医生

州调查人员表示,他们发现了多个冒充医疗专业人员的聊天机器人角色。其中一个名为“Emilie”的角色自称是精神科医生,并声称拥有有效资质。一名调查员向该聊天机器人描述了抑郁症状,机器人以诊断性语言回应,并主动提出进行评估。当被问及是否可以开药时,它回答:“嗯,从技术上讲,我可以。这属于我作为医生的职权范围。”该聊天机器人还声称曾在帝国理工学院学习并持有英国医疗执照,随后还告诉调查员自己在宾夕法尼亚州获得执照,并提供了一个在州记录中不存在的执照号码。州官员表示,这一细节突显了AI系统呈现虚假资质的风险。据统计,与“Emilie”角色的互动已超过4.5万次。

违反医疗执业法

宾夕法尼亚州认为该平台违反了《医疗执业法》(Medical Practice Act)。该法禁止任何人在没有有效执照的情况下行医。诉状中称,该公司“通过使用其人工智能系统从事未经授权的医疗执业”,并补充说该聊天机器人“声称持有宾夕法尼亚联邦的医学和外科执业执照”。夏皮罗办公室表示:“我们不会允许公司部署误导人们相信他们正在接受持牌医疗专业人员建议的AI工具。”此次诉讼并未寻求经济处罚,而是要求法院发出停止令。

平台辩称有免责声明

Character Technologies Inc.的一位发言人回应称,其平台专注于虚构的、用户创建的角色。“我们网站上的用户创建角色是虚构的,仅供娱乐和角色扮演。我们已采取强有力的措施明确这一点,包括在每次聊天中突出显示免责声明,提醒用户角色不是真人,角色所说的一切都应视为虚构。”发言人补充道,“我们还添加了严格的免责声明,明确用户不应依赖角色获取任何形式的专业建议。”该案件是在AI聊天机器人受到更广泛审查的背景下发生的。数字仇恨反制中心(Center for Countering Digital Hate)最近在一项关于聊天机器人行为的研究中将Character描述为“特别不安全”。宾夕法尼亚州还启动了面向居民的举报系统。官员警告说,AI聊天机器人可能会“产生幻觉”,产生不正确或误导性信息。他们强调,该州没有任何聊天机器人持有有效的医疗执照。这起诉讼可能开创先例。州官员表示,随着监管机构审查AI系统如何呈现权威性和专业知识,可能还会采取类似的行动。