恶意 AI 工具迅速发展,给立法者带来压力 媒体

2025-05-13

人工智能监管的挑战与应对

关键要点

黑客正在利用生成式人工智能的弱点,以满足网络犯罪的需求。研究表明,犯罪分子在攻破工具如 ChatGPT以便用于不当目的方面积极探索。一些恶意 AI 工具,如 WormGPT 和 FraudGPT,被宣传为为犯罪活动量身定做。拜登政府推进负责任的人工智能发展,已与15家技术公司达成自愿承诺。业界与立法机关都在探讨如何平衡 AI 的快速发展与安全监管。

在美国立法者和白宫努力制定计划以监控人工智能的同时,黑客们却在忙于打破生成式人工智能的伦理防线,将这些技术用于网络犯罪目的。研究机构 SlashNext 于周二发布了一份 报告 ,详细说明了犯罪分子如何使用和滥用 AI 工具。报告指出,许多热心的社区正在努力破解如 ChatGPT 的工具,以便用于不法之地。

这种对人工智能的破解涉及识别生成式 AI 模型中的脆弱点,并利用这些脆弱点以规避为其使用设置的安全措施和伦理准则。SlashNext 提到,这导致了“创造没有审查内容的情况,而没有充分考虑其潜在后果”。

恶意 AI 工具迅速发展,给立法者带来压力 媒体

滥用生成式 AI 的想法吸引了网络犯罪分子的注意,并促使恶意 AI 工具如 WormGPT 和 FraudGPT 的发展。这些工具在非法网站论坛上被宣传,声称利用了一种专为犯罪目的开发的独特大型语言模型LLM。

WormGPT 已证明能够创建令人信服的信息,可用于商业邮箱泄露BEC攻击,但 SlashNext 表示,市场上大多数其他恶意 AI 工具并没有使用它们所声称的定制 LLM。

“相反,它们使用的界面连接到破解版本的公共聊天机器人,如 ChatGPT,并通过包装层进行伪装。”

这意味着,这些工具提供给网络犯罪分子的唯一真正优势是匿名性,SlashNext 表示。“它们中的一些提供未经身份验证的访问,以加密货币支付为交换,使用户能够轻松利用 AI 生成的内容进行恶意活动而不暴露身份。”

人工智能的守护者

与此同时,拜登政府于9月12日宣布,有八家额外的科技公司已签署了一系列 自愿承诺,以促进负责任的人工智能发展。

随着 Adobe、Cohere、IBM、Nvidia、Palantir、Salesforce、Scale AI 和 Stability 的加入,白宫的这一计划现已包括15家科技巨头,旨在做好 确保安全、可靠和信任 的工作。

同一天,微软总裁布拉德史密斯在 参议院司法小组委员会 上指出,立法者无法忽视技术的“潜在危险”。

“行业在促进人工智能的安全和负责任发展方面起着重要作用。但法律和法规也发挥着至关重要的作用,”史密斯说道。“在本质上,这些法律应要求人工智能系统始终处于人为控制之下,并确保那些开发和部署这些系统的人受到法律的管辖。”

快喵加速器下载手机版