编程客栈() 8月1日 消息:近年来，大型扩散模型，如 DALL-E 2 和编程Stable Diffusion，因其生成高质量、逼真的图像以及执行各种图像合成和编辑任务的能力而受到认可。

但是，人们对用户友好的生成式 AI 模型的潜在滥用也越来越担忧，这些模型可能会导致不适当或有害的数字内容的创建。例如，恶意行为者可能利用公开分享的个人照片，通过使用现成的扩散模型，出于恶意目的对其进行编辑。

(资料图片仅供参考)

为了应对未经授权的图像操纵带来的日益严峻的挑战，麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员推出了一种名为“PhotoGuard”的 AI 工具，旨在对抗 DALL-E 和 Midjourney 等先进的生成式 AI 模型。 在研究论文《提高恶意 AI 驱动的图像编辑的成本》中，研究人员声称，PhotoGuard 可以检测像素值中不可察觉的“扰动”（干扰或不规则），这些扰动肉眼无法看到，但计算机模型可以检测到。

“我们的工具旨在在上传到互联网之前编程客栈‘加固’图像，确保抵抗 AI 驱动的操纵尝试，”麻省理工学院 CSAIL 博士生兼论文第一作者 Hadi Salman 对 VentureBeat 说。“在我们的概念验证论文中，我们重点关注使用目前最流行的 AI 模型类别进行图像修改。这种抵抗力是通过在要保护的图像的像素中加入微妙地制作、不可察觉的扰动来建立的。这些扰动旨在破坏试图操纵图像的 AI 模型的功能。”

据麻省理工学院 CSAIL 的研究人员介绍，该 AI 采用了两种不同的“攻击”方法来创建扰动：编码器和扩散。

“编码器”攻击侧重于 AI 模型中图像的潜在表示，使模型将图像视为随机，并使图像操纵几乎变得不可能。同样，“扩散”攻击是一种更复杂的方法，涉及确定目标图像并优化扰动，使生成的图像与目标更加相似。 Salman 解释说，其 AI 使用的关键机制是“对抗性扰动”。

“这种扰python动是对图像像素进行不可察觉地修改，已被证明非常有效地操纵机器学习模型的行为，”他说。“PhotoGuard 使用这些扰动来操纵处理受保护图像的 AI 模型，使其产生不现实或无意义的编辑。”

麻省理工学院 CSAIL 的研究生团队和主要作者 —— 包括 Alaa Khaddaj、Guillaume Leclerc 和 Andrew Ilyas —— 也参与了该论文。

该研究还于 7 月在国际机器学习会议上展示，并得到了国家科学基金会、开放哲学和国防高级研究项目局等机构资助。

Salman 说，尽管 DALL-E 和 Midjourney 等 AI 驱动的生成式模型因其能够从简单的文本描述中创建逼真的图像而受到关注，但滥用的风险也越来越明显。这些模型使用户能够生成高度详细和逼真的图像，为无辜和恶意的应用开辟了可能性。

Salman 警告说，欺诈性的图像操纵不仅会影响市场趋势和公众情绪，还会对个人图像构成风险。不恰当地修改的图片可能被用于敲诈勒索，从而在更大的范围内造成重大的财务影响。

标签：