論文の概要: When Understanding Becomes a Risk: Authenticity and Safety Risks in the Emerging Image Generation Paradigm

• arxiv url: http://arxiv.org/abs/2603.24079v1
• Date: Wed, 25 Mar 2026 08:35:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 21:06:11.212191
• Title: When Understanding Becomes a Risk: Authenticity and Safety Risks in the Emerging Image Generation Paradigm
• Title（参考訳）: リスクを理解するとき--画像生成パラダイムの信頼性と安全性のリスク-
• Authors: Ye Leng, Junjie Chu, Mingjie Li, Chenhao Lin, Chao Shen, Michael Backes, Yun Shen, Yang Zhang,
• Abstract要約: マルチモーダル大言語モデル(MLLM)は、言語と画像生成の統一パラダイムとして登場した。 我々は、安全でないコンテンツ生成と偽画像合成という2つの側面に沿って、新興MLLMの安全性リスクを分析し、比較する。
• 参考スコア（独自算出の注目度）: 46.5461323436883
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, multimodal large language models (MLLMs) have emerged as a unified paradigm for language and image generation. Compared with diffusion models, MLLMs possess a much stronger capability for semantic understanding, enabling them to process more complex textual inputs and comprehend richer contextual meanings. However, this enhanced semantic ability may also introduce new and potentially greater safety risks. Taking diffusion models as a reference point, we systematically analyze and compare the safety risks of emerging MLLMs along two dimensions: unsafe content generation and fake image synthesis. Across multiple unsafe generation benchmark datasets, we observe that MLLMs tend to generate more unsafe images than diffusion models. This difference partly arises because diffusion models often fail to interpret abstract prompts, producing corrupted outputs, whereas MLLMs can comprehend these prompts and generate unsafe content. For current advanced fake image detectors, MLLM-generated images are also notably harder to identify. Even when detectors are retrained with MLLMs-specific data, they can still be bypassed by simply providing MLLMs with longer and more descriptive inputs. Our measurements indicate that the emerging safety risks of the cutting-edge generative paradigm, MLLMs, have not been sufficiently recognized, posing new challenges to real-world safety.
• Abstract（参考訳）: 近年,言語と画像生成の統一パラダイムとしてマルチモーダル大規模言語モデル (MLLM) が登場している。 拡散モデルと比較すると、MLLMは意味理解の能力が非常に強く、より複雑なテキスト入力を処理し、よりリッチな文脈意味を理解することができる。 しかし、この強化されたセマンティック能力は、新たな、潜在的により大きな安全性リスクをもたらす可能性がある。 拡散モデルを基準点として、安全でないコンテンツ生成と偽画像合成という2つの側面に沿って、新興MLLMの安全性リスクを体系的に分析・比較する。 複数のアンセーフ生成ベンチマークデータセットを通して、MLLMは拡散モデルよりもより安全でない画像を生成する傾向があることを観察する。 この違いは、拡散モデルが抽象的なプロンプトの解釈に失敗し、腐敗した出力を生成するのに対して、MLLMはこれらのプロンプトを理解し、安全でないコンテンツを生成できるためである。 現在の先進的な偽画像検出器では、MLLM生成画像の識別も特に困難である。 検出器がMLLM固有のデータで再訓練されたとしても、MLLMにより長くより記述的な入力を提供することでバイパスすることができる。 以上の結果から,最先端生成パラダイムであるMLLMの安全性リスクは十分に認識されておらず,現実の安全性に新たな課題がもたらされることが示唆された。

関連論文リスト

• Align is not Enough: Multimodal Universal Jailbreak Attack against Multimodal Large Language Models [83.80177564873094]
  マルチモーダル・ユニバーサル・ジェイルブレイク・アタック・フレームワークを提案する。 LLaVA,Yi-VL,MiniGPT4,MiniGPT-v2,InstructBLIPなどのMLLMの望ましくないコンテキスト生成を評価する。 本研究は,MLLMにおける堅牢な安全対策の必要性を浮き彫りにするものである。
  論文  参考訳（メタデータ） (2025-06-02T04:33:56Z)
• CoCA: Regaining Safety-awareness of Multimodal Large Language Models with Constitutional Calibration [90.36429361299807]
  マルチモーダルな大言語モデル (MLLM) は、視覚的な入力を含む会話への関与において顕著な成功を収めている。 視覚的モダリティの統合は、MLLMが悪意のある視覚的入力に影響を受けやすいという、ユニークな脆弱性を導入している。 本稿では,出力分布を校正することでMLLMの安全性を向上するCoCA技術を紹介する。
  論文  参考訳（メタデータ） (2024-09-17T17:14:41Z)
• Unbridled Icarus: A Survey of the Potential Perils of Image Inputs in Multimodal Large Language Model Security [5.077261736366414]
  強力なMLLMのような信頼性の高いAIシステムの追求は、現代研究の重要な領域として現れている。 本稿では,画像モダリティのMLLMへの導入に伴う多面的リスクの軽減に努める。
  論文  参考訳（メタデータ） (2024-04-08T07:54:18Z)
• Eyes Closed, Safety On: Protecting Multimodal LLMs via Image-to-Text Transformation [98.02846901473697]
  我々は,MLLMの本来の安全意識を生かしたトレーニング不要な保護手法であるECSO(Eyes Closed, Safety On)を提案する。 ECSOは、安全でない画像をテキストに適応的に変換することで、より安全な応答を生成し、予め整列されたLCMの本質的な安全性メカニズムを活性化する。
  論文  参考訳（メタデータ） (2024-03-14T17:03:04Z)
• MLLM-Protector: Ensuring MLLM's Safety without Hurting Performance [36.03512474289962]
  本稿では,視覚入力による悪意ある攻撃に対してMLLMを防御する新たな課題について検討する。 画像は、安全アライメントの間に考慮されていない「外国語として機能する」ため、MLLMは有害な反応を生じやすい。 MLLM-Protectorは,1)軽量害検知器による有害応答の同定,2)除毒器による有害応答の無害化という2つのサブタスクを解決するためのプラグアンドプレイ戦略である。
  論文  参考訳（メタデータ） (2024-01-05T17:05:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。