論文の概要: Evolving Safety Landscape of Multi-modal Large Language Models: A Survey of Emerging Threats and Safeguards
- arxiv url: http://arxiv.org/abs/2608.07535v1
- Date: Mon, 27 Jul 2026 20:18:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 01:32:04.554062
- Title: Evolving Safety Landscape of Multi-modal Large Language Models: A Survey of Emerging Threats and Safeguards
- Title（参考訳）: マルチモーダル大言語モデルの安全景観の展開:新興脅威と安全保護に関する調査
- Abstract要約: マルチモーダル大言語モデル(MLLM)は、モーダルアライメントと融合を通じて異質なモーダル性を統合する。
モデル複雑性の増大とクロスモーダル相互作用は、妥協されたモダリティ統合、モダリティのミスアライメント、融合した安全リスクを含む、新たな脅威を引き起こす。
- 参考スコア（独自算出の注目度）: 39.496369275408725
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modal large language models (MLLMs) integrate heterogeneous modalities through modality alignment and fusion, enabling stronger understanding and reasoning. However, this architectural shift reshapes the safety landscape of machine learning. Increased model complexity and cross-modal interactions give rise to novel threats, including compromised modality integration, modality misalignment, and fused safety risks, reflecting shifts in threat modeling beyond uni-modal assumptions. These shifts, in turn, impose new constraints on safety solutions not captured by existing frameworks rooted in uni-modal learning. Motivated by these challenges, this survey provides a systematic analysis of the evolving safety landscape of MLLMs. We first propose a multimodal grounded taxonomy of safety threats and analyze shifts in threat models, covering adversarial attacks, data poisoning, jailbreaks, and hallucinations. We then summarize updated safety assumptions and organize recent advances in MLLM safety strategies accordingly. Finally, we discuss open challenges and future directions to inform the development of more principled and scalable safety mechanisms for multimodal systems.
- Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)は、モーダルアライメントと融合を通じて異種モダリティを統合し、より強力な理解と推論を可能にする。
しかし、このアーキテクチャシフトは、機械学習の安全性の状況に反する。
モデル複雑性の増大とクロスモーダル相互作用は、妥協されたモダリティ統合、モダリティのミスアライメント、融合した安全リスクなどの新しい脅威を引き起こし、一様の仮定を超えた脅威モデリングの変化を反映している。
これらのシフトは、ユニモーダル学習に根ざした既存のフレームワークが捉えない安全ソリューションに、新たな制約を課している。
これらの課題に触発されて、この調査はMLLMの進化する安全景観を体系的に分析する。
まず、安全脅威のマルチモーダルな分類を提案し、脅威モデルの変化を分析し、敵攻撃、データ中毒、脱獄、幻覚をカバーした。
次に、更新された安全仮定を要約し、MLLMの安全性戦略の最近の進歩を整理する。
最後に,マルチモーダルシステムのためのより原則的でスケーラブルな安全機構の開発について,オープンな課題と今後の方向性について論じる。
関連論文リスト
- Adversarial Attacks on Multimodal Large Language Models: A Comprehensive Survey [0.21847754147782886]
MLLM(Multimodal large language model)は、テキスト、画像、オーディオ、ビデオなどの複数のモダリティからの情報を統合することで、視覚的質問応答や音声翻訳などの複雑な機能を実現する。
本調査はMLLMに対する敵の脅威を包括的かつ体系的に分析する。
攻撃対象に応じて敵攻撃を組織する分類法を導入し,多種多様な攻撃面をモダリティと展開設定で統一する。
また、マルチモーダルシステムのアーキテクチャや表現上の弱点を共有するために、整合性攻撃、安全性と脱獄の失敗、制御と命令のハイジャック、トレーニング時間中毒をリンクする脆弱性中心の分析も提案する。
論文 参考訳（メタデータ） (2026-03-30T00:16:31Z) - Unsafe by Reciprocity: How Generation-Understanding Coupling Undermines Safety in Unified Multimodal Models [53.41258113970795]
統一マルチモーダルモデル(UMM)における相互機能相互性自体が脆弱性の構造的源となっているかを検討する。
相互相互作用に基づくクロスファンクショナル・ファンクショナル・エクスプロイテーションは, 理解と生成の間の双方向の相互作用を明示的に活用する, 新たな攻撃パラダイムである。
論文 参考訳（メタデータ） (2026-03-28T16:28:39Z) - Automating Steering for Safe Multimodal Large Language Models [58.36932318051907]
基礎モデルの微調整を必要とせず,モジュール型かつ適応型推論時間介入技術であるAutoSteerを導入する。
AutoSteerは,(1)モデル内部層間の最も安全性に関連のある識別を自動的に行う新しい安全意識スコア(SAS),(2)中間表現から有害な出力の可能性を推定するために訓練された適応安全プローバ,(3)安全性のリスクが検出された場合に生成を選択的に介入する軽量な拒絶ヘッドの3つのコアコンポーネントを組み込んだ。
論文 参考訳（メタデータ） (2025-07-17T16:04:55Z) - Align is not Enough: Multimodal Universal Jailbreak Attack against Multimodal Large Language Models [83.80177564873094]
マルチモーダル・ユニバーサル・ジェイルブレイク・アタック・フレームワークを提案する。
LLaVA,Yi-VL,MiniGPT4,MiniGPT-v2,InstructBLIPなどのMLLMの望ましくないコンテキスト生成を評価する。
本研究は,MLLMにおける堅牢な安全対策の必要性を浮き彫りにするものである。
論文 参考訳（メタデータ） (2025-06-02T04:33:56Z) - DREAM: Disentangling Risks to Enhance Safety Alignment in Multimodal Large Language Models [37.104276926258095]
MLLM(Multimodal Large Language Models)は、視覚データとテキストデータの統合により、ユニークな安全性上の課題を提起する。
textbfDREAM(textittextbfDisentangling textbfRisks to textbfEnhance Safety textbfAlignment in textbfMLLMs)を導入する。
論文 参考訳（メタデータ） (2025-04-25T03:54:24Z) - Multimodal Large Language Models for Enhanced Traffic Safety: A Comprehensive Review and Future Trends [5.233512464561313]
従来のアドバンストドライバー支援システムは、しばしば動的な現実のシナリオで苦労する。
本稿では,これらの制約に対処する上で,MLLM(Multimodal Large Language Models)の変換可能性について概説する。
MLLMを次世代の交通安全システムの基礎として位置づけることで、この分野に革命をもたらす可能性を示している。
論文 参考訳（メタデータ） (2025-04-21T18:48:35Z) - SoK: The Security-Safety Continuum of Multimodal Foundation Models through Information Flow and Game-Theoretic Defenses [58.93030774141753]
MFM(Multimodal foundation model)は、多種多様なデータモダリティを統合し、複雑で広範囲なタスクをサポートする。
本稿では,モデル行動とシステムレベルの相互作用の両方から生じる致命的な脅威を特定することで,MFMの文脈における安全性とセキュリティの概念を統一する。
論文 参考訳（メタデータ） (2024-11-17T23:06:20Z) - Multimodal Situational Safety [73.63981779844916]
マルチモーダル・シチュエーション・セーフティ(Multimodal situational Safety)と呼ばれる新しい安全課題の評価と分析を行う。
MLLMが言語やアクションを通じても安全に応答するためには、言語クエリが対応する視覚的コンテキスト内での安全性への影響を評価する必要があることが多い。
我々は,現在のMLLMの状況安全性能を評価するためのマルチモーダル状況安全ベンチマーク(MSSBench)を開発した。
論文 参考訳（メタデータ） (2024-10-08T16:16:07Z) - Threat Modelling and Risk Analysis for Large Language Model (LLM)-Powered Applications [0.0]
大規模言語モデル(LLM)は、高度な自然言語処理機能を提供することによって、様々なアプリケーションに革命をもたらした。
本稿では,LSMを利用したアプリケーションに適した脅威モデリングとリスク分析について検討する。
論文 参考訳（メタデータ） (2024-06-16T16:43:58Z) - Unbridled Icarus: A Survey of the Potential Perils of Image Inputs in Multimodal Large Language Model Security [5.077261736366414]
強力なMLLMのような信頼性の高いAIシステムの追求は、現代研究の重要な領域として現れている。
本稿では,画像モダリティのMLLMへの導入に伴う多面的リスクの軽減に努める。
論文 参考訳（メタデータ） (2024-04-08T07:54:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。