論文の概要: COMIC: Reference-Aware Safety Gating for Multimodal Large Language Models
- arxiv url: http://arxiv.org/abs/2608.17234v1
- Date: Tue, 18 Aug 2026 00:45:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.170561
- Title: COMIC: Reference-Aware Safety Gating for Multimodal Large Language Models
- Title（参考訳）: COMIC:マルチモーダル大言語モデルのための参照型安全ゲーティング
- Abstract要約: マルチモーダルな大言語モデル(MLLM)は、スクリーンショット、スキャンされた文書、図、その他の視覚的に接地された入力と対話するために、ますます使われるようになっている。
安全でない振る舞いは、モデルが局所化された視覚的ターゲットに要約、翻訳、追従のような明らかに良質な操作を結び付ける場合にのみ現れる。
MLLMのための参照対応プレジェネレーション安全ゲートであるCOMICを提案する。
- 参考スコア（独自算出の注目度）: 9.772233159718601
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal large language models (MLLMs) are increasingly used to interact with screenshots, scanned documents, diagrams, and other visually grounded inputs. This shift introduces a new safety risk: in many multimodal jailbreaks, neither the prompt nor the image is harmful in isolation. Unsafe behavior emerges only when the model binds an apparently benign operation, such as summarizing, translating, or following, to a localized visual target. This reveals a structural weakness in current multimodal defenses, which largely moderate the prompt-image pair as a whole even though the true security-relevant unit is the grounded operation-target pair produced during dereference. In this work, we identify and analyze this reference-dependent failure mode and show that existing defenses degrade when harmful semantics are localized, activated only after grounding, and dependent on visual reference resolution. To address this problem, we propose COMIC (Context-Operation-Modality-Image-Classifier), a reference-aware pre-generation safety gate for MLLMs. COMIC first infers the requested operation and reference type, constructs candidate targets from OCR and open-vocabulary proposals, grounds plausible referents, and evaluates safety over explicit operation-target pairs. To handle ambiguity conservatively, COMIC combines max-risk aggregation with quality-aware routing before deciding whether to forward or block a request. We evaluate COMIC across multiple open-source MLLMs, localized and broader multimodal jailbreak benchmarks, and benign reference-sensitive settings. The results show that COMIC consistently improves robustness while preserving benign utility and practical efficiency. More broadly, our findings suggest that multimodal safety cannot be enforced reliably without modeling the requested operation, the visual target to which it applies, and the confidence of that grounding.
- Abstract（参考訳）: マルチモーダルな大言語モデル(MLLM)は、スクリーンショット、スキャンされた文書、図、その他の視覚的に接地された入力と対話するためにますます使われる。
多くのマルチモーダルジェイルブレイクでは、プロンプトもイメージも分離しても有害ではない。
安全でない振る舞いは、モデルが局所化された視覚的ターゲットに要約、翻訳、追従のような明らかに良質な操作を結び付ける場合にのみ現れる。
これは現在のマルチモーダル・ディフェンスにおける構造的弱点を明らかにしており、これは真のセキュリティ関連ユニットが非参照時に発生する接地された運用目標ペアであるにもかかわらず、プロンプト・イメージ対を概ね緩やかにしている。
本研究では,この参照依存型障害モードを特定し解析し,有害なセマンティクスが局所化され,接地後にのみ活性化され,視覚的参照解決に依存する場合に,既存の防御が劣化することを示す。
この問題に対処するために,MLLMの参照対応前世代安全ゲートであるCOMIC(Context-Operation-Modality- Image-Classifier)を提案する。
COMICはまず、要求された操作と参照タイプを推論し、OCRとオープン語彙の提案から候補ターゲットを構築し、妥当な参照を根拠とし、明示的な操作とターゲットのペアよりも安全性を評価する。
曖昧さを保守的に処理するために、COMICは、リクエストを転送するかブロックするかを決定する前に、最大リスク集約と品質を意識したルーティングを組み合わせる。
我々は、複数のオープンソースMLLM、ローカライズされたより広範なマルチモーダルジェイルブレイクベンチマーク、良質な参照センシティブ設定におけるCOMICを評価した。
その結果,COMICは良質な実用性と実用性を維持しつつ,一貫して頑健性を向上させることがわかった。
より広範に,要求された操作,適用対象,その根拠の信頼性をモデル化することなく,マルチモーダル安全性を確実に実施できないことが示唆された。
関連論文リスト
- ReFrame: Evidence-Guided Test-Time Safety Alignment in Multimodal Large Language Models [19.730586833276032]
マルチモーダルな安全アライメント手法は、クロスモーダルなジェイルブレイク、セーフティ・アウェアネスの失敗、過敏な拒絶に対処する必要がある。
既存の方法は、しばしばリトレーニングや内部検査に依存し、デプロイされたクローズドソースMLLMに適用性を制限する。
本稿では,2つのエージェントが軽量なローカルにデプロイされたMLLMを共有する,トレーニング不要なマルチモーダル入力リフレーミングフレームワークであるReFrameを提案する。
論文 参考訳（メタデータ） (2026-08-21T13:47:21Z) - Dual Adversarial Fine-tuning for Enhancing Robustness of Large Vision Language Model [73.59026525350808]
2つのモードからの視覚的および意味的な監視信号を協調的に最適化する二重対向微調整フレームワークを提案する。
本手法は, ゼロショット分類, 画像キャプション, 視覚的質問応答タスクにおいて, 対向ロバスト性評価における最先端手法よりも優れている。
論文 参考訳（メタデータ） (2026-07-21T10:49:29Z) - VLMShield: Efficient and Robust Defense of Vision-Language Models against Malicious Prompts [63.54526809319117]
VLM(Vision-Language Models)は、視覚統合時のアライメントの弱さにより、悪意のあるプロンプト攻撃による重大な安全性上の脆弱性に直面している。
我々は,CLIPが長いテキストを処理し,マルチモーダル情報を統一表現に融合することを可能にするマルチモーダル集約特徴抽出フレームワークを提案する。
我々は,マルチモーダル攻撃をプラグ・アンド・プレイ・ソリューションとして効率的に識別する軽量安全検知器 VLMShield を開発した。
論文 参考訳（メタデータ） (2026-04-07T22:18:27Z) - Robust Multimodal Safety via Conditional Decoding [52.92816441364308]
マルチモーダル大規模言語モデル(MLLM)は、有害なクエリが相互モーダル相互作用を悪用した場合、しばしば安全性の低下を経験する。
本稿では,MLLMの内部表現を利用して応答生成前の二項安全トークンを予測する,シンプルな条件付きデコード戦略であるCASAを提案する。
論文 参考訳（メタデータ） (2026-03-31T23:19:50Z) - CIBER: A Comprehensive Benchmark for Security Evaluation of Code Interpreter Agents [27.35968236632966]
LLMベースのコードインタプリタエージェントは、ますます重要な状況にデプロイされている。
既存のベンチマークでは、動的コード実行、ツールインタラクション、マルチターンコンテキストから生じるセキュリティリスクをキャプチャできない。
動的アタック生成、分離されたセキュアサンドボックス、状態認識評価を組み合わせた自動ベンチマークであるCIBERを紹介する。
論文 参考訳（メタデータ） (2026-02-23T06:41:41Z) - Risk Awareness Injection: Calibrating Vision-Language Models for Safety without Compromising Utility [26.564913442069866]
視覚言語モデル(VLM)は、大きな言語モデル(LLM)の推論能力を、モード間設定に拡張する。
既存の防衛は、安全性の微調整や攻撃的なトークン操作に頼っており、相当な訓練コストや性能の大幅な低下を招いている。
安全校正のための軽量かつトレーニング不要なフレームワークであるリスク意識注入(RAI)を提案する。
論文 参考訳（メタデータ） (2026-02-03T11:26:05Z) - CSR-Bench: A Benchmark for Evaluating the Cross-modal Safety and Reliability of MLLMs [10.42126976065225]
MLLM(Multimodal large language model)は、テキストと画像の相互作用を可能にする。
本稿では,クロスモーダル信頼性を評価するベンチマークであるCSR-Benchを紹介する。
我々は16の最先端MLLMを評価し,系統的な相互アライメントギャップを観察した。
論文 参考訳（メタデータ） (2026-02-03T08:49:44Z) - SafeRedir: Prompt Embedding Redirection for Robust Unlearning in Image Generation Models [67.84174763413178]
我々はSafeRedirを紹介した。SafeRedirは、迅速な埋め込みリダイレクトによる堅牢なアンラーニングのための軽量な推論時フレームワークである。
SafeRedirは,効果的な非学習能力,意味的・知覚的保存能力,堅牢な画像品質,対人攻撃に対する耐性の向上を実現している。
論文 参考訳（メタデータ） (2026-01-13T15:01:38Z) - Align is not Enough: Multimodal Universal Jailbreak Attack against Multimodal Large Language Models [83.80177564873094]
マルチモーダル・ユニバーサル・ジェイルブレイク・アタック・フレームワークを提案する。
LLaVA,Yi-VL,MiniGPT4,MiniGPT-v2,InstructBLIPなどのMLLMの望ましくないコンテキスト生成を評価する。
本研究は,MLLMにおける堅牢な安全対策の必要性を浮き彫りにするものである。
論文 参考訳（メタデータ） (2025-06-02T04:33:56Z) - MIRAGE: Multimodal Immersive Reasoning and Guided Exploration for Red-Team Jailbreak Attacks [85.3303135160762]
MIRAGEは、物語駆動型コンテキストとロール没入を利用して、マルチモーダル大規模言語モデルにおける安全性メカニズムを回避する新しいフレームワークである。
最先端のパフォーマンスを達成し、最高のベースラインよりも攻撃成功率を最大17.5%向上させる。
役割の浸漬と構造的セマンティック再構築は、モデル固有のバイアスを活性化し、モデルが倫理的保護に自発的に違反することを実証する。
論文 参考訳（メタデータ） (2025-03-24T20:38:42Z) - Model-Editing-Based Jailbreak against Safety-aligned Large Language Models [13.887770576598646]
大規模言語モデル(LLM)は、先進的な自然言語相互作用を実現することによって、多くの分野を変革してきた。
本稿では,安全フィルタをバイパスする新しいホワイトボックス手法であるターゲットモデル編集(TME)を提案する。
TMEはモデル行列に埋め込まれた安全クリティカルトランスフォーメーション(SCT)を特定し、削除し、悪意のあるクエリが制限をバイパスできるようにする。
論文 参考訳（メタデータ） (2024-12-11T08:44:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。