論文の概要: Understanding In-Context Multimodal Jailbreaks via Posterior Reweighting

• arxiv url: http://arxiv.org/abs/2609.10613v1
• Date: Tue, 08 Sep 2026 15:26:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.077762
• Title: Understanding In-Context Multimodal Jailbreaks via Posterior Reweighting
• Title（参考訳）: 後部重み付けによるインテクストマルチモーダルジェイルブレークの理解
• Abstract要約: In-context Learning (ICL) Jailbreaksは、マルチモーダル大言語モデル(MLLM)において重大な脆弱性を明らかにする 本稿では,安全に整合したMLLMを,競合する動作モードに対して暗黙的に動作するようにモデル化した後部再重み付けフレームワークを提案する。 本稿では,推定リスクに基づいて,良性逆エビデンスを適応的に注入する後方認識型推論時防御法を提案する。
• 参考スコア（独自算出の注目度）: 8.221008188186625
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) jailbreaks reveal a critical vulnerability in multimodal large language models (MLLMs): harmful demonstrations in the prompt can induce unsafe outputs without modifying model parameters. Despite extensive empirical evidence, existing work lacks a principled understanding of why such jailbreaks reliably succeed or how their effectiveness scales with context composition. We propose a posterior reweighting framework that models a safety-aligned MLLM as implicitly operating over competing behavioral modes, and interprets in-context demonstrations as inference-time evidence that dynamically shifts the model's posterior preference between safe and harmful behaviors. This view formalizes jailbreak as a process of evidence accumulation, yielding predictive scaling laws with respect to demonstration count, harmful ratio, adversarial strength, and semantic diversity. Guided by this framework, we introduce a posterior-aware inference-time defense that adaptively injects benign counter-evidence based on estimated risk, effectively suppressing harmful posterior drift while preserving model utility. Compared to existing in-context defenses, our method achieves a significantly improved robustness-utility trade-off under a fixed intervention budget. Together, our results establish posterior reweighting as a unifying and predictive framework for understanding and mitigating ICL jailbreak in MLLMs.
• Abstract（参考訳）: In-context Learning (ICL) ジェイルブレイクは、マルチモーダルな大規模言語モデル(MLLM)において重要な脆弱性を明らかにしている。 広範な実証的な証拠にもかかわらず、既存の作品には、このようなジェイルブレイクが確実に成功した理由や、それらの効果が文脈構成によってどのようにスケールするかについての原則的な理解が欠けている。 本稿では,安全に整合したMLLMを競合する行動モードに対して暗黙的に操作するものとしてモデル化した後部再重み付けフレームワークを提案する。 この見解は、ジェイルブレイクを証拠蓄積の過程として定式化し、実証数、有害比、敵の強さ、意味の多様性に関する予測的スケーリング法則を導出する。 この枠組みにより,予測リスクに基づいて良性逆エビデンスを適応的に注入し,モデルユーティリティを保ちながら有害な後部ドリフトを効果的に抑制する,後部認識型推論時防御法が導入された。 提案手法は,既存のコンテキスト内防御と比べ,固定的な介入予算の下で,ロバストネス・ユーティリティ・トレードオフを著しく改善する。 本研究は,MLLMにおけるICLジェイルブレイクの理解と緩和のための統合的・予測的枠組みとして,後部再重み付けを確立した。

関連論文リスト

• Silencing the Guardrails: Inference-Time Jailbreaking via Dynamic Contextual Representation Ablation [16.17685258866394]
  モデルガードレールを動的に静かにする新しい推論時間介入フレームワーク、Contextual Representation Ablation (CRA)を提案する。 CRAは、高価なパラメータ更新やトレーニングを必要とせずに、デコード中の拒絶誘発活性化パターンを特定し、抑制する。 複数の安全に整合したオープンソース LLM に対する実証的な評価は、CRA がベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2026-04-09T05:35:56Z)
• Enhancing Safety of Large Language Models via Embedding Space Separation [24.821172423424866]
  大きな言語モデル(LLM)は印象的な機能を達成したが、有害なプロンプトに対する安全性を保証することは、依然として重要な課題である。 最近の研究によると、LLMにおける有害で安全なクエリの潜伏表現(埋め込み)は、通常線形分離性を示す。 この観測により,埋め込み空間分離(ES2)という表現レベルの微調整手法を提案する。
  論文  参考訳（メタデータ） (2026-03-01T07:22:38Z)
• Understanding and Mitigating Over-refusal for Large Language Models via Safety Representation [23.989016366701232]
  大きな言語モデルには安全性の脆弱性がある。 モデル安全性の改善は、しばしば過度に拒絶されるコストがかかる。 LLMの安全性表現を介入することで過度な拒絶を緩和するMOSRを提案する。
  論文  参考訳（メタデータ） (2025-11-24T11:38:53Z)
• ForgeDAN: An Evolutionary Framework for Jailbreaking Aligned Large Language Models [8.765213350762748]
  ジェイルブレイク攻撃は 有害な出力を 引き出すためにアライメント・ガードをバイパスする セマンティック・コヒーレントで高能率な対人プロンプトを生成するための新しいフレームワークであるForgeDANを提案する。 本評価は,従来のSOTAソリューションよりも優れた自然さとステルスを維持しつつ,高い脱獄率を達成することを示す。
  論文  参考訳（メタデータ） (2025-11-17T16:19:21Z)
• Does More Inference-Time Compute Really Help Robustness? [50.47666612618054]
  小規模なオープンソースモデルは、推論時間スケーリングの恩恵を受けることができることを示す。 我々は、逆スケーリング法として、直感的に動機付けられ、実証的に検証された重要なセキュリティリスクを特定します。 私たちは、セキュリティに敏感で現実世界のアプリケーションに推論タイムのスケーリングを適用する前に、実践者にこれらの微妙なトレードオフを慎重に検討するよう促します。
  論文  参考訳（メタデータ） (2025-07-21T18:08:38Z)
• ICLShield: Exploring and Mitigating In-Context Learning Backdoor Attacks [61.06621533874629]
  In-context Learning (ICL)は、大規模言語モデル(LLM)において顕著な成功を収めた。 本稿では,LLMがタスク関連潜伏概念とバックドア関連潜伏概念の両方を同時に学習する,という二重学習仮説を初めて提案する。 そこで本研究では,概念選好比を動的に調整する防衛機構であるICLShieldを提案する。
  論文  参考訳（メタデータ） (2025-07-02T03:09:20Z)
• Cannot See the Forest for the Trees: Invoking Heuristics and Biases to Elicit Irrational Choices of LLMs [83.11815479874447]
  本研究では,人間の認知における認知的分解と偏見に触発された新しいジェイルブレイク攻撃フレームワークを提案する。 我々は、悪意のあるプロンプトの複雑さと関連バイアスを減らし、認知的分解を用いて、プロンプトを再編成する。 また、従来の二分的成功または失敗のパラダイムを超越したランキングベースの有害度評価指標も導入する。
  論文  参考訳（メタデータ） (2025-05-03T05:28:11Z)
• MIRAGE: Multimodal Immersive Reasoning and Guided Exploration for Red-Team Jailbreak Attacks [85.3303135160762]
  MIRAGEは、物語駆動型コンテキストとロール没入を利用して、マルチモーダル大規模言語モデルにおける安全性メカニズムを回避する新しいフレームワークである。 最先端のパフォーマンスを達成し、最高のベースラインよりも攻撃成功率を最大17.5%向上させる。 役割の浸漬と構造的セマンティック再構築は、モデル固有のバイアスを活性化し、モデルが倫理的保護に自発的に違反することを実証する。
  論文  参考訳（メタデータ） (2025-03-24T20:38:42Z)
• CeTAD: Towards Certified Toxicity-Aware Distance in Vision Language Models [16.5022773312661]
  本稿では,ジェイルブレイク攻撃に対する大規模視覚言語モデルの保護を目的とした,普遍的な認証防衛フレームワークを提案する。 まず、悪意のある応答と意図した応答のセマンティックな差異を定量化する新しい距離尺度を提案する。 そして, ランダム化スムーシングを用いて, 形式的堅牢性を保証するための回帰認証手法を考案する。
  論文  参考訳（メタデータ） (2025-03-08T17:33:55Z)
• Improving LLM Safety Alignment with Dual-Objective Optimization [81.98466438000086]
  大規模言語モデル(LLM)の既存のトレーニング時間安全アライメント技術は、ジェイルブレイク攻撃に対して脆弱なままである。 本研究では,DPOの目的を2つの構成要素にまとめる安全アライメントの改善について提案する。(1) 安全でない世代が部分的に発生しても拒否を促す頑健な拒絶訓練,(2) 有害な知識の未学習。
  論文  参考訳（メタデータ） (2025-03-05T18:01:05Z)
• Reasoning-to-Defend: Safety-Aware Reasoning Can Defend Large Language Models from Jailbreaking [54.10710423370126]
  本稿では,大規模言語モデルの生成プロセスに安全性を考慮した推論機構を統合する訓練パラダイムであるReasoning-to-Defend(R2D)を提案する。 CPOは、与えられた対話の安全性に対するモデルの認識を高める。 実験によると、R2Dは様々な攻撃を効果的に軽減し、元の性能を維持しながら全体の安全性を向上させる。
  論文  参考訳（メタデータ） (2025-02-18T15:48:46Z)
• LLM Safety Alignment is Divergence Estimation in Disguise [17.69612534949964]
  この視点は、アライメント後の安全なプロンプトと有害なプロンプトの間の潜伏空間における分離の出現を説明する。 標準の嗜好に基づくデータセットではなく、コンプライアンス拒否データセットを使用することで、分離がより強くなり、安全性の整合性が向上することを示す。
  論文  参考訳（メタデータ） (2025-02-02T04:09:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。