論文の概要: When Reasoning Is Not Enough: Proactive Inquiry for Cross-Modal Safety in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2610.22068v1
• Date: Thu, 15 Oct 2026 15:28:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.160453
• Title: When Reasoning Is Not Enough: Proactive Inquiry for Cross-Modal Safety in Multimodal Large Language Models
• Title（参考訳）: 推論が不十分な場合:多モーダル大言語モデルにおけるクロスモーダル安全のための積極的な調査
• Abstract要約: MLLM(Multimodal large language model)は、画像とテキストが共同で解釈されると、安全でない動作をすることができる。 予測エントロピーと学習したクロスモーダルリスクスコアを組み合わせたSAFE-PROを提案する。 7つのベンチマークと2つのベースMLLMで、SAFE-PROはSRPOの安全性を常に改善し、そのオーバーリフレクションをほぼ半減し、平均的なシングルターン安全性においてGPT-4oとClaude-3.5-Sonnetを上回っている。
• 参考スコア（独自算出の注目度）: 51.455584007179226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models (MLLMs) can act unsafely when individually benign images and texts are interpreted jointly. Beyond implicit reasoning risk, where reasoning drifts toward harm, we identify intent-level risk, where cross-modal ambiguity silently commits the model to a hazardous premise that path-level optimization alone cannot correct. We propose SAFE-PRO, which uses a Risk-Conditioned Uncertainty (RCU) signal, combining predictive entropy with a learned cross-modal risk score, to decide when to ask safety-grounded clarifying questions and where to apply path optimization, under a reward that prioritizes safety and penalizes over-refusal. We also build SSUI-Dialog, a multimodal multi-turn dataset with dual-intent supervision, and theoretically analyze gradient variance and unsafe-completion risk under RCU. Across seven benchmarks and two base MLLMs, SAFE-PRO consistently improves safety over SRPO, roughly halves its over-refusal, and surpasses GPT-4o and Claude-3.5-Sonnet in average single-turn safety.
• Abstract（参考訳）: MLLM(Multimodal large language model)は、画像とテキストが共同で解釈されると、安全でない動作をすることができる。 推論が害に向かって漂う暗黙の推論リスク以外にも、モダリティ間の曖昧さが、パスレベルの最適化だけでは修正できないという危険な前提に静かにモデルをコミットする意図レベルのリスクを特定します。 本稿では,リスク定義不確実性(RCU)信号を用いて,予測エントロピーと学習したクロスモーダルリスクスコアを組み合わせたSAFE-PROを提案する。 また、マルチモーダル・マルチターン・データセットであるSSUI-Dialogを構築し、理論的にはRCU下での勾配分散と非安全補完リスクを解析する。 7つのベンチマークと2つのベースMLLMで、SAFE-PROはSRPOの安全性を常に改善し、平均的な単一ターン安全性でGPT-4oとClaude-3.5-Sonnetを上回っている。

関連論文リスト

• Constrained Language Model Policy Optimization via Risk-aware Stepwise Alignment [49.2305683068875]
  本稿では,リスク認識を政策最適化プロセスに組み込んだ新しいアライメント手法であるリスク対応ステップワイドアライメント(RSA)を提案する。 RSAは、過剰なモデルシフトによって引き起こされるリスクを基準方針から緩和し、低確率で高影響の有害な振る舞いを明示的に抑制する。 実験により, 本手法は高い安全性を確保しつつ, 高い安全性を達成できることが確認された。
  論文  参考訳（メタデータ） (2025-12-30T14:38:02Z)
• SafeGRPO: Self-Rewarded Multimodal Safety Alignment via Rule-Governed Policy Optimization [79.14563283347773]
  マルチモーダルな大言語モデル (MLLM) は印象的な推論と命令追従能力を示した。 クロスモーダル結合は、個々の入力が良性である場合でも、安全でないセマンティクスを生成する。 自己回帰型マルチモーダル安全アライメントフレームワークであるSafeGRPOを提案する。
  論文  参考訳（メタデータ） (2025-11-17T05:09:49Z)
• SaFeR-VLM: Toward Safety-aware Fine-grained Reasoning in Multimodal Models [66.71948519280669]
  MLRM(Multimodal Large Reasoning Models)は、クロスモーダルな推論を示すが、しばしば敵のプロンプトによる安全性のリスクを増幅する。 既存の防御は主に出力レベルで動作し、推論プロセスを制約せず、モデルは暗黙のリスクに置かれる。 4つのコンポーネントを統合し,表面レベルのフィルタリングを超える動的かつ解釈可能な安全性決定をサポートするSaFeR-VLMを提案する。
  論文  参考訳（メタデータ） (2025-10-08T10:39:12Z)
• When Safe Unimodal Inputs Collide: Optimizing Reasoning Chains for Cross-Modal Safety in Multimodal Large Language Models [50.66979825532277]
  我々は、クロスモーダルチャレンジに適した解釈可能な推論パスを備えた最初のデータセットであるSSUI(Safe-Semantics-but-Unsafe-Interpretation)を紹介した。 新たなトレーニングフレームワークであるSRPO(Safety-Aware Reasoning Path Optimization)も、SSUIデータセットに基づいて設計されている。 実験の結果, SRPO学習モデルでは, キーセーフティベンチマークで最先端の結果が得られた。
  論文  参考訳（メタデータ） (2025-09-15T15:40:58Z)
• DREAM: Disentangling Risks to Enhance Safety Alignment in Multimodal Large Language Models [37.104276926258095]
  MLLM(Multimodal Large Language Models)は、視覚データとテキストデータの統合により、ユニークな安全性上の課題を提起する。 textbfDREAM(textittextbfDisentangling textbfRisks to textbfEnhance Safety textbfAlignment in textbfMLLMs)を導入する。
  論文  参考訳（メタデータ） (2025-04-25T03:54:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。