論文の概要: Harnessing Textual Refusal Directions for Multimodal Safety

• arxiv url: http://arxiv.org/abs/2606.31876v2
• Date: Sun, 05 Jul 2026 16:59:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 17:33:48.715789
• Title: Harnessing Textual Refusal Directions for Multimodal Safety
• Title（参考訳）: マルチモーダル安全のためのテキストの拒絶方向の調和
• Authors: Moreno D'Incà, Nicu Sebe, Massimiliano Mancini,
• Abstract要約: マルチモーダルセーフティデータを必要とせずにマルチモーダルセーフティを注入する軽量なトレーニングフリーアプローチであるModality-Agnostic Refusal Steering (MARS)を導入する。 MARSは、アクティベーションリセンタによるモダリティの不整合を補正し、幾何的に定義された信頼領域内でステアリング強度を適応的にスケーリングし、最適な介入層を選択する。
• 参考スコア（独自算出の注目度）: 70.16764304975675
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To improve safety in Large Language Models (LLMs) we can either perform post-training alignment or exploit refusal directions in the activation space. Both strategies are less feasible in Multimodal LLMs (MLLMs) as they require unsafe multimodal data, harder to collect than their unimodal counterpart. In this work, we relax this constraint and investigate whether textual refusal directions, extracted directly from the LLM backbone, generalize across modalities (i.e., image, video). Preliminary findings confirm this ability, though effectiveness is conditioned by layer selection, steering strength, and cross-modal alignment, with the latter causing safe multimodal inputs to be spuriously steered toward refusal. Building on this, we introduce Modality-Agnostic Refusal Steering (MARS), a light-weight training-free approach that injects multimodal safety without the need for multimodal safety data. MARS corrects modality misalignment via activation re-centering, adaptively scales steering strength within a geometrically defined trust region, and selects the optimal intervention layer, operating at the first generated token. Evaluated on five SOTA MLLMs across safety, utility, and video jailbreak benchmarks, MARS achieves consistent safety gains while preserving utility. These results reveal that safety-relevant structure is shared across modalities and that textual refusal directions are a powerful and underexplored foundation for multimodal alignment.
• Abstract（参考訳）: LLM(Large Language Models)の安全性を向上させるために、トレーニング後のアライメントを実行するか、アクティベーション空間における拒絶方向を利用することができる。 どちらの戦略も、安全でないマルチモーダルデータを必要とするため、MLLM(Multimodal LLM)では実現不可能であり、非モーダルデータよりも収集が困難である。 本研究では, この制約を緩和し, LLMバックボーンから直接抽出したテキストの拒絶方向が, モダリティ(画像, ビデオ)にまたがって一般化されるかどうかを検討する。 予備的な結果は, 有効性は層選択, ステアリング強度, クロスモーダルアライメントによって規定されるが, 後者は, 安全なマルチモーダルインプットを拒絶方向に急激に誘導する。 これに基づいて、マルチモーダル安全性データを必要とせずにマルチモーダル安全性を注入する軽量なトレーニングフリーアプローチであるModality-Agnostic Refusal Steering(MARS)を導入する。 MARSは、アクティベーションリセンタによるモダリティの不整合を補正し、幾何的に定義された信頼領域内でステアリング強度を適応的にスケーリングし、第1生成トークンで操作する最適な介入層を選択する。 安全性、ユーティリティ、ビデオジェイルブレイクベンチマークの5つのSOTA MLLMで評価され、MARSは実用性を維持しながら一貫した安全性の向上を達成する。 これらの結果から、安全関連構造はモダリティ間で共有され、テキストの拒絶方向はマルチモーダルアライメントのための強力で未探索の基盤であることが明らかとなった。

関連論文リスト

• Safety Geometry Collapse in Multimodal LLMs and Adaptive Drift Correction [43.59114552026716]
  MLLM(Multimodal large language model)は、テキストモダリティで学習した安全性機能を意味的に等価な非テキスト入力に転送するのに失敗することが多い。 本研究は,テキストアライメントされた拒絶方向とモダリティによるドリフト方向を解析することにより,このギャップについて検討する。 本稿では,自己修正によるモダリティドリフトを適応的に補正するトレーニングフリー推論時間法であるReGapを提案する。
  論文  参考訳（メタデータ） (2026-05-18T09:16:55Z)
• CSR-Bench: A Benchmark for Evaluating the Cross-modal Safety and Reliability of MLLMs [10.42126976065225]
  MLLM(Multimodal large language model)は、テキストと画像の相互作用を可能にする。 本稿では,クロスモーダル信頼性を評価するベンチマークであるCSR-Benchを紹介する。 我々は16の最先端MLLMを評価し,系統的な相互アライメントギャップを観察した。
  論文  参考訳（メタデータ） (2026-02-03T08:49:44Z)
• COSMO-RL: Towards Trustworthy LMRMs via Joint Safety and Stability [101.80200069234377]
  COSMO-RLは,マルチモーダル・マルチタスク・マルチオブジェクト信号下でLMRMを学習する混合強化学習フレームワークである。 我々のアプローチは、アライメント中に競合するのではなく、安全と能力をひとつの安定したパイプラインで一緒に成長させることを目的としています。
  論文  参考訳（メタデータ） (2025-10-05T13:30:03Z)
• When Safe Unimodal Inputs Collide: Optimizing Reasoning Chains for Cross-Modal Safety in Multimodal Large Language Models [50.66979825532277]
  我々は、クロスモーダルチャレンジに適した解釈可能な推論パスを備えた最初のデータセットであるSSUI(Safe-Semantics-but-Unsafe-Interpretation)を紹介した。 新たなトレーニングフレームワークであるSRPO(Safety-Aware Reasoning Path Optimization)も、SSUIデータセットに基づいて設計されている。 実験の結果, SRPO学習モデルでは, キーセーフティベンチマークで最先端の結果が得られた。
  論文  参考訳（メタデータ） (2025-09-15T15:40:58Z)
• Automating Steering for Safe Multimodal Large Language Models [58.36932318051907]
  基礎モデルの微調整を必要とせず,モジュール型かつ適応型推論時間介入技術であるAutoSteerを導入する。 AutoSteerは,(1)モデル内部層間の最も安全性に関連のある識別を自動的に行う新しい安全意識スコア(SAS),(2)中間表現から有害な出力の可能性を推定するために訓練された適応安全プローバ,(3)安全性のリスクが検出された場合に生成を選択的に介入する軽量な拒絶ヘッドの3つのコアコンポーネントを組み込んだ。
  論文  参考訳（メタデータ） (2025-07-17T16:04:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。