論文の概要: Reading, Not Manipulating: Leveraging Router Logits for Multimodal Safety in MoE Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.07774v1
• Date: Tue, 06 Oct 2026 05:09:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.821604
• Title: Reading, Not Manipulating: Leveraging Router Logits for Multimodal Safety in MoE Vision-Language Models
• Title（参考訳）: MoEビジョンランゲージモデルにおけるマルチモーダル安全のためのルータログの活用
• Abstract要約: 視覚言語モデル(VLM)は、視覚的入力とテキスト入力の相互作用から有害な意図が生じるような構成上の安全リスクに直面している。 本稿では,プロンプトプリフィル中のルーティング信号を読み出し,生成前の安全でない要求を識別する軽量なルータログ安全検出器を提案する。
• 参考スコア（独自算出の注目度）: 51.95643874494937
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) face compositional safety risks where harmful intent emerges from the interaction between visual and textual inputs. As mixture-of-experts (MoE) VLMs become increasingly common, recent work has explored various safety interventions, including prompting, supervised fine-tuning, and routing-based expert steering. However, these methods show inconsistent improvements across models and evaluation distributions, and the intervention into model behavior or internal states introduce safety-utility tradeoffs by over-refusal. Rather than manipulating internal states to steer model behavior, we instead ask whether routing states can serve as diagnostic signals for multimodal safety. We find that router logits indeed provide highly predictive signals of whether a multimodal input is safe or not. Motivated by this observation, we introduce a lightweight router-logit safety detector that reads out routing signals during prompt prefill and identifies unsafe requests before generation, without modifying model parameters or expert routing. Across Qwen3-VL and Kimi-VL, the proposed detector substantially reduces safety errors on the HoliSafe benchmark and resoundingly generalizes to out-of-distribution safety benchmarks featuring different safety patterns, including MISHard and MM-SafetyBench. The success of the proposed router-logit detector also suggests a broader perspective on model internals: rather than focusing only on manipulating internal components to steer behavior, simply reading naturally emerging signals and linking them to an external safety mechanism can provide a simple, effective, and non-intrusive complement to existing safety interventions.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、視覚入力とテキスト入力の相互作用から有害な意図が生じる構成上の安全性リスクに直面している。 混合専門家(MoE)のVLMが一般化するにつれて、近年の研究では、プロンプト、教師付き微調整、ルーティングベースのエキスパートステアリングなど、さまざまな安全介入が検討されている。 しかし, これらの手法は, モデルと評価分布の相反する改善を示し, モデル行動や内部状態への介入は, 過度な拒絶による安全効用トレードオフをもたらす。 モデル動作を操縦するために内部状態を操作するのではなく、ルーティング状態がマルチモーダル安全性の診断信号として機能するかどうかを問う。 ルータログは,マルチモーダル入力が安全かどうかを,非常に予測可能な信号を提供する。 この観測で得られた軽量ルータログ安全検知器は,プロンプトプリフィル中のルーティング信号を読み出し,モデルパラメータやエキスパートルーティングを変更することなく,生成前の安全でないリクエストを識別する。 Qwen3-VL と Kimi-VL にまたがって提案された検出器は,HoliSafe ベンチマークの安全性エラーを大幅に低減し,MISHard や MM-SafetyBench など,様々な安全パターンを特徴とする配布外安全ベンチマークに再帰的に一般化する。 提案したルータ・ロジット検出器の成功はまた、モデル内部のより広い視点を示唆している: 内部コンポーネントの操作のみに集中するのではなく、自然発生する信号を読み出し、それらを外部の安全機構にリンクすることで、既存の安全介入をシンプルで効果的かつ非侵襲的に補完することができる。

関連論文リスト

• Safe responses matter: Output-aware safety guardrail mitigate over-refusal in MLLMs [13.624659633750861]
  大規模言語モデル(MLLM)の既存の安全性メカニズムは、安全性とユーティリティの基本的なトレードオフに直面している。 出力対応安全ガードレールへのパラダイムシフトを提案する。 我々の手法はモデル内の隠れ状態空間内で動作し、次の世代が安全でないかどうかを予測する。
  論文  参考訳（メタデータ） (2026-06-20T12:09:13Z)
• Do Models Share Safety Representations? Cross-Model Steering for Safe Visual Generation [52.122731171289665]
  クロスモデル安全ステアリングのための最初のフレームワークを紹介する。 私たちのパイプラインは、ターゲット側の安全でないデータにアクセスしません。 多様なソース・ターゲット・モデル・ペア間のテキスト・ツー・イメージとテキスト・ツー・ビデオ生成におけるアプローチを評価する。
  論文  参考訳（メタデータ） (2026-06-03T18:00:04Z)
• Robust Multimodal Safety via Conditional Decoding [52.92816441364308]
  マルチモーダル大規模言語モデル(MLLM)は、有害なクエリが相互モーダル相互作用を悪用した場合、しばしば安全性の低下を経験する。 本稿では,MLLMの内部表現を利用して応答生成前の二項安全トークンを予測する,シンプルな条件付きデコード戦略であるCASAを提案する。
  論文  参考訳（メタデータ） (2026-03-31T23:19:50Z)
• Automating Steering for Safe Multimodal Large Language Models [58.36932318051907]
  基礎モデルの微調整を必要とせず,モジュール型かつ適応型推論時間介入技術であるAutoSteerを導入する。 AutoSteerは,(1)モデル内部層間の最も安全性に関連のある識別を自動的に行う新しい安全意識スコア(SAS),(2)中間表現から有害な出力の可能性を推定するために訓練された適応安全プローバ,(3)安全性のリスクが検出された場合に生成を選択的に介入する軽量な拒絶ヘッドの3つのコアコンポーネントを組み込んだ。
  論文  参考訳（メタデータ） (2025-07-17T16:04:55Z)
• SafeSwitch: Steering Unsafe LLM Behavior via Internal Activation Signals [51.49737867797442]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的な能力を示すが、有害なコンテンツを生成することでリスクを引き起こす。 LLMは、内部状態の安全性に関する内部評価を同様に行うことができることを示す。 本稿では,プロバーをベースとした内部状態モニタを用いて,安全でない出力を規制するSafeSwitchを提案する。
  論文  参考訳（メタデータ） (2025-02-03T04:23:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。