論文の概要: Safe responses matter: Output-aware safety guardrail mitigate over-refusal in MLLMs

• arxiv url: http://arxiv.org/abs/2607.09697v1
• Date: Sat, 20 Jun 2026 12:09:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-19 21:54:20.376148
• Title: Safe responses matter: Output-aware safety guardrail mitigate over-refusal in MLLMs
• Title（参考訳）: 安全対応問題:MLLMにおける出力対応安全ガードレールの過度な拒絶を緩和する
• Authors: Jiayi Li, Kun Zhan,
• Abstract要約: 大規模言語モデル(MLLM)の既存の安全性メカニズムは、安全性とユーティリティの基本的なトレードオフに直面している。 出力対応安全ガードレールへのパラダイムシフトを提案する。 我々の手法はモデル内の隠れ状態空間内で動作し、次の世代が安全でないかどうかを予測する。
• 参考スコア（独自算出の注目度）: 13.624659633750861
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing safety mechanisms for multimodal large language models (MLLMs) face a fundamental trade-off between safety and utility. Model fine-tuning achieves robust safety but compromises general utility. Input-side safety guardrails offer a lightweight alternative, yet they suffer from severe over-refusal, indiscriminately blocking benign queries or those the model could have safely answered through refusal or advisory responses. We identify that the root cause of over-refusal lies in the input-aware paradigm: safety guardrails make safety decisions without considering whether the model itself is capable of generating safe responses. Usually, MLLMs already possess intrinsic safety mechanisms that can transform harmful inputs into harmless outputs, but input-side safety guardrails override this capability, degrading user experience. Motivated by this insight, we propose a paradigm shift toward output-aware safety guardrails. Our method operates within the model's hidden state space to predict whether the forthcoming generation will be unsafe before it is fully produced. By training a lightweight classifier via multi-instance contrastive learning on hidden state representations, our approach distinguishes between inputs that will lead to unsafe outputs and those that will not, even when the inputs themselves contain risky elements. This enables precise intervention only when the model's actual response would be harmful. Extensive experiments demonstrate that our output-aware safety guardrail matches the safety performance of existing methods while drastically reducing over-refusal, preserving the model's utility and built-in safety capabilities. Code is available at: https://github.com/kunzhan/OutGuard
• Abstract（参考訳）: MLLM(Multimodal large language model)の既存の安全性メカニズムは、安全性とユーティリティの基本的なトレードオフに直面している。 モデルファインチューニングは堅牢な安全性を実現するが、汎用性を損なう。 入力側の安全ガードレールは軽量な代替手段を提供するが、過度に拒否され、良心的なクエリを無差別にブロックする。 安全ガードレールは、モデル自体が安全な応答を生成できるかどうかを考慮せずに、安全判断を行う。 MLLMには、有害な入力を無害な出力に変換する固有の安全メカニズムがすでに備わっているが、入力側の安全ガードレールはこの機能をオーバーライドし、ユーザエクスペリエンスを劣化させる。 この知見に感化されて、出力対応安全ガードレールへのパラダイムシフトを提案する。 提案手法はモデル内の隠れ状態空間内で動作し,生成前に次の世代が安全でないかどうかを予測する。 隠れ状態表現に対するマルチスタンス・コントラスト学習による軽量分類器の訓練により,入力自体が危険な要素を含む場合でも,安全でない出力につながる入力とそうでない入力を区別する。 これにより、モデルの実際の応答が有害な場合にのみ、正確な介入が可能になる。 大規模な実験により,我々の出力対応安全ガードレールは既存手法の安全性能に匹敵するが,過度な拒絶を著しく低減し,モデルの実用性と組込み安全性を維持できることを示した。 コードは、https://github.com/kunzhan/OutGuardで入手できる。

関連論文リスト

• SafeSwitch: Steering Unsafe LLM Behavior via Internal Activation Signals [51.49737867797442]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的な能力を示すが、有害なコンテンツを生成することでリスクを引き起こす。 LLMは、内部状態の安全性に関する内部評価を同様に行うことができることを示す。 本稿では,プロバーをベースとした内部状態モニタを用いて,安全でない出力を規制するSafeSwitchを提案する。
  論文  参考訳（メタデータ） (2025-02-03T04:23:33Z)
• What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
  安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。 安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。 これを用いて,3つのよく知られた安全微調整手法について検討する。
  論文  参考訳（メタデータ） (2024-07-14T16:12:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。