Fugu-MT 論文翻訳(概要): Mitigating LLM Over-Refusal via Dynamic Semantic Routing Calibratione

論文の概要: Mitigating LLM Over-Refusal via Dynamic Semantic Routing Calibratione

arxiv url: http://arxiv.org/abs/2609.25049v1
Date: Sun, 06 Sep 2026 09:37:56 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-28 05:09:55.842496
Title: Mitigating LLM Over-Refusal via Dynamic Semantic Routing Calibratione
Title（参考訳）: 動的セマンティックルーティング校正によるLLMのオーバーリフレクションの軽減
Abstract要約: 本稿では、トランスアテンション内における内部ルーティング競合のレンズによるオーバーリフレクションの力学解析について述べる。過敏性安全ヘッドのスパースサブセットがHard-Safeプロンプトを誤発し,異常な注意の絡み合いを呈することを発見した。これに対応するために,SRC(Semantic Routing)を提案する。
参考スコア（独自算出の注目度）: 27.738902895062836
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models (LLMs) aligned for safety often suffer from over-refusal, incorrectly rejecting benign yet safety-related instructions. Prior studies primarily attribute this to static representation overlap, largely overlooking the underlying dynamic mechanisms. In this paper, we present the mechanistic analysis of over-refusal through the lens of internal routing conflicts within transformer attention. We discover that a sparse subset of Hypersensitive Safety Heads misfires on Hard-Safe prompts, exhibiting abnormal attention entanglement that forcefully binds harmless target entities to refusal semantics. This triggers a severe, high-entropy routing conflict that deprives target entities of necessary attention. To counteract this, we propose Semantic Routing Calibration (SRC), a lightweight, training-free inference framework. SRC precisely localizes and dynamically suppresses these hypersensitive safety heads at the inference stage. Coupled with a dual-branch logits fusion that acts as a safety regularizer during subsequent decoding, SRC seamlessly restores trustworthy reasoning. Extensive experiments demonstrate that SRC alleviates over-refusal, with intrinsic safety performance preserved as much as feasible.
Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば過度に拒絶され、良心的かつ安全に関する命令を誤って拒否する。以前の研究では、これは主に静的な表現の重複によるもので、基礎となる動的メカニズムを概ね見下ろしている。本稿では、トランスアテンション内における内部ルーティング競合のレンズによるオーバーリフレクションの力学解析について述べる。我々は、過敏性安全ヘッドのスパースサブセットがハードセーフプロンプトに誤火し、無害な標的物質を強制的に束縛して意味論を拒絶する異常な注意の絡み合いを示すことを発見した。これにより、厳しい、高エントロピーなルーティング競合が引き起こされ、必要な注意のターゲットエンティティが失われる。これに対応するために,SRC(Semantic Routing Calibration)を提案する。 SRCは推論段階でこれらの過敏性安全ヘッドを正確に局所化し、動的に抑制する。その後の復号中に安全正則化剤として機能する二重分岐対数融合と組み合わせて、SRCは信頼に値する推論をシームレスに復元する。大規模な実験により、SRCは過度な拒絶を緩和し、本質的な安全性能は可能な限り維持可能であることが示された。

関連論文リスト

From Detection to Refusal: Safer LLMs via Circuit-Guided Weight Scaling [23.223636694641502]
大規模言語モデル(LLM)は、敵対的プロンプトの下で安全でないコンテンツを生成するのに脆弱である。機械的解釈可能性の観点から安全性を研究し、多段*安全回路を特徴付ける* 我々は、上流のハーモフル検出ヘッドの抑制が下流の拒絶動作を妨害し、安全ニューロンがこの相互作用を媒介することを示した。
論文参考訳（メタデータ） (2026-08-30T08:01:42Z)
The Illusion of High Utility in Safety Alignment of Text-to-Image Diffusion Models [49.67749928542536]
テキスト・ツー・イメージ(T2I)拡散モデルの安全性の確保は,有害な世代を抑えることを目的としている。近年の手法は高いユーティリティで高い安全性を提供するように思われるが、この結論は主に粗いグローバルユーティリティメトリクスに依存している。構造的評価で実用性を測定すると、この錯覚は壊れる:OnA(質問回答を用いたテキストから画像への忠実度評価) 本研究では,組込み拡散とプロンプト間関係構造を明示的に保存する安全アライメント目標であるStructureAware Geometric Regularization (SAGE)を提案する。
論文参考訳（メタデータ） (2026-07-01T04:00:27Z)
Internalizing Safety Understanding in Large Reasoning Models via Verification [33.2377930782685]
本稿では,安全確認タスクにのみ焦点をあてた LRM のトレーニングにより,安全性仕様を内部化するフレームワークを提案する。検証の学習は、応答安全性の強力な一般化を誘導し、ドメイン外ジェイルブレイクに対する堅牢性を著しく向上させることを示した。
論文参考訳（メタデータ） (2026-05-09T13:05:00Z)
SafeRoPE: Risk-specific Head-wise Embedding Rotation for Safe Generation in Rectified Flow Transformers [20.61907377210064]
本稿では,変圧器を用いた拡散モデル(MMDiTなど)の安全な生成フレームワークであるSafeRoPEを提案する。安全でないセマンティクスが頭レベルで解釈可能な低次元部分空間に集中していることを示し、安全クリティカルな頭部の有限セットが安全でない特徴抽出に責任を負うことを示した。次に、良質な内容や画質を損なうことなく、安全でないセマンティクスを抑えるヘッドワイドなRoPE摂動を導入する。
論文参考訳（メタデータ） (2026-04-02T09:37:32Z)
HomeGuard: VLM-based Embodied Safeguard for Identifying Contextual Risk in Household Task [42.665798473119516]
CG-CoT(Context-Guided Chain-of-Thought)を特徴とするアーキテクチャ非依存型セーフガードを提案する。 CG-CoTは、リスクアセスメントをアクティブな知覚に分解し、相互作用対象や関連する空間近傍への注意を順次固定する。実験により、我々のモデルであるHomeGuardは安全性を大幅に向上し、ベースモデルと比較してリスクマッチ率を30%以上改善することが示された。
論文参考訳（メタデータ） (2026-03-15T13:09:43Z)
BarrierSteer: LLM Safety via Learning Barrier Steering [83.12893815611052]
BarrierSteerは、学習した非線形安全性制約を直接モデルの潜在表現空間に埋め込むことで、安全性を形式化する新しいフレームワークである。 BarrierSteerは、敵の成功率を大幅に低下させ、安全でない世代を減少させ、既存の手法より優れていることを示す。
論文参考訳（メタデータ） (2026-02-23T18:19:46Z)
Mitigating Safety Tax via Distribution-Grounded Refinement in Large Reasoning Models [63.368505631152594]
安全調整は、大きな推論モデル(LRM)の一般的な推論能力を乱す安全税を発生させる。 LRMの安全アライメントに使われる既存のデータセットは、通常、外部のLRMまたは人間のラベルから安全推論の痕跡と回答を蒸留することによって構築される。本稿では,DGRと呼ばれる安全アライメントデータセット構築手法を提案する。DGRは,既存のアウト・オブ・ディストリビューション型安全推論データセットを改良し,目標のLLM内部分布に適合させる。
論文参考訳（メタデータ） (2026-02-02T14:18:48Z)
AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models [62.70575022567081]
本稿では,逆CoTチューニングによる動的自己補正をモデルに教えるアライメントパラダイムであるAdvChainを提案する。私たちの仕事は、より堅牢で信頼性の高い推論モデルを構築するための新しい方向性を確立します。
論文参考訳（メタデータ） (2025-09-29T04:27:23Z)
Probing the Robustness of Large Language Models Safety to Latent Perturbations [30.16804362984161]
安全アライメントは、信頼できる人工知能を構築する上で重要な要件である。我々は、小さな潜伏シフトが、整列モデルにおける安全でない応答を引き起こすことを観察する。学習中に隠された表現に制御された摂動を注入する微調整戦略であるLayer-wise Adversarial Patch Training (LAPT)を導入する。
論文参考訳（メタデータ） (2025-06-19T07:03:05Z)
Shape it Up! Restoring LLM Safety during Finetuning [65.75757313781104]
大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
論文参考訳（メタデータ） (2025-05-22T18:05:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。