論文の概要: Revisiting Over-refusal in Safety-aligned Large Language Models: A Representation and Optimization Perspective
- arxiv url: http://arxiv.org/abs/2610.39802v1
- Date: Thu, 29 Oct 2026 10:47:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:10.077173
- Title: Revisiting Over-refusal in Safety-aligned Large Language Models: A Representation and Optimization Perspective
- Title（参考訳）: 安全に配慮した大規模言語モデルにおける過剰な拒絶を再考する:表現と最適化の視点
- Abstract要約: オーバーリフレクションは、大きな言語モデルにおける安全アライメントの副作用である。
本稿では,過度な拒絶を緩和する安全アライメントフレームワークGOALを提案する。
- 参考スコア（独自算出の注目度）: 52.656768749347776
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Over-refusal is a critical side effect of safety alignment in large language models (LLMs), causing harmless but superficially risky queries to be mistakenly rejected. Despite the effectiveness of existing mitigation methods, why safety-aligned LLMs may still reject harmless queries under correct safety supervision remains insufficiently understood. To address this gap, we analyze over-refusal through the lens of representation and optimization. We make two observations: 1) the representations of harmful and over-refusal samples are visually distinguishable at certain intermediate layers but increasingly overlap in deeper layers; and 2) harmful-sample gradients exhibit high intra-class similarity and concentrate in a low-rank subspace. Moreover, they are more strongly aligned with refusal-target gradients than with correct helpful-target gradients on over-refusal prompts. This imbalanced gradient coupling can bias over-refusal samples toward refusal, while the reduced apparent representational separation in deeper layers may make it more difficult for the model to maintain a clear boundary between harmful and over-refusal samples. To this end, we propose GOAL (Gradient Orthogonalization with contrAstive Learning), a safety-alignment framework for mitigating over-refusal. Specifically, GOAL consists of two components: 1) to prevent imbalanced gradient coupling from biasing the optimization of over-refusal samples toward refusal, we orthogonalize over-refusal gradients against the low-rank refusal subspace extracted from harmful gradients; and 2) to explicitly enhance the separation between harmful and over-refusal representations, we introduce a contrastive learning objective. Extensive experiments across multiple models and benchmarks demonstrate that GOAL effectively mitigates over-refusal while preserving safety performance and general capabilities.
- Abstract（参考訳）: オーバーリフレクション(Over-refusal)は、大規模言語モデル(LLM)における安全性アライメントの重要な副作用であり、無害だが表面的に危険なクエリを誤って拒否する。
既存の緩和手法の有効性にもかかわらず、安全に配慮したLCMが適切な安全管理の下での無害なクエリを拒否する理由はまだ十分に理解されていない。
このギャップに対処するために、表現と最適化のレンズを通して過剰な拒絶を分析する。
私たちは2つの観察をします。
1) 有害及び過剰なサンプルの表示は、ある中間層では視覚的に識別できるが、より深い層では重なる傾向にある。
2) 有害試料勾配はクラス内類似度が高く, 低ランク部分空間に集中している。
さらに、これらはオーバーリファレンスに対する適切な補助目標勾配よりも、リファレンス-ターゲット勾配に強く対応している。
この不均衡な勾配結合は、過剰な拒絶サンプルを拒絶に偏らせる可能性があるが、より深い層における明らかな表現的分離の減少は、モデルが有害なサンプルと過剰な拒絶サンプルとの明確な境界を維持するのを難しくする可能性がある。
そこで我々は,過度な拒絶を緩和する安全アライメントフレームワークGOAL(Gradient Orthogonalization with contrAstive Learning)を提案する。
具体的には、GOALは2つのコンポーネントから構成される。
1) 欠陥勾配から抽出した低ランクリファレンス部分空間に対して, オーバーリファレンスサンプルの最適化を拒絶方向にバイアスする不均衡勾配結合を防止するために, オーバーリファレンス勾配を直交する。
2) 有害表現と過剰表現の分離を明確にするために, 対照的な学習目標を導入する。
複数のモデルとベンチマークにわたる大規模な実験により、GOALは安全性能と一般的な能力を保ちながら、過剰な拒絶を効果的に緩和することを示した。
関連論文リスト
- Safety Offset Learning: When Benign Fine-Tuning Misaligns LLMs [19.94328715195481]
微調整による安全性のリスクは、トレーニングデータの有害性によって特徴づけられる。
この見解は、より基本的な要因、つまり、監督によって引き起こされる行動遷移を見逃していると論じる。
論文 参考訳（メタデータ） (2026-10-19T00:31:17Z) - DeShortcut-Align: Decoupling Spurious Shortcuts for Robust Safety Alignment in Large Reasoning Models [26.322644849094406]
大きな推論モデルの安全性アライメントは、ほぼ完全な安全性スコアをもたらすことが多いが、この明らかな成功は、過度に拒絶され、劣化した汎用能力の犠牲になる。
DeShortcut-Alignは、表面的キューへの依存を減らすショートカットデカップリングアライメントフレームワークである。
論文 参考訳（メタデータ） (2026-09-28T11:01:03Z) - Where to Refine, When to Stop: Rethinking Redundancy via Latent Discrepancy for Efficient Visual Autoregressive Generation [50.139984798361375]
遅延不一致による冗長性を除去する学習自由フレームワークを提案する。
LD-Pruningは、Infinity-8Bの最大2.35倍のスピードアップを実現し、高い生成品質を維持しながら推論を大幅に削減する。
論文 参考訳（メタデータ） (2026-05-29T19:34:39Z) - Semi-LAR: Semi-supervised Contrastive Learning with Linear Attention for Removal of Nighttime Flares [43.875783552220305]
ラベルのない画像から安定した学習を可能にする半教師付きフレア除去フレームワークを提案する。
疑似監督を段階的に洗練する適応型擬似ラベルレポジトリを提案する。
また、フレア汚染された入力を負として明示的に扱うフレア対応コントラスト損失を提案する。
論文 参考訳（メタデータ） (2026-05-18T10:02:47Z) - Understanding Emergent Misalignment via Feature Superposition Geometry [48.56470855119906]
狭小で無害なタスクの微調整が有害な行動を引き起こすことを示す。
本研究は,この現象の理解と緩和の基盤となる特徴的重ね合わせに,創発的不整合を関連づけるものである。
論文 参考訳（メタデータ） (2026-04-07T06:10:21Z) - Understanding and Mitigating Over-refusal for Large Language Models via Safety Representation [23.989016366701232]
大きな言語モデルには安全性の脆弱性がある。
モデル安全性の改善は、しばしば過度に拒絶されるコストがかかる。
LLMの安全性表現を介入することで過度な拒絶を緩和するMOSRを提案する。
論文 参考訳（メタデータ） (2025-11-24T11:38:53Z) - A Few Large Shifts: Layer-Inconsistency Based Minimal Overhead Adversarial Example Detection [13.109309606764754]
我々は、ターゲットモデル自体の内部の階層的不整合を利用するプラグイン検出フレームワークを導入する。
本手法は計算オーバーヘッドを無視して最先端検出性能を実現する。
論文 参考訳（メタデータ） (2025-05-19T00:48:53Z) - Logit Margin Matters: Improving Transferable Targeted Adversarial Attack
by Logit Calibration [85.71545080119026]
クロスエントロピー(CE)損失関数は、伝達可能な標的対向例を学習するには不十分である。
本稿では,ロジットを温度係数と適応マージンでダウンスケールすることで,ロジットのキャリブレーションを簡易かつ効果的に行う2つの手法を提案する。
ImageNetデータセットを用いて実験を行い,提案手法の有効性を検証した。
論文 参考訳（メタデータ） (2023-03-07T06:42:52Z) - Unbiased Risk Estimators Can Mislead: A Case Study of Learning with
Complementary Labels [92.98756432746482]
我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。
勾配推定の品質はリスク最小化においてより重要であることを示す。
本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-05T04:19:37Z) - Imbalanced Gradients: A Subtle Cause of Overestimated Adversarial
Robustness [75.30116479840619]
本稿では,不均衡勾配という,過度に推定された敵の強靭性も引き起こす,より微妙な状況を特定する。
不均衡勾配の現象は、マージン損失の一項の勾配が支配的となり、攻撃を準最適方向に押し上げるときに起こる。
本稿では、マージン分解攻撃(MD)について、個々の項にマージン損失を分解し、これらの項の攻撃可能性について個別に検討する。
論文 参考訳（メタデータ） (2020-06-24T13:41:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。