論文の概要: Why Is RLHF Alignment Shallow? A Gradient Analysis

• arxiv url: http://arxiv.org/abs/2603.04851v1
• Date: Thu, 05 Mar 2026 06:07:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-06 22:06:11.096105
• Title: Why Is RLHF Alignment Shallow? A Gradient Analysis
• Title（参考訳）: RLHFアライメントが浅すぎる理由 : グラディエント分析
• Abstract要約: 勾配に基づくアライメントは本質的に害が決定され、それ以上に消える位置に集中する。 我々は、各位置が害に与える影響を定量化する「害情報$I_t$」の概念を導入する。 我々は、すべての位置で勾配信号を生成するリカバリペナルティに基づいて目的を導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Why is safety alignment in LLMs shallow? We prove that gradient-based alignment inherently concentrates on positions where harm is decided and vanishes beyond. Using a martingale decomposition of sequence-level harm, we derive an exact characterization of alignment gradients. The gradient at position $t$ equals the covariance between the conditional expected harm and the score function. This implies that positions beyond the harm horizon where the output's harmfulness is already determined receive zero gradient signal during training. This explains empirical observations that KL divergence between aligned and base models concentrates on early tokens. Consequently, standard alignment objectives cannot produce deep alignment, regardless of optimization quality. We introduce the concept of harm information $I_t$, which quantifies each position's influence on harm, and prove that equilibrium KL divergence tracks this quantity. Finally, we derive an objective based on recovery penalties that creates gradient signal at all positions, providing theoretical grounding for empirically successful data augmentation techniques.
• Abstract（参考訳）: LLMの安全アライメントはなぜ浅いのか? 我々は、勾配に基づくアライメントが本質的に害が決定され、それ以上に消える位置に集中していることを証明する。 配列レベルの調和のマーチンゲール分解を用いて、アライメント勾配の正確な特徴を導出する。 位置$t$の勾配は、条件付き期待調和とスコア関数の共分散と等しい。 これは、出力の有害度が既に決定されているハーネス水平線を超える位置が、トレーニング中にゼロ勾配信号を受け取ることを意味する。 これは、KLのアライメントとベースモデルの分岐が初期のトークンに集中しているという経験的観察を説明する。 したがって、最適化の品質に関わらず、標準アライメントの目的は深いアライメントを生み出すことはできない。 我々は、各位置が害に与える影響を定量化する「調和情報$I_t$」の概念を導入し、平衡KL分散がこの量を追跡することを証明した。 最後に、任意の位置で勾配信号を生成するリカバリペナルティに基づいて目的を導出し、実験的に成功したデータ拡張技術の理論的基盤を提供する。

関連論文リスト

• Learning from the Descent Direction: Adaptive Gradient Descent under One-Sided Hölder Regularity [0.0]
  一方のHlderは、方向によって減少しない方向によって減少しない方向によって減少しない方向によって減少しない方向によって減少しない方向によって減少しない方向によって減少しない方向によって、その方向によって減少しない方向によって減少しない方向によって減少しない方向によって減少しない方向によって減少しない方向によって減少しない方向により減少しない方向により減少しない方向により減少しない方向によって減少しない方向によって減少しない方向によって減少しない方向によって、フル勾配変化が増大しない方向によって膨張しない方向によって、効果的な適応的なステップサイズ信号であることがわかった。
  論文  参考訳（メタデータ） (2026-07-24T20:50:13Z)
• SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation [64.33799467286265]
  Low-Rank Adaptation (LoRA)は、大規模な事前訓練されたモデルの下流タスクへの効率的な適応を可能にする。 完全な微調整勾配が低ランク行列に逆伝播すると,その特異値によって誘導される異方性スケーリングを受けることを示す。 本稿では,後方パスから特異値を構造的に分離する新しい低ランクパラメータ化SDS-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-06-15T09:27:50Z)
• Why Zeroth-Order Adaptation May Forget Less: A Randomized Shaping Theory [23.912005398880293]
  継続的な学習は、以前獲得した能力を損なうことなく、新しいタスク適応を必要とする。 最近のフォワードパスとゼロオーダー(ZO)の結果は、低クエリ適応が一階降下よりも優れていることを示している。 有限差分はFOと平均整合した生の形状を明らかにする。 標準整合ZOの場合、予想される形状の保持曲率は、異方性成分のみを収縮しながら等方性保持床を保存する正確な恒等性に従う。 このアイデンティティを入射勾配に投影すると、観測可能な FO--ZO 二次的無視ギャップが得られる。
  論文  参考訳（メタデータ） (2026-05-11T14:41:08Z)
• Flatness and Gradient Alignment Are Both Necessary: Spectral-Aware Gradient-Aligned Exploration for Multi-Distribution Learning [7.794885131732119]
  マルチディストリビューション・ラーニング・セッティングにおいて,平坦性と勾配のアライメントを考慮すべきであることを示す。 両用語を対象とするSAGE(Spectral-Aware Gradient-Aligned Exploration)を提案する。 5つの領域一般化と2つのマルチタスク学習ベンチマーク実験により,提案手法が新たな最先端技術を確立することを示す。
  論文  参考訳（メタデータ） (2026-05-08T15:52:34Z)
• Understanding Emergent Misalignment via Feature Superposition Geometry [48.56470855119906]
  狭小で無害なタスクの微調整が有害な行動を引き起こすことを示す。 本研究は,この現象の理解と緩和の基盤となる特徴的重ね合わせに,創発的不整合を関連づけるものである。
  論文  参考訳（メタデータ） (2026-04-07T06:10:21Z)
• Suspicious Alignment of SGD: A Fine-Grained Step Size Condition Analysis [30.6120085647449]
  本稿では,不調な最適化条件下での勾配降下(SGD)における不審なアライメント現象について検討する。 具体的には、SGD更新の初期段階では、勾配と支配部分空間のアライメントが減少する傾向にある。 十分な条件下では、SGD更新をバルク空間に投影すると損失が減少し、支配空間に投影すると損失が増大するステップサイズ間隔が存在することを示す。
  論文  参考訳（メタデータ） (2026-01-16T21:32:48Z)
• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• Risk Phase Transitions in Spiked Regression: Alignment Driven Benign and Catastrophic Overfitting [4.340040784481499]
  この論文は、スパイク強度の変化とターゲットスパイクアライメントがリスクにどのように影響するかを特徴付ける。 この研究は、一般化誤差の正確な表現を示し、良性、誘惑性、破滅的な過剰適合状態の包括的分類に繋がる。
  論文  参考訳（メタデータ） (2025-10-01T19:51:47Z)
• Gradient Equilibrium in Online Learning: Theory and Applications [56.02856551198923]
  勾配平衡は標準オンライン学習法によって達成される。 勾配平衡は、オンライン予測問題において解釈可能かつ有意義な性質に変換される。 勾配平衡フレームワークは,ブラックボックス予測の偏りを緩和する手法の開発に利用できることを示す。
  論文  参考訳（メタデータ） (2025-01-14T18:59:09Z)
• Global $\mathcal{L}^2$ minimization at uniform exponential rate via geometrically adapted gradient descent in Deep Learning [1.4050802766699084]
  本稿では,ディープラーニング(DL)ネットワークにおける教師あり学習のシナリオについて考察する。 DLネットワークの出力層におけるユークリッド計量に対する勾配流を選択する。
  論文  参考訳（メタデータ） (2023-11-27T02:12:02Z)
• Random Feedback Alignment Algorithms to train Neural Networks: Why do they Align? [0.0]
  ランダムウォーカーの更新と真の勾配とのアライメントは、近似勾配降下を駆動する。 勾配アライメントはそれらの固定点に対する安定性の基準であることを示す。 高レベルの勾配アライメントがアルゴリズム性能の低下につながることを実証する。
  論文  参考訳（メタデータ） (2023-06-04T10:50:13Z)
• The Equalization Losses: Gradient-Driven Training for Long-tailed Object Recognition [84.51875325962061]
  本稿では,長距離問題に対処するための勾配駆動型学習機構を提案する。 我々は、勾配駆動損失関数の新たなファミリー、すなわち等化損失を導入する。 我々の手法は一貫してベースラインモデルより優れています。
  論文  参考訳（メタデータ） (2022-10-11T16:00:36Z)
• Neural Collapse Inspired Attraction-Repulsion-Balanced Loss for Imbalanced Learning [97.81549071978789]
  勾配の異なる成分のバランスをとるために,Attraction-Repulsion-Balanced Loss (ARB-Loss)を提案する。 大規模分類とセグメンテーションデータセットの実験を行い、ARB-Lossは最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-04-19T08:23:23Z)
• Distribution of Classification Margins: Are All Data Equal? [61.16681488656473]
  我々は理論的に動機付け、トレーニングセット上のマージン分布の曲線の下の領域が実際は一般化のよい尺度であることを実証的に示す。 結果として生じる"高いキャパシティ"機能のサブセットは、異なるトレーニング実行間で一貫性がない。
  論文  参考訳（メタデータ） (2021-07-21T16:41:57Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。