論文の概要: On the Sparsity of Direct Preference Optimization: Weight Disentanglement in the NTK Regime

• arxiv url: http://arxiv.org/abs/2610.37085v1
• Date: Tue, 27 Oct 2026 11:48:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.579248
• Title: On the Sparsity of Direct Preference Optimization: Weight Disentanglement in the NTK Regime
• Title（参考訳）: 直接選好最適化の空間性について:NTKレジームにおける重みの絡み合い
• Abstract要約: 直接選好最適化(DPO)は、言語モデルと人間の選好の整合に広く採用されている。 ニューラルネットワークの線形化の下でDPOの最適化力学を解析し、DPO損失のロジスティック構造が暗黙の最大マージンバイアスを引き起こすことを示す。 我々はこの構造を本定理で定式化し、支持対の個数をマージン依存スペクトル量で有界化し、双対空間と重みの絡み合いに関する枠組みを提示する。
• 参考スコア（独自算出の注目度）: 31.935824861650005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Direct Preference Optimization (DPO) has been widely adopted for aligning language models with human preferences. Recent empirical work has revealed that DPO induces remarkably sparse parameter updates, yet no theoretical explanation for this phenomenon has been offered. We analyze DPO's optimization dynamics under a neural tangent kernel linearization and show that the logistic structure of the DPO loss gives rise to an implicit maximum-margin bias. Building on this observation, we introduce the concept of dual sparsity: the DPO update direction is a sparse linear combination (data-level sparsity, driven by support vectors) of sparse gradient feature vectors (parameter-level sparsity, arising from gradient cancellation between preferred and dispreferred responses). We formalize this structure in our main theorem, bound the number of support pairs by a margin-dependent spectral quantity, and present a framework relating dual sparsity to weight disentanglement---a condition favorable for model merging. Experiments on GPT-2 Small and Medium and on 7--9B instruction-tuned models (Llama-3-8B, Mistral-7B, Gemma-2-9B) with the Anthropic HH-RLHF and UltraFeedback datasets confirm both sources of sparsity, and experiments on GPT-2 show that DPO reduces cross-task interference by up to $35{\times}$ compared to supervised fine-tuning.
• Abstract（参考訳）: 直接選好最適化(DPO)は、言語モデルと人間の選好の整合に広く採用されている。 最近の実証研究により、DPOは著しくスパースパラメータの更新を誘導することが明らかになったが、この現象に関する理論的説明は提供されていない。 ニューラルネットワークの線形化の下でDPOの最適化力学を解析し、DPO損失のロジスティック構造が暗黙の最大マージンバイアスを引き起こすことを示す。 DPO更新方向は、疎勾配特徴ベクトルの疎線形結合(サポートベクトルによって駆動されるデータレベル空間)である(パラメータレベル空間は、好ましくは好ましくない応答間の勾配キャンセルから生じる)。 我々は、この構造を本定理で定式化し、支持対の数をマージン依存のスペクトル量で束縛し、重みのアンタングルメントに双対空間を関連づける枠組みを提示する--モデルマージに好適な条件である。 GPT-2 の小型・中級および7--9B 命令調整モデル(Llama-3-8B, Mistral-7B, Gemma-2-9B)と Anthropic HH-RLHF と UltraFeedback のデータセットによる実験は、両源の空間性を確認し、GPT-2 の実験では、DPO が監督された微調整と比較して、最大で35{\times} の干渉を減らすことが示されている。

関連論文リスト

• Geometry-Aware Preference Optimization for Text-to-Image Diffusion Models [49.55999164524554]
  拡散-DPOは基本的に、好ましくないサンプルを抑えながら、好ましくないサンプルの可能性を奨励する。 APOは基準復調関数が高感度な方向の正則化を適応的に強化する。 APOは、様々なアライメント手法に対して、強い性能と平均勝利率を60%以上達成する。
  論文  参考訳（メタデータ） (2026-10-04T05:55:08Z)
• D2PO: Optimizing Diffusion Samplers via Dynamic Preference [55.530862428116244]
  D2POは拡散サンプリングポリシーを最適化するための原則的なフレームワークである。 動的選好を導入し、アライメントに使用するサンプルを徐々に改善する。 実験により、D2POは拡散サンプリング器と知覚的品質をより忠実に整列することが示された。
  論文  参考訳（メタデータ） (2026-07-07T06:05:42Z)
• AdaDPO: Self-Adaptive Direct Preference Optimization with Balanced Gradient Updates [0.03999851878220877]
  本稿では,DPOアルゴリズムの自己適応的変種を提案する。 AdaDPOは、好ましくない確率と好ましくない確率の勾配の等級を強制するために構築される。 損失レベルで純粋に動作するため、AdaDPOは既存の好みベースのアライメントパイプラインにドロップすることができる。
  論文  参考訳（メタデータ） (2026-05-27T13:05:49Z)
• Linear-DPO: Linear Direct Preference Optimization for Diffusion and Flow-Matching Generative Models [5.527466367347639]
  統合逆時間SDEフレームワークによる拡散とフローマッチングの両方をカバーする汎用DPO目標を導出する。 攻撃的シグモイドベースユーティリティ関数を持続的線形ユーティリティに置き換え,EMA更新参照モデルを組み込んだLinear-DPOを提案する。
  論文  参考訳（メタデータ） (2026-05-20T12:54:51Z)
• Curvature-Guided LoRA: Steering in the pretrained NTK subspace [60.35296431630704]
  本稿では,PEFTを用いて得られた予測器と,出力レベルにおける完全微調整の予測器との整合性を考慮した予測アライメント問題を提案する。 我々は、この目的が自然に、ニュートンのような、曲率ホワイトの勾配に対応する最適な低ランク更新を行う、曲率対応の2階定式化につながることを示した。 この知見に基づいて、局所曲率情報を用いて適応方向を選択し、スケールする曲率誘導LoRA(CG-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-03-31T14:46:39Z)
• Weights-Rotated Preference Optimization for Large Language Models [30.25242193651982]
  本稿では,DPO から受け継いだ KL 発散量に対して,出力層ロジットを暗黙的に制約する,新しい重み付き優先度最適化 (RoPO) アルゴリズムを提案する。 我々の RoPO は AlpacaEval 2 の 3.27 点改善を実現し,トレーニング可能なパラメータの 0.015% を MT-Bench の 6.2 から 7.5 点 で上回っている。
  論文  参考訳（メタデータ） (2025-08-25T03:57:17Z)
• Divergence Minimization Preference Optimization for Diffusion Model Alignment [66.31417479052774]
  Divergence Minimization Preference Optimization (DMPO) は、逆KL分散を最小化して拡散モデルを整列する原理的手法である。 DMPOは、異なるベースモデルとテストセットで既存のテクニックを一貫して上回り、適合させることができる。
  論文  参考訳（メタデータ） (2025-07-10T07:57:30Z)
• Understanding the Performance Gap in Preference Learning: A Dichotomy of RLHF and DPO [53.914481648817066]
  本研究では,人間からのフィードバックからの強化学習と,表現ギャップ下での直接選好最適化との間の性能ギャップを分解する。 RLHF, DPO, オンラインDPOは, モデルミスのタイプによって, 互いに優れることを示す。
  論文  参考訳（メタデータ） (2025-05-26T09:54:02Z)
• Orthogonal Finetuning for Direct Preference Optimization [33.09944763583021]
  重み付き優先度最適化(RoPO)法によるDPOの微調整を提案する。 RoPOは、超球面エネルギー不変量を維持するために、重みパラメータの回転および等級ストレッチング更新を行う。 我々のモデルは、トレーニング可能なパラメータの0.0086%しか使用せずに、元の表現能力を維持しながら、人間の好みと完全に一致します。
  論文  参考訳（メタデータ） (2024-09-23T09:09:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。