論文の概要: GAW-PO: Preference Optimization with Gradient-Aligned Token Weights

• arxiv url: http://arxiv.org/abs/2610.01511v2
• Date: Fri, 02 Oct 2026 08:02:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:29.993231
• Title: GAW-PO: Preference Optimization with Gradient-Aligned Token Weights
• Title（参考訳）: GAW-PO:グラディエントアライズトウケウェイトを用いた優先最適化
• Abstract要約: 優先最適化のための勾配整列トークン再重み付け手法であるGAW-POを導入する。 本手法は,評価された選好最適化手法の中で,最も高い平均性能を実現する。
• 参考スコア（独自算出の注目度）: 2.5926962297314677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most preference optimization methods, such as Direct Preference Optimization (DPO), apply preference supervision at the response level, although autoregressive language models are optimized token by token. As a result, all tokens in a rejected response contribute to the negative training signal, including tokens that may encode behavior that is useful for the preferred response. We introduce GAW-PO, a gradient-aligned token reweighting method for DPO that estimates, for each rejected token, whether penalizing it would interfere with the preferred update directions. Tokens whose gradients are strongly aligned with the preferred behavior receive a weaker negative contribution, while conflicting tokens retain a stronger penalty. Our method achieves the highest average performance among the evaluated preference-optimization methods, improving by 0.97 points over standard DPO and 0.65 points over the strongest competing baseline across 11 benchmarks spanning mathematics, reasoning, coding, and question answering. We further show that gradient-aligned weighting is substantially more robust to aggressive preference optimization: as the DPO regularization parameter $β$ decreases, standard DPO degrades sharply, whereas GAW-PO continues to improve. These results suggest that accounting for the interaction between rejected-token updates and preferred behavior provides an effective form of token-level credit assignment for preference optimization.
• Abstract（参考訳）: 直接選好最適化(DPO)のようなほとんどの選好最適化手法は、自己回帰言語モデルはトークンによって最適化されたトークンであるが、応答レベルでの選好監督を適用する。 その結果、拒否された応答の全てのトークンは負の訓練信号に寄与し、好む応答に有用な振る舞いを符号化するトークンを含む。 GAW-PO は DPO の勾配整列トークン再重み付け手法であり,提案手法が推奨される更新方向に干渉するかどうかを推定する。 グラデーションが望ましい行動と強く一致したトークンは、より弱い負の寄与を受け、矛盾するトークンはより強いペナルティを保持する。 提案手法は,評価された選好最適化手法の中で最も高い平均性能を達成し,数学,推論,コーディング,質問応答を対象とする11ベンチマークにおいて,標準DPOの0.97点,最強の0.65点に向上した。 さらに,DPO正則化パラメータ$β$が減少するにつれて,標準DPOは急激に低下し,GAW-POは改善され続けている。 これらの結果から, トークン単位の信用代入が優先的最適化に有効であることが示唆された。

関連論文リスト

• TokenRatio: Principled Token-Level Preference Optimization via Ratio Matching [20.353416189523006]
  標準的なシーケンスレベルのペアワイズ比較のみを用いてトークンレベルの最適性を回復する方法を示す。 本稿では,軽量な状態ベースラインを明示的に学習するTBPO-Qと,高次正規化によりベースラインを除去するTBPO-Aの2点を紹介する。
  論文  参考訳（メタデータ） (2026-05-12T15:44:33Z)
• Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
  Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。 本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。 刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
  論文  参考訳（メタデータ） (2026-03-04T14:48:53Z)
• Adaptive Margin RLHF via Preference over Preferences [44.328333474444214]
  好みの強さをモデル化することで、より一般化し、より忠実なアライメントにつながると我々は主張する。 本稿では, DPO-PoP(Direct Preference Optimization, DPO-PoP)の拡張について紹介する。
  論文  参考訳（メタデータ） (2025-09-26T19:03:24Z)
• TGDPO: Harnessing Token-Level Reward Guidance for Enhancing Direct Preference Optimization [73.16975077770765]
  近年の強化学習の進歩は、きめ細かいトークンレベルの報酬モデルを利用することで、PPO(Pximal Policy Optimization)の性能を大幅に向上させることができることを示している。 直接選好最適化(DPO)のガイダンスとしてこのようなトークンレベルの報酬を活用することは困難である。 この研究は、PPOをトークンレベルのポリシー最適化問題列に分解し、トークンレベルの報酬ガイダンスでトークンレベルのPPOの問題をフレーム化する。
  論文  参考訳（メタデータ） (2025-06-17T14:30:06Z)
• Optimal Transport-Based Token Weighting scheme for Enhanced Preference Optimization [17.801062522027266]
  DPO(Direct Preference Optimization)は,大規模言語モデルと人間の嗜好を整合させる,有望なフレームワークとして登場した。 既存の方法は応答における全てのトークンに等しい重要性を割り当て、人間はより意味のある部分に焦点を当てる。 直接textbfPreference textbfOptimization (OTPO) を強化するための textbfOptimal textbfTransport を用いたトークン重み付け方式を提案する。
  論文  参考訳（メタデータ） (2025-05-24T14:44:15Z)
• Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
  我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。 ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。 我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
  論文  参考訳（メタデータ） (2024-10-26T14:24:37Z)
• Geometric-Averaged Preference Optimization for Soft Preference Labels [78.2746007085333]
  LLMを人間の嗜好と整合させる多くのアルゴリズムは、人間の嗜好は二進的かつ決定論的であると仮定する。 本研究では,分散ソフトな選好ラベルを導入し,損失関数におけるLLM出力確率の重み付き幾何平均を用いて直接選好最適化(DPO)を改善する。
  論文  参考訳（メタデータ） (2024-09-10T17:54:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。