論文の概要: Token-weighted Direct Preference Optimization with Attention

• arxiv url: http://arxiv.org/abs/2605.21883v1
• Date: Thu, 21 May 2026 01:43:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 20:14:18.505356
• Title: Token-weighted Direct Preference Optimization with Attention
• Title（参考訳）: 留意点を考慮したトークン重み付き直接選好最適化
• Abstract要約: 本稿ではトークン重み付きRLとアテンションPOに基づく新しいトレーニング目標を提案する。 AttentionPO は LLM 自体からの注意を使ってトークンの重みを推定する。 実験の結果,アテンションPOはAlpacaEval,MT-Bench,ArenaHardの性能を著しく向上することがわかった。
• 参考スコア（独自算出の注目度）: 17.569206072311157
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Direct Preference Optimization (DPO) aligns Large Language Models with human preferences without the need for a separate reward model. However, DPO treats all tokens in responses equally, neglecting the differing importance of individual tokens. Existing token-level PO methods compute the token weights using either token-position-based heuristic functions or probability estimates given by a separately trained model, which lacks robustness and incurs extra training cost. In contrast, we propose Token-weighted DPO (TwDPO) -- a novel training objective grounded on token-weighted RL -- and AttentionPO -- an instantiation of TwDPO that uses attention from the LLM itself to estimate token weights. AttentionPO prompts the LLM to serve as a pairwise judge and check where the model attends when comparing the responses. This design makes AttentionPO content-aware, adjusting weights based on response content, and efficient, incurring only two extra forward passes per example. Experiment results show that AttentionPO significantly improves performance on AlpacaEval, MT-Bench, and ArenaHard, surpassing existing Preference Optimization methods.
• Abstract（参考訳）: 直接選好最適化(DPO)は、大きな言語モデルと人間の選好を、別の報奨モデルなしで調整する。 しかし、DPOは反応における全てのトークンを等しく扱い、個々のトークンの異なる重要性を無視している。 既存のトークンレベルのPOメソッドは、トークンポジションベースのヒューリスティック関数または個別に訓練されたモデルによって与えられる確率推定を用いてトークン重量を計算する。 対照的に,トークン重み付きRLに基づく新たなトレーニング目標であるトークン重み付きDPO (TwDPO) と,トークン重み推定にLLM自体からの注意を用いたTwDPOのインスタンス化を提案する。 AttentionPOはLLMにペアワイズ・ジャッジとして機能するよう促し、レスポンスを比較する際にモデルがどこに出席しているかをチェックする。 この設計により、AttentionPOコンテンツに気付き、応答内容に基づいて重みを調整することができ、効率が良く、例ごとに2つの追加のフォワードパスしか発生しない。 実験結果から,AlpacaEval,MT-Bench,ArenaHardのアテンションPOは既存の優先度最適化手法をはるかに上回る性能を示した。

関連論文リスト

• HiPO: Hierarchical Preference Optimization for Adaptive Reasoning in LLMs [2.497936211748472]
  応答をセグメントに分割し,各セグメントに対するDPO損失の重み付け和として損失を算出するDPOの拡張であるHiPOを提案する。 提案手法は,DPOの計算効率と訓練安定性を維持しつつ,セグメント固有の訓練を可能にする。 また,Math Stack Exchange の選好データセット上で,HiPO と DPO を用いて微調整された複数の 7B LLM に対して,HiPO を用いて訓練したモデルが,様々な一般的なベンチマークで他のモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2026-04-22T03:08:30Z)
• On the Role of Preference Variance in Preference Optimization [55.364953481473286]
  直接選好最適化(DPO)トレーニングの有効性に対する選好分散(PVar)の影響について検討する。 PVarより高いプロンプトは、ランダムに選択されたプロンプトまたは低いPVarより優れたプロンプトを示す。
  論文  参考訳（メタデータ） (2025-10-14T22:34:52Z)
• Distribution Preference Optimization: A Fine-grained Perspective for LLM Unlearning [26.120338506874976]
  モデルユーティリティ全体を維持しながら、特定のデータの影響を取り除くことを目的としたアンラーニングは、重要な研究領域になりつつある。 textbfDistribution textbfPreference textbfOptimization (DiPO)と呼ばれる新しい未学習アルゴリズムを導出する。 DiPOはTOFUベンチマークで最高の品質を獲得し、MUSEベンチマークで主要なスケーラビリティと持続可能性を維持している。
  論文  参考訳（メタデータ） (2025-10-06T12:49:00Z)
• Understanding the Performance Gap in Preference Learning: A Dichotomy of RLHF and DPO [53.914481648817066]
  本研究では,人間からのフィードバックからの強化学習と,表現ギャップ下での直接選好最適化との間の性能ギャップを分解する。 RLHF, DPO, オンラインDPOは, モデルミスのタイプによって, 互いに優れることを示す。
  論文  参考訳（メタデータ） (2025-05-26T09:54:02Z)
• Token-Importance Guided Direct Preference Optimization [2.230951739798399]
  本研究では,大規模言語モデルが人間の嗜好に沿った出力を生成することを保証するため,TI-DPO(Token-Importance Guided Direct Preference Optimization)を提案する。 実験の結果,TI-DPOは高い精度とより強力な生成多様性を達成し,より安定かつ計算効率の良い解を提供することがわかった。
  論文  参考訳（メタデータ） (2025-05-26T08:11:24Z)
• TIS-DPO: Token-level Importance Sampling for Direct Preference Optimization With Estimated Weights [73.9088920210495]
  本稿では,TIS-DPO と呼ばれるトークン単位の重要度サンプリング DPO の目的について,その報酬に基づいて各トークンに重要度を割り当てる手法を提案する。 TIS-DPOは、無害性、有用性アライメントおよび要約タスクにおいて、様々なベースライン手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-10-06T04:03:00Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• D2PO: Discriminator-Guided DPO with Response Evaluation Models [63.71853401569461]
  学習を通して嗜好が収集されるオンライン環境において,識別器誘導型DPOであるD2POを提案する。 金の選好を収集する際、これらは政策の訓練だけでなく、銀ラベルによる政策訓練のためのさらに総合的なデータに対する差別的な反応評価モデルを訓練するために利用します。 DPOで政策を訓練し、従来のPPOを上回り、政策モデルから分離した差別者を維持することの恩恵を受けるのが最も効果的である。
  論文  参考訳（メタデータ） (2024-05-02T17:44:41Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)
• Token-level Direct Preference Optimization [8.249403373337024]
  微調整された事前訓練された大規模言語モデルは、それらを人間の価値観や意図と整合させるのに不可欠である。 トークンレベルでポリシーを最適化することにより,LLMと人間の嗜好を一致させる新しいアプローチである,トークンレベルの直接選好最適化(TDPO)を導入する。
  論文  参考訳（メタデータ） (2024-04-18T08:49:38Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。