論文の概要: ADPO: Anchored Direct Preference Optimization

• arxiv url: http://arxiv.org/abs/2510.18913v3
• Date: Sat, 01 Nov 2025 10:49:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-04 16:14:22.3381
• Title: ADPO: Anchored Direct Preference Optimization
• Title（参考訳）: ADPO: Anchored Direct Preference Optimization
• Authors: Wang Zixian,
• Abstract要約: 本稿では、ポリシー更新を基準モデルにアンロックすることで、ソフトでリストワイズな監視から学習するフレームワークを提案する。 私たちの重要な理論的貢献は、このアンカー機構がポリシー更新に暗黙の信頼領域を課すことを示すことです。 私たちの中心的な経験的発見は、アンカー更新戦略間のタスク依存のトレードオフです。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Direct Preference Optimization (DPO) has become a standard for aligning models with human feedback, yet its reliance on hard, pairwise preferences makes it brittle to annotator noise and distribution shift. We propose Anchored Direct Preference Optimization (ADPO), a generalized framework that learns from soft, listwise supervision by anchoring policy updates to a reference model. Our key theoretical contribution is to show that this anchoring mechanism imposes an implicit trust region on the policy update, enforced by the softmax Fisher information metric. This provides a robust geometric interpretation for both fixed and dynamic anchor strategies. Our central empirical finding is a task-dependent tradeoff between anchor update strategies. Through controlled experiments across twelve scenarios and two MuJoCo environments, we demonstrate that (1) for online exploration in noisy environments, a dynamic anchor that tracks the learning policy is superior, improving performance by 5 to 11 percent over a fixed anchor; and (2) for offline distillation, a fixed anchor pointing to the teacher policy is dramatically more effective, achieving returns of 206.7 on HalfCheetah-v5 (387 percent of teacher) and 65.4 on Hopper-v5 (61 percent of teacher), while reducing KL divergence to the teacher by up to 5000 times compared with standard knowledge distillation. These findings offer clear, practical guidance for selecting anchor strategies and establish ADPO as a robust, unified framework for preference learning. Larger models further amplify ADPO's benefits (0.718 vs. 0.416 at hidden dimension 256), suggesting that anchoring acts as an effective trust-region regularizer. We release code and configurations to facilitate reproducibility.
• Abstract（参考訳）: 直接選好最適化(DPO)は、モデルと人間のフィードバックを整合させる標準となっているが、ハードでペアワイズな選好に依存しているため、アノテータノイズや分布シフトには脆弱である。 提案するAnchored Direct Preference Optimization (ADPO, Anchored Direct Preference Optimization) は,参照モデルにポリシー更新をアンロックすることで,ソフトかつリストワイズな監視から学習する汎用フレームワークである。 我々の重要な理論的貢献は、このアンカー機構が、ソフトマックスフィッシャー情報量計によって強制されるポリシー更新に暗黙の信頼領域を課すことを示すことである。 これは固定アンカー戦略と動的アンカー戦略の両方に対して堅牢な幾何学的解釈を与える。 私たちの中心的な経験的発見は、アンカー更新戦略間のタスク依存のトレードオフです。 12のシナリオと2つのMuJoCo環境の制御実験により,(1)雑音の多い環境でのオンライン探索では,学習方針を追従するダイナミックアンカーが優れ,(2)固定アンカーよりも5～11%向上し,(2)オフライン蒸留では,教師政策を示す固定アンカーが劇的に有効であり,HlfCheetah-v5では206.7、Hopper-v5では65.4のリターンが得られた。 これらの知見は、アンカー戦略を選択するための明確で実践的なガイダンスを提供し、ADPOを優先学習のための堅牢で統一的なフレームワークとして確立する。 より大きなモデルはADPOの利点をさらに増幅し (0.718 vs. 0.416 at hidden dimension 256) 、アンカーが効果的な信頼領域正規化器として機能することを示唆している。 再現性を促進するために、コードと構成をリリースします。

関連論文リスト

• Sem-DPO: Mitigating Semantic Inconsistency in Preference Optimization for Prompt Engineering [5.568436850698628]
  Sem-DPOは意味的一貫性を維持しながら、その単純さと効率を維持するDPOの亜種である。 本研究は,Sem-DPOが原文の有界近傍で学習のプロンプトを継続していることを示す。 3つの標準テキスト-画像のプロンプト-最適化ベンチマークと2つの言語モデルにおいて、Sem-DPOはDPOよりもCLIPの類似度が8-12%高く、5-9%高いHPSv2.1、PickScore)。
  論文  参考訳（メタデータ） (2025-07-27T05:20:13Z)
• BPO: Revisiting Preference Modeling in Direct Preference Optimization [13.243174453617064]
  DPO (Direct Preference Optimization) は、Large Language Models (LLM) を人間の好みに合わせる一般的な手法として登場した。 DPOは、ペアのランク付け損失を通じて、選択された応答と拒否された応答の相対順序を効果的に保持する。 それはしばしば絶対的な報酬の程度を無視し、パフォーマンスを低下させる。 本稿では,選択された応答と拒否された応答の最適化のバランスをとる新しいフレームワークであるBa balanced Preference Optimization (BPO)を提案する。
  論文  参考訳（メタデータ） (2025-06-04T04:21:01Z)
• In-context Ranking Preference Optimization [65.5489745857577]
  In-context Ranking Preference Optimization (IRPO) フレームワークを提案する。 IRPOは標準のDPO手法よりも高い性能を示し、LLMと直接文脈内ランキング設定の整合性を強調した。
  論文  参考訳（メタデータ） (2025-04-21T23:06:12Z)
• FocalPO: Enhancing Preference Optimizing by Focusing on Correct Preference Rankings [40.605411087380226]
  我々は、モデルがすでに正しくランク付けできるようなペアの理解を高めることを優先するDPO変種であるFocalPOを紹介した。 視覚タスクで使用されるFocal LossにインスパイアされたFocalPOは、動的にDPO損失をスケールするために変調係数を追加することでこれを達成している。
  論文  参考訳（メタデータ） (2025-01-11T21:41:27Z)
• Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
  我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。 ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。 我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
  論文  参考訳（メタデータ） (2024-10-26T14:24:37Z)
• AlphaDPO: Adaptive Reward Margin for Direct Preference Optimization [45.46582930202524]
  $alpha$-DPOは、大規模言語モデルの適応的優先最適化アルゴリズムである。 ポリシーモデルと参照モデルのバランスを取り、パーソナライズされた報酬マージンを達成する。 さまざまなモデル設定でDPOとSimPOを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-10-14T04:29:57Z)
• Triple Preference Optimization: Achieving Better Alignment using a Single Step Optimization [34.29965046863887]
  Triple Preference Optimization (TPO) は、推論能力と命令追従能力の両方を強化するために設計された新しい選好学習手法である。 TPOは、異なるデータセットサイズで応答長を大幅に増加させることなく、既存のメソッドよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-05-26T20:18:11Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)
• Direct Preference Optimization with an Offset [58.7977683502207]
  直接選好最適化(DPO)は、大きな言語モデルと人間の選好を整合させる成功戦略である。 本稿では,DPOをオフセット(ODPO)で一般化し,微調整時にすべての選好ペアを等しく扱わないDPOを提案する。
  論文  参考訳（メタデータ） (2024-02-16T10:55:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。