論文の概要: What Matters in Data for DPO?

• arxiv url: http://arxiv.org/abs/2508.18312v3
• Date: Fri, 07 Nov 2025 15:28:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-10 14:53:49.470375
• Title: What Matters in Data for DPO?
• Title（参考訳）: DPOのデータで何が重要か?
• Authors: Yu Pan, Zhongze Cai, Guanting Chen, Huaiyang Zhong, Chonghuan Wang,
• Abstract要約: DPO(Direct Preference Optimization)は、大規模言語モデルを人間の好みに合わせるためのシンプルで効果的なアプローチとして登場した。 本研究では,DPOの嗜好データ分布が理論的・経験的両面からどう影響するかを体系的に検討する。 選択された応答の質がDPOの目的を最適化する上で重要な役割を担っているのに対し、拒否された応答の質は比較的限定的な影響を持つ可能性があることを示す。
• 参考スコア（独自算出の注目度）: 6.208229499655634
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Direct Preference Optimization (DPO) has emerged as a simple and effective approach for aligning large language models (LLMs) with human preferences, bypassing the need for a learned reward model. Despite its growing adoption, a fundamental question remains open: what characteristics of preference data are most critical for DPO performance? In this work, we provide a systematic study of how preference data distribution influences DPO, from both theoretical and empirical perspectives. We show that the quality of chosen responses plays a dominant role in optimizing the DPO objective, while the quality of rejected responses may have relatively limited impact. Our theoretical analysis characterizes the optimal response distribution under DPO and reveals how contrastiveness between responses helps primarily by improving the chosen samples. We further study an online DPO setting and show it effectively reduces to supervised fine-tuning on the chosen responses. Extensive experiments across diverse tasks confirm our findings: improving the quality of chosen responses consistently boosts performance regardless of the quality of the rejected responses. We also investigate the benefit of mixing the on-policy data. Our results interpret the mechanism behind some widely adopted strategies and offer practical insights for constructing high-impact preference datasets for LLM alignment.
• Abstract（参考訳）: 直接選好最適化(DPO)は、学習された報奨モデルの必要性を回避し、大規模言語モデル(LLM)と人間の選好を整合させる、シンプルで効果的なアプローチとして登場した。 採用が増えているにもかかわらず、根本的な疑問が残る。DPOのパフォーマンスにおいて、好みデータの特徴は最も重要であるか? 本研究では,理論的および経験的両面から,嗜好データ分布がDPOに与える影響について,系統的研究を行った。 選択された応答の質がDPOの目的を最適化する上で重要な役割を担っているのに対し、拒否された応答の質は比較的限定的な影響を持つ可能性があることを示す。 我々の理論解析は, DPO 下での最適応答分布を特徴付けるとともに, 選択したサンプルを改良することで, 応答間のコントラスト性がいかに有効かを明らかにする。 さらに、オンラインDPO設定について検討し、選択した応答の教師付き微調整を効果的に行うことを示す。 選択された応答の品質の改善は、拒否された応答の品質に関わらず、一貫してパフォーマンスを向上する。 また、政治上のデータを混在させることの利点についても検討する。 この結果は広く採用されている戦略の背景にあるメカニズムを解釈し、LLMアライメントのための高インパクトな選好データセットを構築するための実践的な洞察を提供する。

関連論文リスト

• Understanding the Impact of Sampling Quality in Direct Preference Optimization [4.122673728216191]
  我々は、DPO(Direct Preference Optimization)において、より高い品質のデータをどのように活用してパフォーマンスを向上させるかを検討する。 解析の結果、DPOの解空間と収束挙動は、データ生成分布の支持と品質に依存することがわかった。
  論文  参考訳（メタデータ） (2025-06-03T18:12:40Z)
• Understanding the Performance Gap in Preference Learning: A Dichotomy of RLHF and DPO [53.914481648817066]
  本研究では,人間からのフィードバックからの強化学習と,表現ギャップ下での直接選好最適化との間の性能ギャップを分解する。 RLHF, DPO, オンラインDPOは, モデルミスのタイプによって, 互いに優れることを示す。
  論文  参考訳（メタデータ） (2025-05-26T09:54:02Z)
• Active Learning for Direct Preference Optimization [59.84525302418018]
  直接選好最適化(DPO)は、人間のフィードバックからの強化学習の一種である。 オンラインのフィードバック収集や,すでに収集したフィードバックの最も情報性の高いサブセットをオフラインで選択できる,DPOのためのアクティブラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-03T00:36:31Z)
• Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
  我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。 ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。 我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
  論文  参考訳（メタデータ） (2024-10-26T14:24:37Z)
• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 当社のアプローチは,DPOをかなりのマージンで継続的に向上させることを示す。 本手法は,嗜好データの有用性を最大化するだけでなく,未学習の問題も軽減し,データ拡張を超えてその広範な効果を実証する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• TIS-DPO: Token-level Importance Sampling for Direct Preference Optimization With Estimated Weights [73.9088920210495]
  本稿では,TIS-DPO と呼ばれるトークン単位の重要度サンプリング DPO の目的について,その報酬に基づいて各トークンに重要度を割り当てる手法を提案する。 TIS-DPOは、無害性、有用性アライメントおよび要約タスクにおいて、様々なベースライン手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-10-06T04:03:00Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• 3D-Properties: Identifying Challenges in DPO and Charting a Path Forward [17.27880657597116]
  我々はDPOを再考し、その理論的基礎と経験的性能を分析した。 DPOの学習過程から生じる3つの重要な特性、いわゆる3D特性を同定する。 トレーニングの安定性と性能を向上させるための簡単な正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-06-11T14:59:24Z)
• Policy Optimization in RLHF: The Impact of Out-of-preference Data [17.126977660436225]
  本稿では、DPO(Direct Preference Optimization)とReward-Model-Based Policy Optimization(RMB-PO)の2つの一般的なアライメント手法について検討する。 RMB-PO+とも呼ばれるRMB-POの変種も検討されている。 特に、DPOと比較して、RMB-POはポリシー生成データを使用し、RMB-PO+は新たな好みのないデータを活用する。
  論文  参考訳（メタデータ） (2023-12-17T02:14:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。