論文の概要: Exploring the Limits of the Delta Learning Hypothesis: Single-Pair Generator Biases in Direct Preference Optimization

• arxiv url: http://arxiv.org/abs/2610.37058v1
• Date: Tue, 27 Oct 2026 11:24:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.576348
• Title: Exploring the Limits of the Delta Learning Hypothesis: Single-Pair Generator Biases in Direct Preference Optimization
• Title（参考訳）: デルタ学習仮説の限界を探る: 直接選好最適化における単対発電機バイアス
• Abstract要約: 固定モデルペアは, 応答品質に依存しない選好ラベルを予測可能な, 系統的, 生成依存バイアスを導入している。 この結果から, 好みデータ構築の重要な要因として, ジェネレータの多様性が注目される。
• 参考スコア（独自算出の注目度）: 0.8024050680917881
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Direct Preference Optimization (DPO) typically relies on preference pairs generated from diverse model pools and ranked by an external LLM judge. The recently proposed delta-learning hypothesis suggests that comparable supervision can instead be obtained from a single pair of models by treating the larger model's response as preferred. We investigate the limits of this approach across model families and scales. We show, both theoretically and empirically, that fixed model pairs introduce systematic, generator-dependent biases that are predictive of the preference label independent of response quality. Consequently, DPO trained on single-pair data consistently underperforms multi-model preference data, despite the larger generator producing higher-quality responses, and we trace this gap to training dynamics consistent with reward hacking on these biases. We further show that simply increasing the number of generators, even without an external judge, is enough to partially mitigate this effect. Our results highlight generator diversity as a critical factor in preference-data construction.
• Abstract（参考訳）: 直接選好最適化(DPO)は通常、様々なモデルプールから生成される選好ペアに依存し、外部LLM審査員によってランク付けされる。 最近提案されたデルタ学習仮説は、より大きなモデルの反応を好んで扱うことで、1組のモデルから同等の監督が得られることを示唆している。 モデルファミリとスケールにまたがるこのアプローチの限界について検討する。 理論的にも経験的にも、固定モデルペアは、応答品質とは無関係に選好ラベルを予測できる系統的・生成依存バイアスを導入していることを示す。 その結果、DPOは、高品質な応答を生成する大きなジェネレータにもかかわらず、マルチモデル選好データに対して一貫して訓練を行い、これらのバイアスに対する報酬ハッキングと整合したトレーニングダイナミクスにこのギャップをたどることができた。 さらに、外部の裁判官がいなくても、単に発電機の数を増やすだけで、この効果を部分的に軽減できることを示す。 この結果から, 好みデータ構築の重要な要因として, ジェネレータの多様性が注目される。

関連論文リスト

• Truth or Twist? Optimal Model Selection for Reliable Label Flipping Evaluation in LLM-based Counterfactuals [17.368361664470925]
  独立な非微調整関係を持つ判定モデルは,最も信頼性の高いラベルフリップ評価を提供することを示す。 その結果、最も効果的な判断モデルとユーザスタディから得られる結果とのギャップは、依然としてかなり大きいことが判明した。
  論文  参考訳（メタデータ） (2025-05-20T06:12:17Z)
• More is Less: The Pitfalls of Multi-Model Synthetic Preference Data in DPO Safety Alignment [80.04449725137177]
  直接選好最適化(DPO)は、人間のフィードバックによる強化学習の、シンプルで効果的な代替手段として登場した。 我々の研究は、DPOアライメントに関連する、目覚ましい、安全性に特有な現象を明らかにした。 選択されたペアと拒否されたペアに対してのみ自己生成されたレスポンスを使用することで、より強力なモデルからのレスポンスを含む構成を大幅に上回る。
  論文  参考訳（メタデータ） (2025-04-03T00:36:40Z)
• Robust Preference Optimization through Reward Model Distillation [68.65844394615702]
  Direct Preference Optimization (DPO) は、プライオリティデータに基づいてポリシーを直接訓練する一般的なオフラインアライメント手法である。 我々はこの現象を分析し、蒸留を用いて生成対よりも真の嗜好分布のより良いプロキシを得る。 以上の結果から,このような報酬モデルからの蒸留は,優先アノテーションの分布変化に対するロバスト性の向上につながることが示唆された。
  論文  参考訳（メタデータ） (2024-05-29T17:39:48Z)
• Direct Preference Optimization With Unobserved Preference Heterogeneity: The Necessity of Ternary Preferences [14.686788596611246]
  Reinforcement Learning from Human Feedback (RLHF) は、大きな言語モデルと人間の価値の整合の中心となっている。 最近の選択肢であるDPO(Direct Preference Optimization)は、好みを直接最適化することでパイプラインを単純化している。 生成モデルアライメントにおける多様なユーザに対する公平性とパーソナライズのための理論的かつアルゴリズム的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-23T21:25:20Z)
• IBADR: an Iterative Bias-Aware Dataset Refinement Framework for Debiasing NLU models [52.03761198830643]
  IBADR(Iterative Bias-Aware dataset Refinement framework)を提案する。 まず、プール内のサンプルのバイアス度を定量化するために浅いモデルを訓練する。 次に、各サンプルにバイアス度を表すバイアス指標をペアにして、これらの拡張サンプルを使用してサンプルジェネレータを訓練する。 このようにして、このジェネレータは、バイアスインジケータとサンプルの対応関係を効果的に学習することができる。
  論文  参考訳（メタデータ） (2023-11-01T04:50:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。