論文の概要: Statistical Learning Theory for Direct Preference Optimization

• arxiv url: http://arxiv.org/abs/2610.25856v1
• Date: Mon, 19 Oct 2026 06:12:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 04:11:06.245821
• Title: Statistical Learning Theory for Direct Preference Optimization
• Title（参考訳）: 直接選好最適化のための統計的学習理論
• Abstract要約: 直接選好最適化は、Bradley-Terryモデルに従ってスコア差パラメータ化を行うロジスティックな目的を通じて、ペアの選好から学習する。 本研究では, モデルキャパシティの限定と有限サンプル推定から構造的不特定性を区別し, DPO を限定する手法について検討する。
• 参考スコア（独自算出の注目度）: 20.687733895643152
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Direct Preference Optimization (DPO) learns from pairwise preferences through a logistic objective whose score-difference parameterization follows the Bradley--Terry model. We study how failure of this modeling assumption limits DPO, distinguishing structural misspecification from limited model capacity and finite-sample estimation. Our main contribution is a characterization of structural approximation error through the triangle-curl of the preference log-odds, which vanishes exactly when preferences admit a Bradley--Terry representation. We upper bound the achievable excess logistic risk by a score-class approximation term and a triangle-curl term, and establish a lower bound proportional to triangle-curl under additional boundedness assumptions. For ReLU score models, including clipped models, we derive explicit approximation rates showing that increasing capacity can eliminate the score-approximation term while leaving the structural obstruction unchanged. We further establish finite-sample bounds for clipped empirical risk minimizers that separate network approximation, structural misspecification, and estimation error. We place these results within a surrogate-risk framework by identifying contextual preference accuracy (CPA) as a natural measure of agreement between preference judgments and changes in pairwise probability ratios relative to the reference policy. Standard logistic consistency and calibration results connect DPO's objective to this policy property and transfer our excess-risk upper bounds to CPA, without treating CPA as a complete measure of generated-response quality.
• Abstract（参考訳）: 直接選好最適化(DPO)は、ブラッドリー-テリーモデルに従ってスコア差のパラメータ化を行うロジスティックな目的を通じて、ペアの選好から学習する。 本研究では, モデルキャパシティの限定と有限サンプル推定から構造的不特定性を区別し, DPO を限定する手法について検討する。 我々の主な貢献は、好みの対数曲線の三角形曲線による構造近似誤差のキャラクタリゼーションである。 達成可能な余剰ロジスティックリスクをスコアクラス近似項と三角形曲線項で上界し、追加の有界性仮定の下で三角形曲線に比例する下界を確立する。 クリッピングモデルを含むReLUスコアモデルに対しては,構造的障害をそのまま残しながら,キャパシティの増大がスコア近似項を排除できることを示す明示的な近似率を導出する。 さらに,ネットワーク近似,構造的不特定性,推定誤差を分離するクリッピング経験的リスク最小化器の有限サンプル境界を確立する。 これらの結果は、文脈的選好精度(CPA)を、選好判断と基準ポリシーに対するペアワイズ確率比の変化との一致の自然な尺度として同定することで、代理リスクの枠組みに配置する。 標準ロジスティック整合性と校正結果は, 生成応答品質の完全な尺度としてCPAを扱わずに, DPOの目的をこの政策特性に結び付け, 余剰リスク上限をCPAに伝達する。

関連論文リスト

• Preference Data Selection for Mitigating the Alignment Tax in Large Language Models [52.18310687523229]
  BALIGNは、アライメント効率を最適化しながら破滅的な忘れを緩和するバランスのとれたデータ選択戦略である。 3つの重要なデータ中心の機能を統一された複合リスクスコアに集約することにより、BALIGNは、ハイリスクな選好サンプルを体系的にフィルタリングする。 標準的な人間の嗜好データセットの実験では、BALIGNはアライメントゲインを損なうことなく基礎的能力を強く保持している。
  論文  参考訳（メタデータ） (2026-08-25T07:58:42Z)
• Selective Ensemble Based on Preference-Directed Multi-Objective Bandits [90.75513823660775]
  我々は、部分的に指定された線形選好の下で逐次決定問題を定式化する。 次に、嗜好指向の高信頼度境界(PrefUCB)アルゴリズムを提案する。 大規模な事前学習型モデル選択アンサンブルタスクと,機関委任下でのオンラインアセットアロケーションの実験により,本手法が検証された。
  論文  参考訳（メタデータ） (2026-06-20T07:52:46Z)
• Covariance Shrinkage via Stochastic Interpolation [17.341024497036766]
  我々は、高次元共分散推定器を、ソースとターゲット分布の間のパラメトリック補間子に対する経験的リスクとして再評価する。 この形式主義は、統計的リスクを減少させる3つの異なるメカニズムを明らかにしている。 本稿では,補間近似誤差の観点から,補間子の2次的リスクの上限値とともに,補間子の神経推定器を提案する。
  論文  参考訳（メタデータ） (2026-06-05T15:21:27Z)
• Beyond Consistency: Inference for the Relative risk functional in Deep Nonparametric Cox Models [7.2275111013288535]
  Coxをベースとした最適化誤差が、部分的可能性の下で集団リスクにどのように伝播するかは明らかでない。 また、ポイントワイドバイアスがどのように制御できるのか、またアンサンブルに基づく不確実性が現実的な分散体制の下でどのように振る舞うのかも不明である。 これらの問題に対処するディープコックス推定器の分布理論を開発する。
  論文  参考訳（メタデータ） (2026-03-25T01:43:12Z)
• Interval-Based AUC (iAUC): Extending ROC Analysis to Uncertainty-Aware Classification [12.024101882027466]
  本研究では,不確実性を考慮したROCフレームワークを提案する。 AUC_L$ と $AUC_U$ の2つの新しい手段を導入する。 有効なクラス条件付きカバレッジでは、$AUC_L$ と $AUC_U$ は理論最適 AUC の形式的下限と上限を提供する。
  論文  参考訳（メタデータ） (2026-02-04T17:12:04Z)
• Causal Inference as Distribution Adaptation: Optimizing ATE Risk under Propensity Uncertainty [0.0]
  我々は、分散シフトの下で、ATE推定をテキストドメイン適応問題として再フレーミングする。 結果モデルの共同学習を行うためのtextbfJoint Robust Estimator (JRE) を提案する。
  論文  参考訳（メタデータ） (2025-12-19T21:40:46Z)
• Fair Risk Minimization under Causal Path-Specific Effect Constraints [3.0232957374216953]
  本稿では,機械学習を用いて最適な予測を推定するためのフレームワークを提案する。 平均二乗誤差とクロスエントロピーリスク基準に基づく制約付き最適化のための閉形式解を導出する。
  論文  参考訳（メタデータ） (2024-08-03T02:05:43Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。