論文の概要: TPO: Tri-level Distributionally Robust Learning for OOD Direct Preference Optimization

• arxiv url: http://arxiv.org/abs/2610.28229v1
• Date: Tue, 20 Oct 2026 13:57:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.839101
• Title: TPO: Tri-level Distributionally Robust Learning for OOD Direct Preference Optimization
• Title（参考訳）: TPO:OOD直接選好最適化のための三段階分布ロバスト学習
• Abstract要約: 我々は,OOD選好アライメントのための三段階分布ロバストなフレームワークを提案する。 我々は, クローズド形式の選好レベルの限界ペナルティ, 即時レベルの対向埋め込み摂動, 最悪ケース群再重み付けを併用した, トラクタブルで解釈可能な目的を導出する。
• 参考スコア（独自算出の注目度）: 6.159944320831765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Direct Preference Optimization (DPO) minimizes empirical risk over observed preference comparisons, implicitly assuming that the training preference distribution matches the deployment preference distribution. In practice, this i.i.d. assumption often fails, as preference distribution shift exhibits a natural hierarchical structure across three levels: group-level shift, prompt-level shift, and preference-level shift. Such multi-level distributional mismatch poses a critical challenge for safe LLM deployment, yet existing robust DPO methods typically either model uncertainty over the joint preference distribution or focus on individual sources of shift, leaving the hierarchical structure of OOD preference shifts underexplored. We propose TPO, a tri-level distributionally robust framework for OOD preference alignment, which jointly models all three levels of distributional uncertainty through a hierarchically structured rectangular ambiguity set. By instantiating it with Wasserstein distance, we derive a tractable and interpretable objective that combines a closed-form preference-level margin penalty, prompt-level adversarial embedding perturbation, and worst-case group reweighting, each governed by an independent radius. We establish finite-sample convergence guarantees and empirically validate the effectiveness of TPO over existing robust DPO methods.
• Abstract（参考訳）: 直接選好最適化(DPO)は、観察された選好比較よりも経験的リスクを最小化し、トレーニング選好分布がデプロイメント選好分布と一致することを暗黙的に仮定する。 実際には、優先順位分布のシフトはグループレベルのシフト、プロンプトレベルのシフト、嗜好レベルのシフトという3つのレベルにまたがる自然な階層構造を示すため、この仮定はしばしば失敗する。 このようなマルチレベル分布のミスマッチは、安全なLLMデプロイメントにおいて重要な課題となっているが、既存の堅牢なDPO手法は、通常、共同選好分布に対する不確実性をモデル化するか、個々のシフト源に焦点を合わせ、OOD選好シフトの階層構造を過小評価している。 TPOはOOD選好アライメントのための三段階分布頑健なフレームワークであり、階層的に構造化された矩形あいまいさ集合を通して3段階分布不確かさの全てを共同でモデル化する。 ワッサースタイン距離でインスタンス化することにより、クローズドフォームの選好レベルマージンペナルティ、即時レベルの対向埋め込み摂動、そして、それぞれ独立半径で支配される最悪の群再重み付けを組み合わせた、トラクタブルで解釈可能な目的を導出する。 我々は、有限サンプル収束保証を確立し、既存の頑健なDPO法よりもTPOの有効性を実証的に検証する。

関連論文リスト

• Statistical Learning Theory for Direct Preference Optimization [20.687733895643152]
  直接選好最適化は、Bradley-Terryモデルに従ってスコア差パラメータ化を行うロジスティックな目的を通じて、ペアの選好から学習する。 本研究では, モデルキャパシティの限定と有限サンプル推定から構造的不特定性を区別し, DPO を限定する手法について検討する。
  論文  参考訳（メタデータ） (2026-10-19T06:12:28Z)
• Training LLMs to Enforce Multi-Level Instruction Hierarchies via Gravity-Weighted Direct Preference Optimization [3.573729952898132]
  プロダクションLSMは、非常に異なるレベルの信頼を持つソースから命令を受け取りながら、均一なアーキテクチャ特権を持つすべてのトークンに出席する。 これは、悪意のあるプロンプトインジェクションを可能にする構造的脆弱性であり、より広範に、正当な命令と競合する命令の衝突を解決するための原則的な方法のないモデルを残している。 線形または二値スケジュール下での競合レベル間の構造的距離でサンプルごとのオフセットがスケールする選好最適化目標である重力重み付きDPOを導入する。
  論文  参考訳（メタデータ） (2026-06-09T13:39:17Z)
• MDP-GRPO: Stabilized Group Relative Policy Optimization for Multi-Constraint Instruction Following [4.563830993050022]
  検証可能な報酬を伴う強化学習は、マルチ制約の指示に最適である。 標準グループ相対的政策最適化は、離散的な低分散報酬の下で不安定になる。 MDP-GRPOは,多温度サンプリングによる学習を安定化し,報酬分散を増大させる。
  論文  参考訳（メタデータ） (2026-06-04T11:58:59Z)
• Unification and Optimization of Robust Supervised Learning [24.343315694527476]
  本研究では,頑健な学習を逐次的な段階に分解する学習手順を提案する。 これにより、統合された設計空間が作成され、手元にあるタスクに適した戦略を構成することができる。
  論文  参考訳（メタデータ） (2026-05-27T08:47:50Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• Causal Direct Preference Optimization for Distributionally Robust Generative Recommendation [23.103003039699004]
  直接選好最適化(DPO)は,ユーザの履歴行動分布に沿ったレコメンデーションを生成するために,大規模言語モデルをガイドする。 DPOは、アライメントプロセス中に環境共同創設者によって引き起こされる急激な相関を増幅する傾向がある。 因果不変学習機構を組み込んだDPOの拡張であるCausalDPOを提案する。
  論文  参考訳（メタデータ） (2026-03-21T03:48:23Z)
• DARC: Disagreement-Aware Alignment via Risk-Constrained Decoding [59.16244104797919]
  本稿では,リスク制約付き復号法(DARC)*による分散アライメント(Disagreement-Aware Alignment)を提案する。 DARCは応答選択を、分布的に堅牢で、リスクに敏感な意思決定として捉えている。 アライメントベンチマークの実験では、DARCは競合平均品質を維持しながら、不一致と尾のリスクを低減する。
  論文  参考訳（メタデータ） (2026-03-09T09:21:29Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。