論文の概要: Divergence based Ranked Preference Alignment for LLMs

• arxiv url: http://arxiv.org/abs/2610.25588v1
• Date: Sun, 18 Oct 2026 23:36:39 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:12:50.779794
• Title: Divergence based Ranked Preference Alignment for LLMs
• Title（参考訳）: LLMの多様性に基づくランク付け選好アライメント
• Abstract要約: ランク付き参照アライメントは、より単純なペアワイズアプローチと比較して、実際には過小評価されている。 この研究は優先順位最適化のための$f$-RPOを導入している。 我々の理論解析は階階の整合性を確立し、$f$-RPO が収束における基本的嗜好順序を保っていることを示す。
• 参考スコア（独自算出の注目度）: 10.84662374625146
• License:
• Abstract: Alignment of large language models typically relies on pairwise preference feedback, though ranked feedback can capture more comprehensive information across multiple responses within a single annotation. However, ranked-preference alignment is underexplored in practice compared to simpler pairwise approaches, potentially resulting in suboptimal behavior. Concurrently, recent research has conceptualized large language model alignment objectives as divergence estimators between aligned (preferred) and unaligned (less-preferred) response distributions, resulting in a family of objectives with an interpretable theoretical foundation and strong empirical performance. This work unifies these perspectives by introducing $f$-RPO, a $f$-divergence objective for ranked preference optimization that extends divergence-based alignment to ranked feedback and recovers pairwise preference alignment as a special case. Our theoretical analysis establishes rank-order consistency, showing that $f$-RPO preserves the underlying preference ordering at convergence. Empirical results indicate that total-variation and reverse-KL variants of the proposed objective consistently outperform ranked-alignment baselines in both ranking and generation quality across Qwen, Llama, & Gemma models ranging from 0.5B to 8B parameters.
• Abstract（参考訳）: 大規模な言語モデルのアライメントは通常、ペアの好みのフィードバックに依存するが、ランク付けされたフィードバックは、単一のアノテーション内で複数のレスポンスをまたいだより包括的な情報をキャプチャすることができる。 しかし、ランキング-参照アライメントは、より単純なペアワイズアプローチと比較して、実際には過度に探索されており、潜在的に最適以下の振る舞いをもたらす可能性がある。 同時に、近年の研究では、大言語モデルのアライメント目的を、アライメント(優先)と非アライメント(優先)の応答分布の分散推定器として概念化し、解釈可能な理論的基礎と強力な経験的性能を持つ目的のファミリーを形成した。 この研究は、ランク付け優先最適化のための$f$-RPOという$f$-divergenceの目的を導入し、ランク付けされたフィードバックへの分散ベースのアライメントを拡張し、特別なケースとしてペアワイズ優先アライメントを回復することで、これらの視点を統一する。 我々の理論解析は階階の整合性を確立し、$f$-RPO が収束における基本的嗜好順序を保っていることを示す。 実験結果から,提案対象の総変分および逆KL変分は,Qwen,Llama,Gemmaの各モデルにおいて,0.5Bから8Bパラメータのランク付けと生成品質において,ランク付けベースラインを一貫して上回っていることが示唆された。

関連論文リスト

• RRPO: Reference-Relative Policy Optimization with Stratified Conditional Rollouts [84.20747697259326]
  グループ相対政策最適化(GRPO)は、検証可能なフィードバックからの強化学習において大きな効果を示している。 我々は,直接正当性に基づく優位性構築を参照相対的比較に置き換えることでGRPOを一般化するtextbfReference-Relative Policy Optimization (RRPO)を提案する。 我々は,タスクベーストラス検証に頼らずに,ポリシー最適化全体を通じてアンカーベースのコントラスト的優位性を用いてRRPOを評価する。
  論文  参考訳（メタデータ） (2026-07-20T19:40:25Z)
• CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
  本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。 BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
  論文  参考訳（メタデータ） (2026-05-19T10:59:19Z)
• LambdaPO: A Lambda Style Policy Optimization for Reasoning Language Models [34.349722314481824]
  グループ相対政策最適化は、明示的な価値批判を先導する効果で評価されている。 群平均のようなモノリシックな統計ベースラインへの依存は、軌道空間の相対トポロジーを1つのスカラーに分解する。 我々は、この情報理論のボトルネックに対処する新しいフレームワークLambda Policy Optimization(LambdaPO)を紹介します。
  論文  参考訳（メタデータ） (2026-05-19T06:10:24Z)
• How Sampling Shapes LLM Alignment: From One-Shot Optima to Iterative Dynamics [65.67654005892469]
  適切なインスタンス依存サンプリングは、より強力なランキング保証を得られる一方で、スキュードオン政治サンプリングは、構造化された嗜好の下で過剰な濃度を誘導できることを示す。 次に、学習したポリシーが将来のサンプリングおよび参照ポリシーにフィードバックする反復的なアライメントダイナミクスを分析する。 我々の理論的な洞察は直接選好最適化にまで拡張され、我々が捉えた現象はより広範な選好アライメント手法に共通していることを示している。
  論文  参考訳（メタデータ） (2026-02-12T17:11:08Z)
• GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization [133.27496265096445]
  我々は,グループ相対的政策最適化を,その適合性を検討することなく,マルチリワード設定で適用する方法を示す。 次に、これらの問題を解決するための新しい政策最適化手法であるグループ報酬分離正規化政策最適化(GDPO)を紹介する。 GDPOはGRPOを一貫して上回り、マルチリワード強化学習最適化の有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2026-01-08T18:59:24Z)
• In-context Ranking Preference Optimization [65.5489745857577]
  In-context Ranking Preference Optimization (IRPO) フレームワークを提案する。 IRPOは標準のDPO手法よりも高い性能を示し、LLMと直接文脈内ランキング設定の整合性を強調した。
  論文  参考訳（メタデータ） (2025-04-21T23:06:12Z)
• Multi-Preference Optimization: Generalizing DPO via Set-Level Contrasts [17.243429150450886]
  応答集合全体の最適化のために,$textbfMulti-Preference Optimization (MPO)を提案する。 MPOは偏差に基づく重み付けを採用しており、平均的な報酬から最も逸脱する外れ値の応答を強調している。 理論的には、MPOはクエリ毎のレスポンス数に対して$mathcalOleft(frac1sqrtnright)$でアライメントバイアスを低減する。
  論文  参考訳（メタデータ） (2024-12-05T21:50:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。