論文の概要: Structure-aware Relative Policy Optimization for Ranking

• arxiv url: http://arxiv.org/abs/2607.25268v1
• Date: Tue, 28 Jul 2026 04:13:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.705711
• Title: Structure-aware Relative Policy Optimization for Ranking
• Title（参考訳）: ランク付けのための構造対応相対的ポリシー最適化
• Abstract要約: リストワイドランキングのためのtextbfStructure-aware textbfRelative textbfPolicy textbfOptimizationフレームワークであるSRPOを提案する。 これは、トップウェイトなケンダルタウ距離を用いてサンプル置換間の差を測定し、対応する距離によってそのペアの報酬差を正規化する。 2つのランキングシナリオにまたがる実験結果から、順列レベルの差を明示的にモデル化することで、リストワイドランキングの有効性と安定性が向上することが示された。
• 参考スコア（独自算出の注目度）: 35.05747484313467
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Ranking is a fundamental component of modern information access systems. Reinforcement learning (RL) provides a flexible framework for directly optimizing coarse-grained feedback and system-level objectives defined over the complete ranking list. However, existing RL-based ranking methods typically treat each sampled permutation as an atomic output and evaluate it primarily through a scalar reward, overlooking the structural relationships among different ranking lists. Consequently, permutations with similar rewards but substantially different permutation patterns may receive comparable optimization signals, potentially leading to inaccurate credit assignment and overly aggressive policy updates. To address this limitation, we propose SRPO, a \textbf{S}tructure-aware \textbf{R}elative \textbf{P}olicy \textbf{O}ptimization framework for listwise ranking. SRPO measures the discrepancy between sampled permutations using a top-weighted Kendall-tau distance and normalizes their pairwise reward differences by the corresponding distances. It quantifies the reward improvement per unit of ranking change, thereby emphasizing efficient local refinements, particularly those involving top-ranked positions. Experimental results across two ranking scenarios demonstrate that explicitly modeling permutation-level differences improves the effectiveness and stability of listwise ranking, with particularly favorable performance in limited-feedback and complex list-level optimization settings.
• Abstract（参考訳）: ランキングは現代の情報アクセスシステムの基本コンポーネントである。 強化学習(Reinforcement Learning, RL)は、完全なランキングリスト上に定義された粗い粒度のフィードバックとシステムレベルの目的を直接最適化する柔軟なフレームワークを提供する。 しかし、既存のRLに基づくランキング法では、各サンプル置換を原子出力として扱い、主にスカラー報酬によって評価し、異なるランキングリスト間の構造的関係を見渡すのが一般的である。 その結果、同様の報酬を持つ置換と、実質的に異なる置換パターンは、同等の最適化信号を受け取り、不正確なクレジット割り当てと過度に攻撃的なポリシー更新につながる可能性がある。 この制限に対処するため、リストワイドランキングのためのSRPO, a \textbf{S}tructure-aware \textbf{R}elative \textbf{P}olicy \textbf{O}ptimization frameworkを提案する。 SRPOは、トップウェイトなケンダルタウ距離を用いてサンプル置換間の差を計測し、対応する距離によってそのペアの報酬差を正規化する。 ランキング変更単位当たりの報酬改善を定量化し、特にトップランクのポジションを含む効率的な局所的な改善を強調する。 2つのランキングシナリオにまたがる実験結果から、列レベルの差分を明示的にモデル化することで、リストワイドランキングの有効性と安定性が向上し、特に限定フィードバックと複雑なリストレベルの最適化設定において好適な性能が得られた。

関連論文リスト

• Position Bias Undermines Preference Consistency in Listwise LLM-Based Reranking [2.5827686695037335]
  位置バイアスがLLMによるリランカーのランク付けプロセスにどのように影響するかを検討する。 本稿では、ペアワイズな選好不安定性、グローバルな選好不整合性、リストワイズな出力整合性を測定する評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-04T04:04:12Z)
• F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking [79.49893545611779]
  大規模言語モデル(LLM)はサブセットを生成し、それを1つの自己回帰パス内で順序付けることができる。 この柔軟性は、新しい最適化課題をもたらす: モデルが出力空間を検索し、完全なランクリストが生成された後にのみユーティリティフィードバックを受けなければならない。 このクレジット割り当てギャップは、エンドツーエンドの最適化を不安定にし、サンプル非効率にする。 本稿では,単一自己回帰的ロールアウト内の両方を実行する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-13T04:52:33Z)
• One Pass, Any Order: Position-Invariant Listwise Reranking for LLM-Based Recommendation [2.5827686695037335]
  大規模言語モデル(LLM)は、再ランク付けにますます使用されるが、それらのリストワイズ予測は、候補が提示される順序に依存する可能性がある。 これにより、セットベースのレコメンデーションとデコーダのみのLLMのシーケンスベースの計算のミスマッチが生成される。 InvariRankは、アーキテクチャレベルでこの依存に対処する置換不変なリストワイド・リグレード・フレームワークである。
  論文  参考訳（メタデータ） (2026-04-30T08:49:44Z)
• Reward Score Matching: Unifying Reward-based Fine-tuning for Flow and Diffusion Models [54.597200388738656]
  Reward-based fine-tuningは、事前訓練された拡散またはフローベース生成モデルを、より高い逆サンプルに向けて操ることを目的としている。 報酬スコアマッチング (RSM) と呼ばれる共通フレームワークで記述できることが示される。
  論文  参考訳（メタデータ） (2026-04-19T12:47:52Z)
• RankList -- A Listwise Preference Learning Framework for Predicting Subjective Preferences [66.76322360727809]
  RankNetを構造化されたリストレベルの監視に一般化するリストワイズ選好学習フレームワークである RankList を提案する。 我々の定式化は確率的枠組みの中で局所的および非局所的ランキング制約を明示的にモデル化する。 実験は多種多様性にまたがる手法の優越性を実証した。
  論文  参考訳（メタデータ） (2025-08-13T13:59:41Z)
• In-context Ranking Preference Optimization [65.5489745857577]
  In-context Ranking Preference Optimization (IRPO) フレームワークを提案する。 IRPOは標準のDPO手法よりも高い性能を示し、LLMと直接文脈内ランキング設定の整合性を強調した。
  論文  参考訳（メタデータ） (2025-04-21T23:06:12Z)
• Learning k-Determinantal Point Processes for Personalized Ranking [13.677246792673564]
  パーソナライズされたランキングのセット確率比較に基づく新しい最適化基準LkPを提案する。 LkPは広く適用でき、既存のレコメンデーションモデルに適用すると、パフォーマンスも大幅に向上する。
  論文  参考訳（メタデータ） (2024-06-23T02:24:50Z)
• Probabilistic Permutation Graph Search: Black-Box Optimization for Fairness in Ranking [53.94413894017409]
  本稿では、置換グラフの概念に基づいて、置換分布を表現する新しい方法を提案する。 PLと同様に、PPGと呼ばれる分布表現は、公正性のブラックボックス最適化に利用できる。
  論文  参考訳（メタデータ） (2022-04-28T20:38:34Z)
• SetRank: A Setwise Bayesian Approach for Collaborative Ranking from Implicit Feedback [50.13745601531148]
  提案手法は,提案システムにおける暗黙的フィードバックの特性に対応するために,協調的ランキング(SeetRank)のためのセッティングワイドベイズ的手法を提案する。 具体的には、SetRankは、新しい設定された選好比較の後方確率を最大化することを目的としている。 また、SetRankの理論解析により、余剰リスクの境界が$sqrtM/N$に比例できることを示す。
  論文  参考訳（メタデータ） (2020-02-23T06:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。