論文の概要: When Pairwise Preferences Cycle: A Reliability-Anchored Preference Walk for Video GRPO

• arxiv url: http://arxiv.org/abs/2610.20089v1
• Date: Wed, 14 Oct 2026 12:30:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.138425
• Title: When Pairwise Preferences Cycle: A Reliability-Anchored Preference Walk for Video GRPO
• Title（参考訳）: Pairwise Preferences Cycle: A Reliability-Anchored Preference Walk for Video GRPO
• Abstract要約: 各GRPO群に対する選好グラフをペアワイズ評価器で定義する。 循環的嗜好が普及し、トレーニングを通して持続していることが分かりました。 本稿では,勝利率からグローバルな選好信号を強化するグラフ対応アドバンテージアグリゲーション手法を提案する。
• 参考スコア（独自算出の注目度）: 15.492622576528115
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Pairwise preference feedback has become a widely adopted supervision signal for reinforcement learning in video generation models, as pairwise comparisons provide a more reliable alternative than pointwise scalar ratings for evaluating the quality of generated videos. Specifically, we define a preference graph for each GRPO group under a pairwise evaluator, where nodes represent sampled rollouts and edges encode pairwise preferences. Auditing 6,976 on-policy comparison graphs, we find that cyclic preferences are prevalent and persist throughout training. Naive pairwise reward aggregation based on average win rates discards the underlying comparison structures and treats each rollout independently, which may introduce unreliable advantage estimates for certain rollouts and consequently affect reinforcement learning optimization. Therefore, we propose the \emph{Reliability-Anchored Preference Walk} (\ours{}), a graph-aware advantage aggregation method that strengthens the global preference signal from win rates with reliable relational evidence from cyclic preference graphs through a reliability-guided preference walk. Under matched evaluator, comparison protocol, group size, prompt schedule, and query budget, \ours{} requires no additional evaluator queries beyond the observed comparisons within each rollout group and improves over Pairwise-GRPO across controlled comparisons, transfer settings, and blind human evaluations.
• Abstract（参考訳）: ペアワイズ比較は、生成されたビデオの品質を評価するために、ポイントワイズスカラー評価よりも信頼性の高い代替手段を提供するため、ビデオ生成モデルにおいて強化学習のための広く採用されている監視信号となっている。 具体的には、各GRPOグループに対する選好グラフをペアワイズ評価器で定義し、ノードはサンプルロールアウトを表現し、エッジはペアワイズ選好を符号化する。 6,976点のオンライン比較グラフから, 周期的嗜好が普及し, トレーニングを通して持続していることが判明した。 平均利得率に基づくペアワイズ報酬アグリゲーションは、基礎となる比較構造を捨て、各ロールアウトを個別に扱う。 そこで,本稿では,信頼度の高いリレーショナルエビデンスと,信頼度の高いリレーショナルエビデンスと,信頼度の高いリレーショナルエビデンスと,信頼度の高いリレーショナル・ウォークから,信頼度の高いリレーショナル・ウォークを通じてグローバル・リレーショナル・シグナルを強化するグラフ対応のアドバンスト・アグリゲーション手法である \emph{Reliability-Anchored Preference Walk} (\ours{}) を提案する。 マッチした評価プロトコル、比較プロトコル、グループサイズ、プロンプトスケジュール、クエリ予算の下で、 \ours{} は各ロールアウトグループ内の観測された比較以上の追加の評価クエリを必要とせず、制御された比較、転送設定、盲人評価をPairwise-GRPOよりも改善する。

関連論文リスト

• RRPO: Reference-Relative Policy Optimization with Stratified Conditional Rollouts [84.20747697259326]
  グループ相対政策最適化(GRPO)は、検証可能なフィードバックからの強化学習において大きな効果を示している。 我々は,直接正当性に基づく優位性構築を参照相対的比較に置き換えることでGRPOを一般化するtextbfReference-Relative Policy Optimization (RRPO)を提案する。 我々は,タスクベーストラス検証に頼らずに,ポリシー最適化全体を通じてアンカーベースのコントラスト的優位性を用いてRRPOを評価する。
  論文  参考訳（メタデータ） (2026-07-20T19:40:25Z)
• CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
  本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。 BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
  論文  参考訳（メタデータ） (2026-05-19T10:59:19Z)
• Revisiting Reinforcement Learning with Verifiable Rewards from a Contrastive Perspective [10.958642517467721]
  RLVRにおけるコントラストシーケンスレベルのポリシー最適化のためのフレームワークを提案する。 ConSPOはGRPOのクリップされた比率ベースのスコアを、長さ正規化されたシーケンスログ確率に置き換える。 ConSPOは、挑戦的な数学的推論ベンチマークにおいて、いくつかの強力なRLVRベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-13T04:02:36Z)
• Consensus-Driven Group Recommendation on Sparse Explicit Feedback: A Collaborative Filtering and Choquet-Borda Aggregation Framework [0.0]
  本稿ではコンセンサス駆動型ハイブリッドグループレコメンデーションフレームワークを提案する。 近所のコラボレーティブ・フィルタリングとファジィ・アグリゲーションを統合し、合意、公正さ、そして疎遠さをサポートする。 実世界のデータセットを用いた実験結果から,提案手法はグループレベルのコンセンサス,満足度,公正性を向上し,バランスの取れたノベルティを維持した。
  論文  参考訳（メタデータ） (2026-01-14T03:49:35Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。