論文の概要: Tournament-GRPO: Group-Wise Tournament Rewards for Reinforcement Learning in Open-Ended Long-Form Generation
- arxiv url: http://arxiv.org/abs/2605.26958v1
- Date: Tue, 26 May 2026 12:49:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-27 17:51:42.161965
- Title: Tournament-GRPO: Group-Wise Tournament Rewards for Reinforcement Learning in Open-Ended Long-Form Generation
- Title（参考訳）: Tournament-GRPO: オープンエンディングロングフォームジェネレーションにおける強化学習のためのグループウィズ・トーナメント・リワード
- Authors: Zixuan Yang, Yiqun Chen, Wei Yang, Erhan Zhang, Zihan Shen, Xiaochi Wei, Yan Gao, Yi Wu, Yao Hu, Jiaxin Mao,
- Abstract要約: Tournament-GRPO(トゥルナメント-GRPO)は、ルーリック誘導LLM判定を複数ラウンドのトーナメントを通じて相対報酬に変換するグループワイド報酬フレームワークである。
Deep Research Benchの実験は、Tournament-GRPOが既存の報酬設計ベースラインを一貫して上回っていることを示している。
- 参考スコア（独自算出の注目度）: 28.601382990897367
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning in open-ended long-form generation is challenging because reliable reference answers and automatic metrics are often unavailable. Existing rubric-based methods typically rely on pointwise LLM-as-a-judge scoring, but absolute scores are difficult to calibrate across complex responses, may provide weak discrimination among same-query rollouts, and can become saturated during optimization. We propose Tournament-GRPO, a group-wise reward framework that converts rubric-guided LLM judgments into relative rewards through repeated multi-round tournaments among same-query rollouts. Tournament-GRPO compares candidates within groups, accumulates tournament outcomes, and normalizes them into group-wise rewards for GRPO training. Experiments on Deep Research Bench show that Tournament-GRPO consistently outperforms existing reward-design baselines, achieving a 4.52-point overall-score improvement over the strongest baseline. Further analyses show that tournament rewards provide a favorable effectiveness--efficiency trade-off and that tournament design affects training dynamics. These results suggest that rubric-guided tournament comparison provides an effective reward signal for reinforcement learning in open-ended long-form generation.
- Abstract（参考訳）: 信頼度の高い参照回答と自動メトリクスがしばしば利用できないため、オープンエンドの長文生成における強化学習は困難である。
既存のルーブリック法は、通常、ポイントワイズLSM-as-a-judgeスコアに頼っているが、絶対スコアは複雑な応答のキャリブレーションが困難であり、同一クエリのロールアウト間での識別が弱く、最適化中に飽和する可能性がある。
本研究では,複数ラウンドのトーナメントを複数回実施して,ルーリック誘導LLM判定を相対報酬に変換するグループワイド報酬フレームワークであるTournament-GRPOを提案する。
Tournament-GRPOはグループ内の候補者を比較し、トーナメントの結果を蓄積し、GRPOトレーニングのためのグループレベルの報酬に標準化する。
Deep Research Benchの実験によると、Tournament-GRPOは既存のリターンデザインベースラインを一貫して上回り、最強ベースラインよりも4.52ポイントの総合スコア改善を実現している。
さらに分析した結果,トーナメントの報酬が有効性 – 効率のトレードオフ – を提供し,トーナメントのデザインがトレーニングのダイナミクスに影響を及ぼすことが示された。
これらの結果から, ルーリック誘導型トーナメント比較は, オープンエンドロングフォーム生成における強化学習に有効な報奨信号となることが示唆された。
関連論文リスト
- How Off-Policy Can GRPO Be? Mu-GRPO for Efficient LLM Reinforcement Learning [7.042913010118603]
GRPO方式のアルゴリズムは,従来想定されていたよりもはるかに大きなロールアウト安定化を許容できることを示す。
本稿では,少数の逐次生成最適化段階にトレーニングを編成するRLトレーニングフレームワークであるMu-GRPOを提案する。
5つの言語モデルと複数の数学推論ベンチマークで、 Mu-GRPO は標準GRPO の性能にマッチするか、超えている。
論文 参考訳（メタデータ） (2026-05-17T17:58:53Z) - From Failure to Feedback: Group Revision Unlocks Hard Cases in Object-Level Grounding [35.008790179255136]
本稿では,ハードケースにおける学習を促進するグループ・リビジョン最適化パラダイムを提案する。
報酬形成にインスパイアされ,初期試行よりも各候補者の改善を定量化する統合プロセスを導入する。
提案手法は,従来のGRPOモデルと比較して,参照と推論のセグメンテーション,REC,およびカウントのベンチマークで一貫したゲインを実現する。
論文 参考訳（メタデータ） (2026-05-15T13:41:41Z) - Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。
GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。
チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
論文 参考訳（メタデータ） (2026-05-12T03:20:24Z) - From Absolute to Relative: Rethinking Reward Shaping in Group-Based Reinforcement Learning [7.6602542594279335]
本稿では,報酬形成を絶対得点から相対ランクへシフトさせるために,相対報酬を用いた強化学習を提案する。
RLRRは、推論ベンチマークやオープン・エンド・ジェネレーションタスクにおいて、標準グループベースベースラインよりも一貫した性能向上をもたらすことを示す。
論文 参考訳（メタデータ） (2026-01-30T15:07:06Z) - ArenaRL: Scaling RL for Open-Ended Agents via Tournament-based Relative Ranking [84.07076200941474]
ArenaRLは、ポイントワイドスカラースコアからグループ内相対ランクにシフトする強化学習パラダイムである。
我々は,グループ内対角アリーナを構築し,安定した有利な信号を得るためのトーナメントベースのランキングスキームを考案する。
実験により、ArenaRLは標準のRLベースラインを大幅に上回っていることが示された。
論文 参考訳（メタデータ） (2026-01-10T08:43:07Z) - Puzzle Curriculum GRPO for Vision-Centric Reasoning [7.117453620224407]
本稿では,PC-GRPO(Puzzle Curriculum GRPO)について紹介する。
PC- GRPO はラベルを PatchFit と Rotation (バイナリ報酬付き) と Jigsaw (部分クレジット緩和報酬幅のグレード付き) の3つの自己教師型パズル環境に置き換える
平らな報酬に対処し,グループ相対的優位性を解消するために,サンプルやピークを動的に重み付けする難易度対応カリキュラムを中難度で導入する。
論文 参考訳（メタデータ） (2025-12-16T22:17:25Z) - GRPO-CARE: Consistency-Aware Reinforcement Learning for Multimodal Reasoning [53.894789613838654]
我々は、複雑な実世界のビデオにバランスの取れた知覚と推論を必要とするベンチマークであるSEED-Bench-R1を紹介する。
SEED-Bench-R1を用いて、標準GRPOは解の精度を向上する一方で、推論ステップと解の論理的コヒーレンスを57.9%の一貫性で減少させる。
応答の正しさと推論コヒーレンスの両方を明示的な監督なしに最適化する整合性を考慮したRLフレームワークGRPO-CAREを提案する。
論文 参考訳（メタデータ） (2025-06-19T08:49:13Z) - A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce [68.99924691391048]
我々はGRPOを強化的なアルゴリズムの観点から再検討し、そのコアコンポーネントを分析する。
単純な拒絶サンプリングベースラインであるRAFTは,GRPOやPPOよりも競争性能が高いことがわかった。
この知見に触発されて、完全に正しくないサンプルと完全に正しいサンプルの両方をフィルタリングするポリシー勾配の最小限の拡張であるReinforce-Rejを提案する。
論文 参考訳（メタデータ） (2025-04-15T16:15:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。