論文の概要: Group-Marginalized Self-Rewarding RL Drives Zero-Label Self-Evolving

• arxiv url: http://arxiv.org/abs/2609.36750v1
• Date: Tue, 29 Sep 2026 05:20:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.207392
• Title: Group-Marginalized Self-Rewarding RL Drives Zero-Label Self-Evolving
• Title（参考訳）: グループMarginalized Self-Rewarding RL Drives Zero-Label Self-Evolving
• Abstract要約: 自己回帰強化学習は、大きな言語モデルが人間のラベルなしで自己進化することを可能にする。 Group-Marginalized Advantage Estimation (GMAE) は、可能なコンテキストにわたる報酬実現を応答レベルの分布に集約する。 GMAEはまた、トレーニングデータセットとRLバックボーン間で安定した学習、低コスト、適切な適用性を示している。
• 参考スコア（独自算出の注目度）: 62.33493070202355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-rewarding reinforcement learning (RL) enables large language models (LLMs) to self-evolve without human labels. Existing ensemble-based methods construct reward references from rollout groups and assign rewards accordingly. However, a response's reward representation also depends on its randomly sampled group context, i.e., the other responses in its group. Using only one group-context realization may miss desired reward signals and provide unreliable guidance for policy optimization. To address this issue, we propose Group-Marginalized Advantage Estimation (GMAE), which aggregates reward realizations across possible contexts into a response-level distribution and estimates expected advantages. Experiments across eight benchmarks and four base models demonstrate strong performance and cross-domain generalization. GMAE also exhibits stable learning, low extra cost, and good applicability across training datasets and RL backbones.
• Abstract（参考訳）: 自己回帰強化学習(RL)により、人間ラベルなしで大規模言語モデル(LLM)を自己進化させることができる。 既存のアンサンブルベースのメソッドは、ロールアウトグループから報酬参照を構築し、それに応じて報酬を割り当てる。 しかし、応答の報酬表現は、ランダムにサンプリングされたグループコンテキスト、すなわち、そのグループの他の応答にも依存する。 1つのグループコンテキストの実現のみを使用することで、望ましい報酬信号を見逃し、ポリシー最適化のための信頼できないガイダンスを提供することができる。 この問題に対処するために,提案するGMAE(Group-Marginalized Advantage Estimation)を提案する。 8つのベンチマークと4つのベースモデルによる実験は、強いパフォーマンスとクロスドメインの一般化を示している。 GMAEはまた、トレーニングデータセットとRLバックボーン間で安定した学習、低コスト、適切な適用性を示している。

関連論文リスト

• Sample What You Say: Aligning Language Models to Sample the Distributions They State [22.06410760205191]
  対象の分布を有限個の結果集合上で一致させるモデルを訓練する。 未知の目標分布では、目撃者による訓練により、目標への全変動距離が大幅に減少する。
  論文  参考訳（メタデータ） (2026-09-28T11:26:47Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Advantage Collapse in Group Relative Policy Optimization: Diagnosis and Mitigation [13.272542054938258]
  非効率な勾配でトレーニングバッチの割合を定量化する最初の指標であるAdvantage Collapse Rate (ACR)を導入する。 次に、仮想報酬サンプルを注入するGRPOの軽量拡張であるAdaptive Virtual Sample Policy Optimization (AVSPO)を提案する。 AVSPOはGRPOに対して58～63%の利害崩壊を減少させ、すべてのモデルスケールで4～6ポイントの一貫した精度向上をもたらす。
  論文  参考訳（メタデータ） (2026-05-20T12:57:37Z)
• Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation [50.696688705287755]
  我々は、強化学習におけるスパース報酬課題を克服するために、相互情報自己評価を提案する。 MISEにより、エージェントは、疎外的信号を補う高密度な内部報酬から自律的に学習することができる。 我々は、後見自己評価報酬を利用することは、政策と代行報酬政策の間のKL分散項と相互情報を組み合わせた目的を最小化することと等価であることを示す。
  論文  参考訳（メタデータ） (2026-04-13T15:18:51Z)
• From Absolute to Relative: Rethinking Reward Shaping in Group-Based Reinforcement Learning [7.6602542594279335]
  本稿では,報酬形成を絶対得点から相対ランクへシフトさせるために,相対報酬を用いた強化学習を提案する。 RLRRは、推論ベンチマークやオープン・エンド・ジェネレーションタスクにおいて、標準グループベースベースラインよりも一貫した性能向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-01-30T15:07:06Z)
• GroupRank: A Groupwise Reranking Paradigm Driven by Reinforcement Learning [26.616849067985967]
  Groupwiseは、大規模な言語モデルのための新しいパラダイムである。 高品質な検索とランキングデータのための革新的なパイプラインを提案する。 得られたデータは、リランカのトレーニングだけでなく、レトリバーのトレーニングにも利用することができる。
  論文  参考訳（メタデータ） (2025-11-10T15:25:31Z)
• Intra-Trajectory Consistency for Reward Modeling [67.84522106537274]
  軌道内整合性正則化を開発し、より高い次トーケン生成確率を持つプロセスがより一貫した報酬を維持することを強制する。 提案した正規化でトレーニングした報酬モデルにより、より優れたDPO整合ポリシーが導出され、より優れたベスト・オブ・N(BON)検証結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-10T12:59:14Z)
• Learning to Reason without External Rewards [100.27210579418562]
  RLVR(Reinforcement Learning with Verifiable Rewards)による複雑な推論のための大規模言語モデル(LLM)の訓練は、費用がかかるドメイン固有の監督に依存して効果的であるが制限されている。 内部フィードバックからの強化学習(Reinforcement Learning from Internal Feedback, RLIF)は、LLMが外部の報酬やラベル付きデータなしで本質的な信号から学習できるフレームワークである。 本稿では,モデル自身の信頼度を利用したRLIF手法であるIntuitorについて,その唯一の報奨信号として自己確実性(self-certainty)を提案する。
  論文  参考訳（メタデータ） (2025-05-26T07:01:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。