論文の概要: Multi-Agent Collaborative Reward Design for Enhancing Reasoning in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2511.16202v2
• Date: Fri, 21 Nov 2025 03:50:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-24 14:08:26.117795
• Title: Multi-Agent Collaborative Reward Design for Enhancing Reasoning in Reinforcement Learning
• Title（参考訳）: 強化学習における推論強化のための多エージェント協調型リワード設計
• Authors: Pei Yang, Ke Zhang, Ji Wang, Xiao Chen, Yuxin Tang, Eric Yang, Lynn Ai, Bill Shi,
• Abstract要約: CRMは単一のブラックボックス報酬モデルを置き換えるフレームワークであり、専門家評価者の調整されたチームに置き換えられている。 トレーニングとアセスメントをサポートするために、CRMの協調的な構造に沿ったベンチマークとトレーニングスイートである rewardBenchを紹介します。
• 参考スコア（独自算出の注目度）: 13.30869366778628
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We present CRM (Multi-Agent Collaborative Reward Model), a framework that replaces a single black-box reward model with a coordinated team of specialist evaluators to improve robustness and interpretability in RLHF. Conventional reward models struggle to jointly optimize multiple, sometimes conflicting, preference dimensions (e.g., factuality, helpfulness, safety) and offer limited transparency into why a score is assigned. CRM addresses these issues by decomposing preference evaluation into domain-specific agents that each produce partial signals, alongside global evaluators such as ranker-based and embedding-similarity rewards. A centralized aggregator fuses these signals at each timestep, balancing factors like step-wise correctness, multi-agent agreement, and repetition penalties, yielding a single training reward compatible with standard RL pipelines. The policy is optimized with advantage-based updates (e.g., GAE), while a value model regresses to the aggregated reward, enabling multi-perspective reward shaping without requiring additional human annotations beyond those used to train the evaluators. To support training and assessment, we introduce rewardBench, a benchmark and training suite aligned with the collaborative structure of CRM. Together, CRM and rewardBench provide a practical, modular path to more transparent reward modeling and more stable optimization.
• Abstract（参考訳）: 我々は、単一のブラックボックス報酬モデルを置き換えるフレームワークであるCRM(Multi-Agent Collaborative Reward Model)を、RLHFの堅牢性と解釈性を改善するために、専門的評価者の協調チームと交換する。 従来の報酬モデルは、複数の、時には矛盾する、選好の次元(例えば、事実性、有用性、安全性)を共同で最適化し、スコアが割り当てられた理由について限定的な透明性を提供するのに苦労する。 CRMはこれらの問題に対処するため、優先順位評価をドメイン固有のエージェントに分解し、それぞれが部分的な信号を生成する。 集中集約器は、各タイミングでこれらの信号を融合させ、ステップワイズ正当性、マルチエージェント合意、繰り返し罰といった要因をバランスさせ、標準のRLパイプラインと互換性のある単一のトレーニング報酬を与える。 ポリシーはアドバンテージベースの更新(GAEなど)で最適化され、バリューモデルは集約された報酬に回帰する。 トレーニングとアセスメントをサポートするために、CRMの協調的な構造に沿ったベンチマークとトレーニングスイートである rewardBenchを紹介します。 CRMと rewardBenchは共に、より透過的な報酬モデリングとより安定した最適化のための実践的でモジュール化されたパスを提供します。

関連論文リスト

• Beyond Monolithic Rewards: A Hybrid and Multi-Aspect Reward Optimization for MLLM Alignment [1.8552770604791606]
  相補的な報酬パラダイムを統合するハイブリッド報酬モデリングフレームワークを提案する。 ハイブリッドおよびマルチアスペクト報酬モデルを適用する際に、異なるマルチモーダルベンチマーク間で一貫した改善を示す。 3Bファミリーで最高のパフォーマンスモデルでは、一般および数学の推論タスクで平均9.5%の改善を実現しています。
  論文  参考訳（メタデータ） (2025-10-06T18:53:23Z)
• Intra-Trajectory Consistency for Reward Modeling [67.84522106537274]
  軌道内整合性正則化を開発し、より高い次トーケン生成確率を持つプロセスがより一貫した報酬を維持することを強制する。 提案した正規化でトレーニングした報酬モデルにより、より優れたDPO整合ポリシーが導出され、より優れたベスト・オブ・N(BON)検証結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-10T12:59:14Z)
• Think-RM: Enabling Long-Horizon Reasoning in Generative Reward Models [50.4652276723694]
  Think-RMは、高度な機能をサポートするフレキシブルで自己誘導的な推論トレースを生成する。 Think-RM は RM-Bench 上で最先端の結果を達成し,BT RM と GenRM の垂直スケールを8% 上回った。
  論文  参考訳（メタデータ） (2025-05-22T05:56:11Z)
• Two Minds Better Than One: Collaborative Reward Modeling for LLM Alignment [35.80989342492335]
  人間のフィードバックのノイズの多い好みは 報酬の一般化に繋がる 本研究の目的は,報酬モデルにおいて,騒音の嗜好が人間の嗜好とどのように異なるかを明らかにすることである。 我々は、堅牢な選好学習を実現するためのオンラインコラボレーション・リワード・モデリング・フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-15T10:58:20Z)
• Adversarial Training of Reward Models [74.17196154247964]
  本稿では,対戦型学習フレームワークAdv-RMについて紹介する。 強化学習を活用することで、Adv-RMは、大規模な最先端の報酬モデルにおける脆弱性を明らかにするポリシーを訓練する。 本稿では,Adv-RMが従来の報酬訓練よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-08T15:38:25Z)
• Redistributing Rewards Across Time and Agents for Multi-Agent Reinforcement Learning [14.852334980733369]
  共用型マルチエージェント強化学習において、各エージェントの共用報酬への貢献を阻害する信用割り当ては重要な課題である。 本稿では、この制約から信用モデリングを分離するアプローチであるTAR(Temporal-Agent Reward Redistribution)を導入する。 本手法は,モデル精度によらず最適ポリシーが維持されることを保証するPBRSと等価であることを示す。
  論文  参考訳（メタデータ） (2025-02-07T12:07:57Z)
• Distributional Reward Estimation for Effective Multi-Agent Deep Reinforcement Learning [19.788336796981685]
  実効的マルチエージェント強化学習(DRE-MARL)のための分散逆推定フレームワークを提案する。 本研究の目的は,安定トレーニングのための多行動分岐報酬推定と政策重み付け報酬アグリゲーションを設計することである。 DRE-MARLの優位性は,有効性とロバスト性の両方の観点から,SOTAベースラインと比較して,ベンチマークマルチエージェントシナリオを用いて実証される。
  論文  参考訳（メタデータ） (2022-10-14T08:31:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。