論文の概要: GARDEN: Generalist Autonomous Reward Design Through Evidence Navigation for Cooperative Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.37926v1
• Date: Tue, 27 Oct 2026 20:11:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.914135
• Title: GARDEN: Generalist Autonomous Reward Design Through Evidence Navigation for Cooperative Multi-Agent Reinforcement Learning
• Title（参考訳）: GARDEN: 協調型マルチエージェント強化学習のためのエビデンスナビゲーションによる汎用的自律リワード設計
• Abstract要約: 大きな言語モデル(LLM)は、報酬関数をコードとして記述することで、その作業を自動化する。 1つの報酬プログラムは、関連するシナリオのファミリーのために開発され、設計時に利用できなかったシナリオに変換され、変更される。 OvercookedとSMAXベンチマークの見当たらないシナリオでは、デフォルトの報酬に対してタスクリターンが58.2%、52.5%増加した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cooperative multi-agent reinforcement learning (MARL) enables teams of agents, such as robots and autonomous vehicles, to learn coordinated behavior, but what such teams learn is largely determined by their reward function. Because task success alone provides too little guidance for learning, intermediate rewards are usually designed by hand, and this effort must often be repeated whenever the environment or the team changes. Large language models (LLMs) can automate the effort by writing reward functions as code, yet the resulting rewards are typically designed and tested in a single setting. To enable their reuse across settings, GARDEN (Generalist Autonomous Reward Design through Evidence Navigation) is proposed, in which one reward program is developed for a family of related scenarios and transferred, unchanged, to scenarios that were not available during its design. During development, environment code, training records, and agent behavior are investigated by an LLM reward engineer, and draft rewards are tested in trial training runs, while the learning algorithm and the rule for selecting the final reward are held fixed. On unseen scenarios of the Overcooked and SMAX benchmarks, task returns were increased by 58.2% and 52.5% over the default rewards on two kitchen layouts, and the mean win rate in two combat scenarios was raised from 51.0% to 89.9%. Under matched candidate and probe budgets, this exceeded the 84.2% and 79.2% obtained with fixed diagnostic feedback and Eureka-inspired reward reflection. These results show that a single autonomously engineered reward can be reused effectively across related cooperative scenarios.
• Abstract（参考訳）: 協調型マルチエージェント強化学習(MARL)は、ロボットや自動運転車などのエージェントのチームが協調行動を学ぶことを可能にする。 タスクの成功だけでは学習のガイダンスが少なすぎるため、中間報酬は通常手作業で設計される。 大きな言語モデル(LLM)は報酬関数をコードとして記述することで作業を自動化することができるが、結果として得られる報酬は通常、1つの設定で設計およびテストされる。 そこでGARDEN (Generalist Autonomous Reward Design through Evidence Navigation) が提案され、関連するシナリオのファミリーに対して1つの報酬プログラムが開発され、設計時に利用できなかったシナリオに変換される。 開発中、環境コード、トレーニングレコード、エージェントの挙動をLLM報奨エンジニアによって調査し、試行錯誤時にドラフト報酬を試験し、学習アルゴリズムと最終報奨を選択するためのルールを定めている。 オーバークッキングとSMAXベンチマークの見当たらないシナリオでは、2つのキッチンレイアウトの既定報酬に対してタスクリターンが58.2%、52.5%増加し、2つの戦闘シナリオの平均勝利率は51.0%から89.9%上昇した。 一致した候補とプローブの予算の下では、これは84.2%と79.2%を超え、固定された診断フィードバックとユーレカにインスパイアされた報酬反射が得られた。 これらの結果は、自律的に構築された報酬を、関連する協調シナリオ間で効果的に再利用できることを示唆している。

関連論文リスト

• Reward Engine: Reward-Centric Self-Evolution for Open-Ended Tool Agents [11.560099501530118]
  自己モチベーションのある学生のように、まずは成功に必要なものを探し出し、次にそれに向けて最適化するReward Engineを紹介します。 凍結されたRewardPackはエージェントに修正と出力の選択を誘導し、強化学習の報酬として機能する。 WorkBuddy Bench OfficeとClaw-Evalでは、構築された報酬はベンチマークグレーダーにほぼ一致し、82.3%と80.5%の候補ペアの注文を逆転させることはなかった。
  論文  参考訳（メタデータ） (2026-10-16T04:25:34Z)
• RSIgen: Reciprocal Self-Improvement for Agentic Visual Generation [76.13535986114067]
  本稿では,タスク中心の相互改善フレームワークであるRSIgenを紹介する。 Dynamic Responsibility Routing (DRR)は、エビデンス、インプット、サポートされたアクションにマッチした介入を使用して、受講者を選別し、互換性のあるトレーニングターゲットを構築する。 BAGEL、Qwen-Image、Wan-Image-7B全体で、RSIgenはAgengen-Bench Full overall 9を3.2--3.3ポイント改善し、3サイクルのSearchGenをアクションコストで適応させた。
  論文  参考訳（メタデータ） (2026-10-13T16:41:24Z)
• ASENA: Self-evolving Agents for Embodied Navigation [84.64998230277466]
  ASENAは汎用コーディングエージェントをロボットセンシング、計算、教師付き実行、永続的な体験に接続する。 独立政策としてASENA-VLNはR2Rで68.7%、RxRで70.2%という最先端の成功率を達成した。
  論文  参考訳（メタデータ） (2026-09-30T07:53:50Z)
• What Pretraining and Midtraining Make Learnable from Rewards? [5.718096628460326]
  報酬は、新しい未決定入力に必要な計算を残しながら、正しい答えを特定できる。 本研究では,報奨適応を効果的に行う情報と計算を,事前学習と中等教育がいかに提供するかを検討する。
  論文  参考訳（メタデータ） (2026-09-29T19:39:41Z)
• Measuring Reward-Seeking via Contrastive Belief Updates [35.6734895760596]
  言語モデルは、意図された目的ではなく、グレーダの判断を最適化することを学ぶことができる。 コントラスト合成文書ファインタニングによる報酬探索の測定を行った。 報酬ハック(gpt-oss-120b)の訓練を受けたモデル生物は、修正されていないモデルに比べてグレーダーの選好に敏感である。
  論文  参考訳（メタデータ） (2026-07-21T10:57:09Z)
• RSPO: Reward-Swap Policy Optimization for Multi-Turn LLM Agents [24.215311212134882]
  本稿では,高密度なプロセス報酬から得られる豊富な情報を活用して,結果報酬によるトレーニングを容易にするために,Reward-Swap Policy Optimization (RSPO)を提案する。 RSPOは、最適化目標と真の結果報酬との整合性を確保しつつ、サンプル軌跡の多様性を保証する。
  論文  参考訳（メタデータ） (2026-07-06T06:32:39Z)
• Zero Shot Coordination for Sparse Reward Tasks with Diverse Reward Shapings [10.603746787420457]
  4つの選択アルゴリズムを用いて選択したランダム化された報酬形状を用いて,メソッドのアンサンブルを訓練する方法を示す。 Overcooked環境での実験では、ベースラインZSCアルゴリズムよりも62.2%-119.2%のスパース報酬が一貫して改善された。
  論文  参考訳（メタデータ） (2026-04-28T00:09:28Z)
• RLAR: An Agentic Reward System for Multi-task Reinforcement Learning on Large Language Models [86.61108562387993]
  RLAR(Reinforcement Learning from Agent Rewards)はエージェント駆動のフレームワークで、個別のクエリに動的に調整された報酬関数を割り当てる。 RLARは, 数学, コーディング, 翻訳, 対話タスクにおける10から60までの連続的な性能向上を示す。
  論文  参考訳（メタデータ） (2026-02-28T16:14:43Z)
• Process Reinforcement through Implicit Rewards [94.09453548052862]
  複雑なプロセス報酬は、大きな言語モデル(LLM)の推論時間スケーリングにおいて、スパースな結果レベルの報酬よりも効果的な選択肢であることが証明されている。 ディエンス報酬は、その微粒な報酬が結果報酬の固有の問題に対処する可能性があるため、LLMの強化学習(RL)に魅力的な選択を与える。 これは主に、高品質なプロセスラベルの収集が違法に高価であるオンラインのトレーニングプロセス報酬モデル(PRM)の課題に起因する可能性がある。 提案するPRIMEは,ポリシロールアウトと結果ラベルのみを用いて,インプットプロセス報酬によるオンラインPRM更新を可能にする。
  論文  参考訳（メタデータ） (2025-02-03T15:43:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。