Fugu-MT 論文翻訳(概要): Adaptive Robust Estimator for Multi-Agent Reinforcement Learning

論文の概要: Adaptive Robust Estimator for Multi-Agent Reinforcement Learning

arxiv url: http://arxiv.org/abs/2603.21574v1
Date: Mon, 23 Mar 2026 04:51:15 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-24 19:11:39.493841
Title: Adaptive Robust Estimator for Multi-Agent Reinforcement Learning
Title（参考訳）: マルチエージェント強化学習のための適応ロバスト推定器
Abstract要約: 協調推論のための頑健な多エージェント強化学習フレームワークを提案する。 Dual-Agent Answer-Critique-Rewrite (DACR)とAdaptive Robust Estimator (ARE)の2つのコンポーネントで構成されている。
参考スコア（独自算出の注目度）: 27.595086716369483
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multi-agent collaboration has emerged as a powerful paradigm for enhancing the reasoning capabilities of large language models, yet it suffers from interaction-level ambiguity that blurs generation, critique, and revision, making credit assignment across agents difficult. Moreover, policy optimization in this setting is vulnerable to heavy-tailed and noisy rewards, which can bias advantage estimation and trigger unstable or even divergent training. To address both issues, we propose a robust multi-agent reinforcement learning framework for collaborative reasoning, consisting of two components: Dual-Agent Answer-Critique-Rewrite (DACR) and an Adaptive Robust Estimator (ARE). DACR decomposes reasoning into a structured three-stage pipeline: answer, critique, and rewrite, while enabling explicit attribution of each agent's marginal contribution to its partner's performance. ARE provides robust estimation of batch experience means during multi-agent policy optimization. Across mathematical reasoning and embodied intelligence benchmarks, even under noisy rewards, our method consistently outperforms the baseline in both homogeneous and heterogeneous settings. These results indicate stronger robustness to reward noise and more stable training dynamics, effectively preventing optimization failures caused by noisy reward signals.
Abstract（参考訳）: 大規模言語モデルの推論能力を高めるための強力なパラダイムとしてマルチエージェントコラボレーションが登場したが、生成、批判、リビジョンを曖昧にする相互作用レベルの曖昧さに悩まされ、エージェント間のクレジット割り当てが困難になる。さらに、この設定におけるポリシーの最適化は重くノイズの多い報酬に弱いため、有利な推定をバイアスし、不安定なトレーニングや散発的なトレーニングも引き起こすことができる。両課題に対処するため,Dual-Agent Answer-Critique-Rewrite (DACR) とAdaptive Robust Estimator (ARE) の2つのコンポーネントからなる,協調推論のための堅牢なマルチエージェント強化学習フレームワークを提案する。 DACRは推論を、答え、批評、書き直しという構造化された3段階のパイプラインに分解し、各エージェントのパートナーのパフォーマンスに対する限界貢献の明示的な帰結を可能にする。 AREはマルチエージェントポリシー最適化中にバッチエクスペリエンス平均を堅牢に推定する。数学的推論や具体的インテリジェンスベンチマークの他、ノイズの多い報奨の下でも、同質および異質な設定において、我々の手法はベースラインを一貫して上回っている。これらの結果から,雑音に対する強い強靭性とより安定したトレーニング力学が示され,雑音の報奨信号による最適化障害を効果的に防止できた。

関連論文リスト

Plug-and-Play Reweighting for Resilient Collaborative Decision-Making in Connected Autonomous Driving [35.0382657479364]
協力者の知覚的ノイズと敵対的攻撃は決定の信頼性に深刻な影響を及ぼす本稿では,アテンションベースエンコーダとアテンションベースデコーダからなる新しいレジリエント・コラボレーティブ・コラボレーティブ・メイキング・フレームワークを提案する。このアプローチは既存のメソッドを最大26%上回り、最先端のレジリエントなパフォーマンスを実現しています。
論文参考訳（メタデータ） (2026-07-10T23:36:31Z)
TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文参考訳（メタデータ） (2026-06-09T17:16:03Z)
Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。 ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文参考訳（メタデータ） (2026-04-21T15:05:58Z)
DR-MMSearchAgent: Deepening Reasoning in Multimodal Search Agents [24.61813749877376]
Deepening Reasoning MMSearchAgentは、バッチ全体におけるロールアウトトラジェクトリ全体のメリット信号を導出する。ガウスの区別された報酬は動的に相互作用耐性を校正するために使われる FVQAテストでMMSearch-R1を8.4$%上回り、最先端の性能を実現する。
論文参考訳（メタデータ） (2026-04-21T09:28:34Z)
Weak-Link Optimization for Multi-Agent Reasoning and Collaboration [24.206703927810825]
LLM駆動のマルチエージェントフレームワークは、マルチロールコラボレーションを通じて複雑な推論タスクに対処する。既存のアプローチは、個々のエージェントエラーがコラボレーションによって増幅される、推論不安定に悩まされることが多い。性能制限エージェントの識別と強化のためのフレームワークであるWORCを提案する。
論文参考訳（メタデータ） (2026-04-17T11:36:20Z)
CDRRM: Contrast-Driven Rubric Generation for Reliable and Interpretable Reward Modeling [61.75914342638658]
CDRRM(Contrast-Driven Reward Model)は、高品質なルーリック生成と優先判断のためのフレームワークである。この作業は、報酬モデリングのためのスケーラブルで解釈可能で、データ効率のよいパスを提供する。
論文参考訳（メタデータ） (2026-03-09T07:15:23Z)
Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
論文参考訳（メタデータ） (2026-02-03T15:32:09Z)
ICPO: Intrinsic Confidence-Driven Group Relative Preference Optimization for Efficient Reinforcement Learning [17.98065634130798]
固有信頼駆動型グループ相対選好最適化法(ICPO)を提案する。 ICPOは、複数の応答の相対生成確率を同一の入力プロンプトで比較することにより、各応答に対する優先優位スコアを算出する。優先的優位性スコアは、粗大な報酬や報奨ノイズの問題を緩和するだけでなく、過度に信頼された誤りを効果的に抑制することを発見した。
論文参考訳（メタデータ） (2025-11-26T03:10:15Z)
Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories [58.988535279557546]
適応推論トラジェクトリを用いたtextbf sycophancy Mitigation を提案する。 SMARTは,分布外の入力に対して強い性能を維持しながら,サイコファンティクスの挙動を著しく低下させることを示した。
論文参考訳（メタデータ） (2025-09-20T17:09:14Z)
STARec: An Efficient Agent Framework for Recommender Systems via Autonomous Deliberate Reasoning [54.28691219536054]
我々は、自律的な熟考的推論機能を備えたレコメンデータシステムを支援する、ゆっくり考えられた拡張エージェントフレームワークSTARecを紹介する。我々は,先進的推論モデルと嗜好整合型報酬形成から構造化知識の蒸留を組み合わせた2段階のパラダイムであるアンカー強化訓練を開発する。 MovieLens 1MとAmazon CDsベンチマークの実験では、STARecは最先端のベースラインと比較して、大幅なパフォーマンス向上を実現している。
論文参考訳（メタデータ） (2025-08-26T08:47:58Z)
On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
論文参考訳（メタデータ） (2025-04-02T17:40:47Z)
Adversarial Robustness in Two-Stage Learning-to-Defer: Algorithms and Guarantees [6.792743621449621]
2段階のL2D(Learning-to-Defer)は、各入力を固定されたメインモデルまたは複数のオフライン専門家のいずれかに割り当てることで、最適なタスクデリゲートを可能にする。既存のL2Dフレームワークはクリーンな入力を前提としており、クエリ割り当てを操作できる敵の摂動に弱い。 2段階L2Dシステムにおける対向ロバスト性の最初の包括的研究について述べる。
論文参考訳（メタデータ） (2025-02-03T03:44:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。