論文の概要: Centralized Critics for N-Agent Ad Hoc Teamwork

• arxiv url: http://arxiv.org/abs/2610.34799v1
• Date: Mon, 26 Oct 2026 03:41:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.732579
• Title: Centralized Critics for N-Agent Ad Hoc Teamwork
• Title（参考訳）: N-Agent Ad Hoc チームワークの集中的批判
• Abstract要約: 我々はNエージェントアドホックチームワークのための集中型批評家の設計について研究する。 我々は,共同歴史評論家がコントロールされた歴史評論家と一致または相反することを示す。
• 参考スコア（独自算出の注目度）: 20.675208592614638
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Centralized training with decentralized execution (CTDE) has become the dominant paradigm in multi-agent reinforcement learning (MARL), motivating extensive study of what privileged information should be made available to the critic during training. While prior work has examined the role of global state in fully cooperative settings, the design of centralized critics for N-agent ad hoc teamwork - in which dynamically varying set of learning agents must coordinate with an arbitrary set of uncontrolled teammates drawn from an unknown distribution - remains poorly understood. We study this question by comparing two natural classes of advantage estimators: controlled history estimators, which condition only on the observation and action histories of the learner's own agents, and joint history estimators, which additionally condition on the histories of the uncontrolled teammates. We prove that both estimators are unbiased and characterize the conditions under which the joint history estimate attains strictly lower variance than its controlled counterpart. Empirically, joint history critics match or outperform controlled history critics across a range of NAHT tasks, yielding improved sample efficiency and final returns. Together, these results provide both a theoretical justification and an empirical recommendation for incorporating uncontrolled agent histories into centralized critics for N-agent ad hoc teamwork.
• Abstract（参考訳）: 分散実行による集中訓練(CTDE)は,多エージェント強化学習(MARL)において支配的なパラダイムとなっている。 それまでの作業では、完全に協調した環境でのグローバルステートの役割について検討されてきたが、Nエージェントのアドホックチームワークに対する集中的な批判 - 動的に変化する学習エージェントセットは、未知の分布から引き出された任意のコントロールされていないチームメイトセットと調整しなければならない - の設計は、いまだに理解されていない。 本研究では,学習者自身のエージェントの観察・行動履歴のみを条件とした制御履歴推定器と,制御されていないチームメイトの履歴を条件とした共同履歴推定器の2つの自然クラスを比較した。 両推定器が非バイアスであり, 結合履歴推定が制御対象よりも厳密に低い分散を達成できる条件を特徴付ける。 経験的に、共同歴史評論家はNAHTタスクの範囲でコントロールされた歴史評論家と一致または成績が良くなり、サンプル効率と最終的なリターンが向上した。 これらの結果は、N-エージェントアドホックチームワークの中央集権的批判に、制御されていないエージェント履歴を組み込むための理論的正当化と実証的勧告の両方を提供する。

関連論文リスト

• Benchmarking the Limits of In-Context Reinforcement Learning for Ad-Hoc Teamwork [45.63941874462679]
  In-Context Reinforcement Learning (ICRL)は、ファンデーションエージェントが新しいタスクに即時に適応することを可能にするが、Ad-Hoc Teamwork (AHT)において、未知のパートナとの協調が不要な場合、その有効性は未検討のままである。 本稿では,Overcooked-V2 の高スループット JAX 実装をベースに構築された大規模ベンチマーク ICRL4AHT を紹介する。 我々は, アルゴリズム蒸留 (AD) やDPT (Decision-Pretrained Transformer) など, 数百万の遷移にまたがる代表的履歴条件ICRLアルゴリズムを評価する。
  論文  参考訳（メタデータ） (2026-05-23T06:39:21Z)
• TRACE: Trajectory-Aware Comprehensive Evaluation for Deep Research Agents [51.30998248590416]
  Trajectory-Aware Comprehensive Evaluation (TRACE) は、問題解決の軌道全体を評価するフレームワークである。 私たちのコントリビューションには、TRACEフレームワーク、その新しいメトリクス、および制御可能な複雑さを伴うDeepResearch-Benchが含まれています。
  論文  参考訳（メタデータ） (2026-02-05T13:28:57Z)
• Epistemic Context Learning: Building Trust the Right Way in LLM-Based Multi-Agent Systems [94.9141394384021]
  マルチエージェントシステムの個々のエージェントは、しばしば堅牢性を欠き、誤解を招く仲間に盲目的に適合する傾向にある。 この弱点は, 相互信頼度を評価する能力の欠如に起因していると考えられる。 まず,歴史認識参照の学習問題を定式化し,ピア間の歴史的相互作用を付加的な入力として導入する。 次に,歴史的に構築されたピアプロファイルの予測を行うための推論フレームワークであるEcestemic Context Learning (ECL) を開発した。
  論文  参考訳（メタデータ） (2026-01-29T13:59:32Z)
• Fully Decentralized Cooperative Multi-Agent Reinforcement Learning is A Context Modeling Problem [26.317044969022277]
  本稿では,各エージェントが各状態,その局所行動,共有報酬のみを観察する,完全分散型協調型マルチエージェント強化学習について検討する。 他のエージェントのアクションにアクセスすることができないことは、値関数の更新や値関数の推定時の相対的な過一般化において非定常性をもたらすことが多い。 本研究では,各エージェントが局所的に認識するタスクをコンテキストマルコフ決定プロセスとして定式化する,DEC(Dynamics-Aware Context)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-09-19T01:52:44Z)
• Trust Semantics Distillation for Collaborator Selection via Memory-Augmented Agentic AI [51.4138877170325]
  本稿では,大規模AIモデル(LAM)に基づく教師・学生エージェントアーキテクチャに基づくタスク固有の信頼度セマンティックス蒸留モデルを提案する。 提案した2TSDモデルでは,協調者評価時間を短縮し,機器資源消費量を削減し,協調者選択の精度を向上させることができる。
  論文  参考訳（メタデータ） (2025-09-09T21:18:31Z)
• Collaborative Value Function Estimation Under Model Mismatch: A Federated Temporal Difference Analysis [55.13545823385091]
  フェデレーション強化学習(FedRL)は、エージェント間のデータ交換を防止し、データのプライバシを維持しながら協調学習を可能にする。 現実世界のアプリケーションでは、各エージェントは若干異なる遷移ダイナミクスを経験し、固有のモデルミスマッチを引き起こす。 情報共有の適度なレベルでさえ、環境固有のエラーを著しく軽減することを示す。
  論文  参考訳（メタデータ） (2025-03-21T18:06:28Z)
• A decision-theoretic model for a principal-agent collaborative learning problem [0.0]
  本稿では,主成分が適切な凝集係数の集合を決定する主成分設定を伴う協調学習フレームワークについて考察する。 提案したフレームワークは安定性と一般化の点でいくつかの利点があるが、主役とエージェントは必ずしもサンプル分布や互いのデータセットの品質を知る必要はない。
  論文  参考訳（メタデータ） (2024-09-24T13:08:51Z)
• Taming Multi-Agent Reinforcement Learning with Estimator Variance Reduction [12.94372063457462]
  分散実行(CT-DE)による集中トレーニングは、多くの主要なマルチエージェント強化学習(MARL)アルゴリズムの基礎となっている。 特定の状態における共同行動の単一のサンプルから学ぶことに依存しているため、これは重大な欠点に悩まされる。 本稿では,アクター・クリティカルなMARL法に対応する拡張ツールを提案する。
  論文  参考訳（メタデータ） (2022-09-02T13:44:00Z)
• CTDS: Centralized Teacher with Decentralized Student for Multi-Agent Reinforcement Learning [114.69155066932046]
  この作品は小説を提案している。 教師モデルと学生モデルからなる分散学生(C TDS)フレームワーク。 具体的には、教師モデルは、グローバルな観察で条件付けられた個別のQ値を学ぶことで、チームの報酬を割り当てる。 学生モデルは、部分的な観察を利用して、教師モデルによって推定されるQ値を近似する。
  論文  参考訳（メタデータ） (2022-03-16T06:03:14Z)
• Evaluating Generalization and Transfer Capacity of Multi-Agent Reinforcement Learning Across Variable Number of Agents [0.0]
  マルチエージェント強化学習(MARL)問題は、タスクを解決するためにエージェント間の協調を必要とすることが多い。 中央集権化と分散化は、MARLにおける協力のための2つのアプローチである。 分散実行パラダイムを用いた集中型トレーニングを採用し, エージェント数に応じて, 学習モデルの一般化と伝達能力について検討する。
  論文  参考訳（メタデータ） (2021-11-28T15:29:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。