論文の概要: Value-Aware Prediction for Robust Multi-Agent Coordination Under Communication Loss

• arxiv url: http://arxiv.org/abs/2607.17914v1
• Date: Mon, 20 Jul 2026 13:13:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.622034
• Title: Value-Aware Prediction for Robust Multi-Agent Coordination Under Communication Loss
• Title（参考訳）: 通信損失下におけるロバストなマルチエージェント座標の値認識予測
• Abstract要約: マルチエージェント・コーディネーションはエージェント間通信に大きく依存しており、実世界の展開における物理的および環境的制約によってしばしば破壊される。 本稿では,MARO(Multi-Agent Observation Sharing under Communication Dropout)による通信ギャップのパッチ適用に対する価値認識拡張を提案する。 通信信頼性の異なるマルチエージェント粒子環境における複数のタスクにおけるフレームワークの評価を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robust multi-agent coordination relies heavily on inter-agent communication, which is frequently disrupted by physical and environmental constraints in real-world deployments. To maintain operation during these intermittent communication failures, agents can employ internal prediction models to estimate missing shared state information. However, predictors trained with standard reconstruction objectives treat all transitions equally. In a Reinforcement Learning context, this forces the model to waste capacity learning stochastic exploration noise and the outdated dynamics of suboptimal policies. In this paper, we propose a value-aware extension of Multi-Agent Observation Sharing under Communication Dropout (MARO) to patch communication gaps; we refer to this method as Value-Aware MARO. By dynamically weighting the predictor's loss function using advantage estimates derived from the underlying actor-critic architecture, our objective explicitly couples the predictor's learning process to the policy's evolution. This formulation focuses the model's capacity on the intentional, high-return dynamics actively reinforced by the agents. We evaluate our framework on several tasks within the Multi-Agent Particle Environment under varying communication reliability levels. Experimental results demonstrate that our approach maintains performance under declining communication reliability, particularly below 40%. While our method performs comparably in tasks where the baseline already maintains high coordination, our value-aware weighting effectively prevents the performance collapse observed in the standard predictor during high-attrition scenarios. In these environments, our method achieves an average improvement in mean returns of more than 20% and reduces performance variance by a mean of 64.7% compared to the standard unweighted baseline.
• Abstract（参考訳）: ロバストなマルチエージェント調整はエージェント間通信に大きく依存しており、実世界の展開における物理的および環境的制約によってしばしば破壊される。 これらの断続的な通信障害時の運用を維持するため、エージェントは内部予測モデルを使用して、行方不明な共有状態情報を推定することができる。 しかし、標準的な再建目標で訓練された予測器は、すべての遷移を等しく扱う。 強化学習(Reinforcement Learning)の文脈では、これはモデルに確率的探索ノイズと、最適以下の政策の時代遅れのダイナミクスを浪費させる。 本稿では,MARO(Multi-Agent Observation Sharing under Communication Dropout)を用いて,通信ギャップにパッチを当てた値認識型MAROを提案する。 予測者の損失関数を,下層のアクター・クリティカル・アーキテクチャから導出される利点推定値を用いて動的に重み付けすることにより,予測者の学習過程と政策の進化を明示的に結合する。 この定式化は、エージェントによって活発に強化された意図的、高戻りなダイナミクスに、モデルの能力に焦点をあてる。 通信信頼性の異なるマルチエージェント粒子環境における複数のタスクにおけるフレームワークの評価を行った。 実験の結果, 通信信頼性の低下, 特に40%以下では性能が維持されていることがわかった。 提案手法は,ベースラインがすでに高いコーディネーションを維持しているタスクでは相容れないが,付加価値を考慮した重み付けは,高収差シナリオにおいて標準予測器で観測される性能崩壊を効果的に防止する。 これらの環境下では,平均リターンが20%以上向上し,標準の未加重ベースラインに比べて平均64.7%低下する。

関連論文リスト

• IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning [57.16513298507272]
  IADD-TRは、IADD(Intervention-Aware Dynamics Decoupling)とTR(Targeted Regularization)を組み合わせた統合フレームワークである。 IADDは、ゼロアクションアンカーを用いて、アクション干渉段階とアクションフリー自然進化段階への遷移を分解し、堅牢な一般化のためにこの2段階の分解の非特異性を解決する。 政策学習においては,リプレイ状態の政策段階関数の効率的な影響関数からTRを導出する。
  論文  参考訳（メタデータ） (2026-08-11T08:20:02Z)
• Collaborative Weighting with Pessimistic Critic for Mitigating Overestimation in Off-Policy Reinforcement Learning [7.604367783364084]
  Collaborative Weighting Actor-Critic (CWAC) は、価値推定における予測の不確実性を考慮に入れた統合フレームワークである。 CWACは最小限のオーバーヘッドで既存の外部アルゴリズムフレームワークにシームレスに統合できる。
  論文  参考訳（メタデータ） (2026-07-29T06:18:19Z)
• Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
  大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。 本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。 我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
  論文  参考訳（メタデータ） (2026-06-05T15:09:52Z)
• Learning to Act under Noise: Enhancing Agent Robustness via Noisy Environments [68.02342920827135]
  エージェント学習プロセスに環境欠陥を明示的に組み込んだエージェント学習フレームワークであるNoisyAgentを提案する。 実世界のシナリオでは,ユーザインタラクションにおけるあいまいさと可変性を捉えるユーザノイズと,ツール実行における障害や異常を反映するツールノイズという,2つの主要なインタラクションノイズ源を識別する。 広汎な実験により,本手法は騒音および動的環境下でのエージェントの堅牢性を常に改善することを示した。
  論文  参考訳（メタデータ） (2026-05-26T16:02:00Z)
• Collaborative Value Function Estimation Under Model Mismatch: A Federated Temporal Difference Analysis [55.13545823385091]
  フェデレーション強化学習(FedRL)は、エージェント間のデータ交換を防止し、データのプライバシを維持しながら協調学習を可能にする。 現実世界のアプリケーションでは、各エージェントは若干異なる遷移ダイナミクスを経験し、固有のモデルミスマッチを引き起こす。 情報共有の適度なレベルでさえ、環境固有のエラーを著しく軽減することを示す。
  論文  参考訳（メタデータ） (2025-03-21T18:06:28Z)
• Compressed Regression over Adaptive Networks [58.79251288443156]
  分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。 エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
  論文  参考訳（メタデータ） (2023-04-07T13:41:08Z)
• Taming Multi-Agent Reinforcement Learning with Estimator Variance Reduction [12.94372063457462]
  分散実行(CT-DE)による集中トレーニングは、多くの主要なマルチエージェント強化学習(MARL)アルゴリズムの基礎となっている。 特定の状態における共同行動の単一のサンプルから学ぶことに依存しているため、これは重大な欠点に悩まされる。 本稿では,アクター・クリティカルなMARL法に対応する拡張ツールを提案する。
  論文  参考訳（メタデータ） (2022-09-02T13:44:00Z)
• Imitation Learning by State-Only Distribution Matching [2.580765958706854]
  観察からの模倣学習は、人間の学習と同様の方法で政策学習を記述する。 本稿では,解釈可能な収束度と性能測定値とともに,非逆学習型観測手法を提案する。
  論文  参考訳（メタデータ） (2022-02-09T08:38:50Z)
• The Gradient Convergence Bound of Federated Multi-Agent Reinforcement Learning with Efficient Communication [20.891460617583302]
  連立学習パラダイムにおける協調的意思決定のための独立強化学習(IRL)の検討 FLはエージェントとリモート中央サーバ間の過剰な通信オーバーヘッドを生成する。 本稿では,システムの実用性向上のための2つの高度な最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T07:21:43Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。