論文の概要: Dreamer-CPC: Message Learning with World Models for Decentralized Multi-agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.19809v1
• Date: Wed, 22 Jul 2026 06:42:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:37.99454
• Title: Dreamer-CPC: Message Learning with World Models for Decentralized Multi-agent Reinforcement Learning
• Title（参考訳）: Dreamer-CPC:分散マルチエージェント強化学習のための世界モデルによるメッセージ学習
• Abstract要約: 分散モデルに基づくMARL法は,集合予測符号化に基づくメッセージ学習をDreamerV3の世界モデルに統合する。 2つの環境では、Dreamer-CPCは現在の観測からメッセージを生成する既存のCPCベースの方法であるIPPO-CPCよりも優れていた。 その結果,現在の観測だけでは不十分な場合,世界モデルの潜在力学に根ざしたコミュニケーションが分散的意思決定を支援することが示唆された。
• 参考スコア（独自算出の注目度）: 7.957680319094121
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In multi-agent reinforcement learning (MARL), inter-agent communication is effective for improving performance under partial observability. Representation learning-based approaches enable decentralized agents to learn messages grounded in their own observations, but they rely only on current observations and cannot convey information accumulated over time. We propose Dreamer-CPC, a decentralized model-based MARL method that integrates message learning based on Collective Predictive Coding (CPC) into the world model of DreamerV3. Each agent independently maintains a world model and a message module, and infers and exchanges messages from the latent states of the world model that reflect the history of past observations and actions. We evaluated Dreamer-CPC in two environments: Observer, a non-cooperative information-sharing task, and CatchApple, a newly introduced task in which task-relevant observations are temporarily missing. In both environments, Dreamer-CPC outperformed IPPO-CPC, an existing CPC-based method that generates messages from current observations, as well as no-communication baselines. In particular, in CatchApple, Dreamer-CPC achieved 4 to 5 times the episode return of IPPO-CPC, demonstrating effective coordination where other methods fail due to missing observations. These results suggest that communication grounded in the latent dynamics of world models can support decentralized decision-making when current observations alone are insufficient.
• Abstract（参考訳）: マルチエージェント強化学習 (MARL) では, エージェント間通信が部分観測性能の向上に有効である。 表現学習に基づくアプローチにより、分散化されたエージェントは、自身の観察に根ざしたメッセージを学ぶことができるが、それらは現在の観測にのみ依存し、時間とともに蓄積された情報を伝達することはできない。 本稿では,Dreamer-CPCを提案する。Dreamer-CPCは,CPC(Collective Predictive Coding)に基づくメッセージ学習をDreamerV3の世界モデルに統合する分散モデルベースMARL手法である。 各エージェントは独立して世界モデルとメッセージモジュールを保持し、過去の観測と行動の歴史を反映した世界モデルの潜在状態からメッセージを推測し交換する。 我々は,非協調的な情報共有タスクであるObserverと,タスク関連観測を一時的に欠いているCatchAppleの2つの環境において,Dreamer-CPCを評価した。 どちらの環境でも、Dreamer-CPCはIPPO-CPCよりも優れており、これは現在の観測からメッセージを生成する既存のCPCベースの方法であり、通信のベースラインはない。 特にCatchAppleでは、Dreamer-CPCがIPPO-CPCのエピソードリターンの4倍から5倍を達成した。 これらの結果は、現在の観測だけでは不十分な場合、世界モデルの潜在力学に根ざしたコミュニケーションは、分散的な意思決定を支援することができることを示唆している。

関連論文リスト

• Learning POMDP World Models from Observations with Language-Model Priors [52.11151769796862]
  部分的に観測可能なマルコフ決定プロセス(POMDP)は、内部世界モデルのための柔軟なモデリングクラスを提供する。 先行知識を活用することで,言語モデルがコストのかかる相互作用を低減できるかどうかを問う。 我々は,emphPinductor が LLM ベースの POMDP 学習手法の性能とサンプル効率に一致することを示す。
  論文  参考訳（メタデータ） (2026-05-13T16:18:15Z)
• Multi-Agent Deep Reinforcement Learning Under Constrained Communications [2.7126292487109005]
  本稿では,集中型批判者やグローバル情報の必要性を解消する分散マルチエージェント強化学習(MARL)フレームワークを提案する。 マルチホップ通信によるグローバルな状態推論を行う新しいグラフ注意ネットワーク(D-GAT)を開発した。 また、エージェントがローカルポリシーや値関数を最適化する分散MARLフレームワークである分散グラフアテンションMAPPO(DG-MAPPO)を開発した。
  論文  参考訳（メタデータ） (2026-01-22T21:07:18Z)
• In-Context Reinforcement Learning via Communicative World Models [49.00028802135605]
  この研究は、2エージェントの緊急通信問題としてICRLを定式化する。 これは、転送可能な通信コンテキストを学ぶフレームワークであるCORALを紹介している。 実験により,本手法により,CAが試料効率を大幅に向上できることが実証された。
  論文  参考訳（メタデータ） (2025-08-08T19:23:23Z)
• Communicating Plans, Not Percepts: Scalable Multi-Agent Coordination with Embodied World Models [0.0]
  MARL(Multi-Agent Reinforcement Learning)の中心的な疑問は、通信プロトコルを設計するか、エンドツーエンドで学習するかである。 本稿では,協調的なタスク割り当て問題に対する2つのコミュニケーション戦略を提案し,比較する。 我々の実験によると、創発的コミュニケーションは単純な設定で実現可能であるが、設計された世界モデルベースのアプローチは、複雑さが増大するにつれて、優れたパフォーマンス、サンプル効率、スケーラビリティを示す。
  論文  参考訳（メタデータ） (2025-08-04T21:29:07Z)
• Reward-Independent Messaging for Decentralized Multi-Agent Reinforcement Learning [7.872846260392537]
  MARL-CPCは、完全に分散化された独立したエージェント間の通信を可能にするフレームワークである。 アクション空間の一部としてメッセージを扱う従来の方法とは異なり、MARL-CPCはメッセージを状態推論にリンクする。 ベンチマークの結果、Bandit-CPCとIPPO-CPCは標準的なメッセージ・アズ・アクション・アプローチよりも優れていた。
  論文  参考訳（メタデータ） (2025-05-28T05:23:47Z)
• CTDS: Centralized Teacher with Decentralized Student for Multi-Agent Reinforcement Learning [114.69155066932046]
  この作品は小説を提案している。 教師モデルと学生モデルからなる分散学生(C TDS)フレームワーク。 具体的には、教師モデルは、グローバルな観察で条件付けられた個別のQ値を学ぶことで、チームの報酬を割り当てる。 学生モデルは、部分的な観察を利用して、教師モデルによって推定されるQ値を近似する。
  論文  参考訳（メタデータ） (2022-03-16T06:03:14Z)
• Model-based Reinforcement Learning for Decentralized Multiagent Rendezvous [66.6895109554163]
  目標を他のエージェントと整合させる人間の能力の下にあるのは、他人の意図を予測し、自分たちの計画を積極的に更新する能力である。 分散型マルチエージェントレンデブーのためのモデルに基づく強化学習手法である階層型予測計画(HPP)を提案する。
  論文  参考訳（メタデータ） (2020-03-15T19:49:20Z)
• Emergent Communication with World Models [80.55287578801008]
  本稿では,自然言語メッセージを解釈する言語条件生成モデルのクラスであるLanguage World Modelsを紹介する。 我々は、この「観測」を永続記憶状態に組み込んで、リスニングエージェントのポリシーを条件付けします。 これにより、2次元グリッドワールド話者リスナーナビゲーションタスクにおける効果的なコミュニケーションとタスク成功が向上することを示す。
  論文  参考訳（メタデータ） (2020-02-22T02:34:51Z)
• Think Locally, Act Globally: Federated Learning with Local and Global Representations [92.68484710504666]
  フェデレートラーニング(Federated Learning)とは、複数のデバイスに分散したプライベートデータ上でモデルをトレーニングする手法である。 本稿では,各デバイス上でコンパクトな局所表現を共同で学習する新しいフェデレーション学習アルゴリズムを提案する。 また、プライバシが鍵となる実世界のモバイルデータから、パーソナライズされた気分予測のタスクを評価する。
  論文  参考訳（メタデータ） (2020-01-06T12:40:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。