論文の概要: Independent Multi-Agent Reinforcement Learning with Counterfactual Semantic-Social World Models

• arxiv url: http://arxiv.org/abs/2610.07704v1
• Date: Tue, 06 Oct 2026 03:53:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.790757
• Title: Independent Multi-Agent Reinforcement Learning with Counterfactual Semantic-Social World Models
• Title（参考訳）: 対実的意味・社会的世界モデルを用いた独立型マルチエージェント強化学習
• Abstract要約: CASTLEは2つの相補的な世界モデルを備えたオフライントレーニング・オンライン・イン・コンテクスト・ガイダンス・フレームワークである。 エージェントの局所軌跡をオフラインで事前訓練したローカルダイナミクスワールドモデルでは、エージェントの局所軌跡ダイナミクスと部分可観測性を要約している。 セマンティック・ソーシャル・ワールド・モデル(Semantic-Social World Model)は、各候補のエゴ行動に対するコンパクトな短期的タスクと社会的結果を予測する。 後者は、同一ログされたロールアウト状態から取得した代替アクションに対して、可愛らしいチームメイトと反対のレスポンスを公開する、反ファクト的なロールアウトからトレーニングされる。
• 参考スコア（独自算出の注目度）: 45.70357546589222
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fully decentralized multi-agent reinforcement learning (MARL), also referred to as independent learning, requires each agent to learn and act using only its local information and experience, without a centralized critic or inter-agent communication. Such a stringent information structure renders the conventional reward signal ambiguous. A poor return may result from an ineffective ego action, an incompatible teammate response, or an effective opponent response, yet scalar rewards alone do not reveal which explanation is responsible. We argue that agents can learn more effectively by prospectively comparing the consequences of candidate actions rather than diagnosing failures only from realized returns. We introduce CASTLE (Counterfactual Action-conditioned Semantic Tokens for Local Execution in Decentralized MARL), an offline-training, online-in-context guidance framework with two complementary world models. A Local Dynamics World Model, offline pre-trained over agents' local trajectories, summarizes the agent's local trajectory dynamics and partial observability, while a Semantic-Social World Model predicts compact short-horizon task and social consequences for each candidate ego action. The latter is trained from counterfactual simulator rollouts that expose plausible teammate and opponent responses to alternative actions taken from the same logged rollout state. During online learning and execution, both world models remain frozen and are queried by agents using only locally available information. Their prediction logits provide in-context guidance to an independent PPO policy. Across 30 matched seeds on Tag, Spread, and Adversary in the benchmark multi-particle environments, our proposed CASTLE achieves the highest mean final score among the evaluated methods, exceeding the strongest baseline on each task by 10.67, 6.46, and 0.33 normalized points, respectively.
• Abstract（参考訳）: 完全に分散化されたマルチエージェント強化学習(MARL)は、独立した学習とも呼ばれ、各エージェントは、中央集権的な批判やエージェント間コミュニケーションなしに、そのローカル情報と経験のみを使用して学習し、行動する必要がある。 このような厳密な情報構造は、従来の報奨信号が曖昧である。 不十分なリターンは、非効率なエゴアクション、非互換なチームメイト反応、あるいは効果的な相手反応によって引き起こされるかもしれないが、スカラー報酬だけでは、どの説明が責任であるかを明らかにしない。 エージェントは、実現したリターンからのみ失敗を診断するよりも、候補行動の結果を前向きに比較することで、より効果的に学習できると主張している。 CASTLE(Counterfactual Action-conditioned Semantic Tokens for Local Execution in Decentralized MARL)は,2つの相補的世界モデルを備えたオフライン学習オンライン・イン・コンテクスト・ガイダンス・フレームワークである。 エージェントの局所軌道上でオフラインで事前訓練されたローカルダイナミクス世界モデルでは、エージェントの局所軌道力学と部分的可観測性が要約され、セマンティック・社会世界モデルでは、各候補のエゴ行動に対するコンパクトな短期的タスクと社会的結果を予測する。 後者は、同一ログされたロールアウト状態から取られた代替アクションに対して、可愛らしいチームメイトと反対のレスポンスを公開する反ファクトシュミレーションロールアウトからトレーニングされる。 オンライン学習と実行の間、両方の世界モデルは凍結し続け、ローカルで利用可能な情報のみを使用してエージェントによってクエリされる。 彼らの予測ログは、独立したPPOポリシーへのコンテキスト内ガイダンスを提供する。 ベンチマーク多粒子環境におけるTag, Spread, Adversaryの30種以上において, 提案したCASTLEは, それぞれ10.67, 6.46, 0.33の正規化点で最強のベースラインを上回り, 評価手法の中で最上位のファイナルスコアを達成している。

関連論文リスト

• MA-JEPA: Joint-Embedding World Models for Multi-Agent Reinforcement Learning [0.37198003534861784]
  自己教師付き共同埋め込み予測(JEPA)は,マルチエージェント強化学習のための学習信号を提供することができる。 観測結果の再現を目標表現の予測に置き換える世界モデルMAJEPAを紹介する。
  論文  参考訳（メタデータ） (2026-09-27T13:37:30Z)
• MATES: Learning Multi-Agent Interactions by Transforming Observations for Frozen Single-Agent Policies [2.2801444394060257]
  MATES(Multi-Agent Observation Transformation for existing Single-Agent Policies)について紹介する。 MATESは、個別に識別可能な隣接情報を公開しながら、単独タスク情報を保存しているタスクのための入力側適応フレームワークである。 我々は、生涯にわたるパスフィニング、ナビゲーション、協調的な発見において、オン・アンド・オフ・ポリシーのアルゴリズムを用いてMATESを評価する。
  論文  参考訳（メタデータ） (2026-09-22T11:10:34Z)
• Role-Agent: Bootstrapping LLM Agents via Dual-Role Evolution [25.26084224278813]
  Role-Agentは単一のLarge Language Model(LLM)を使用してエージェントと環境の両方として同時に機能する。 Role-Agentはパフォーマンスを継続的に改善し、強いベースラインよりも平均4%以上向上する。
  論文  参考訳（メタデータ） (2026-06-09T14:28:07Z)
• Insider Attacks in Multi-Agent LLM Consensus Systems [8.207909009186091]
  マルチエージェントコンセンサスシステムにおけるインサイダー操作について検討する。 そこで本稿では,良性エージェントの潜在行動状態上でのサロゲートダイナミクスを学習する世界モデルベースのフレームワークを提案する。 予備的な結果は、訓練された攻撃者は、良心的コンセンサス率を減らし、直接悪質なプロンプトベースラインよりも、より効果的に不一致を延長することを示している。
  論文  参考訳（メタデータ） (2026-05-08T03:10:22Z)
• Agent2World: Learning to Generate Symbolic World Models via Adaptive Multi-Agent Feedback [51.22403664895878]
  Agent2Worldは、強力な推論時ワールドモデル生成を実現するツール拡張マルチエージェントフレームワークである。 また、マルチエージェントフィードバックの生成を基盤にすることで、教師付き微調整のためのデータエンジンとしても機能する。
  論文  参考訳（メタデータ） (2025-12-26T18:54:14Z)
• Grounded Test-Time Adaptation for LLM Agents [75.62784644919803]
  大規模言語モデル(LLM)ベースのエージェントは、新規で複雑な環境への一般化に苦慮している。 環境特化情報を活用することで, LLMエージェントを適応するための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2025-11-06T22:24:35Z)
• SPACeR: Self-Play Anchoring with Centralized Reference Models [50.55045557371374]
  Simエージェントポリシーは、現実的で、人間らしく、高速で、マルチエージェント設定でスケーラブルである。 大規模な拡散モデルやトークン化モデルを用いた模倣学習の最近の進歩は、人間の運転データから直接行動を把握することができることを示している。 本研究では,事前訓練されたトークン化自己回帰運動モデルを利用したSPACeRを提案する。
  論文  参考訳（メタデータ） (2025-10-20T19:53:02Z)
• Alignment Tipping Process: How Self-Evolution Pushes LLM Agents Off the Rails [103.05296856071931]
  本稿では,自己進化型大規模言語モデル(LLM)エージェントに特有の,アライメント・ティッピング・プロセス(ATP)を同定する。 ATPは、連続的な相互作用によってエージェントが訓練中に確立されたアライメント制約を放棄し、強化された自己関心の戦略を支持するときに生じる。 実験の結果、アライメントの利点は自己進化の下で急速に低下し、最初は整合性のない状態に収束したモデルであることが判明した。
  論文  参考訳（メタデータ） (2025-10-06T14:48:39Z)
• Learning From Good Trajectories in Offline Multi-Agent Reinforcement Learning [98.07495732562654]
  オフラインマルチエージェント強化学習(MARL)は、事前コンパイルされたデータセットから効果的なマルチエージェントポリシーを学ぶことを目的としている。 オフラインのMARLが学んだエージェントは、しばしばこのランダムなポリシーを継承し、チーム全体のパフォーマンスを脅かす。 この問題に対処するために,共有個人軌道(SIT)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-28T18:11:26Z)
• AoI-Aware Resource Allocation for Platoon-Based C-V2X Networks via Multi-Agent Multi-Task Reinforcement Learning [22.890835786710316]
  本稿は,小隊の無線リソース管理を意識した情報年齢(AoI)の問題について検討する。 複数の自律型プラトンは、C-V2X通信技術を利用して、協力的認識メッセージ(CAM)をフォロワーに広める。 我々は,マルチエージェント強化学習(marl)に基づく分散リソース割当フレームワークを活用し,各小隊リーダ(pl)がエージェントとして行動し,環境と相互作用して最適方針を学ぶ。
  論文  参考訳（メタデータ） (2021-05-10T08:39:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。