論文の概要: Emergent Coordination and Phase Structure in Independent Multi-Agent Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2511.23315v1
- Date: Fri, 28 Nov 2025 16:14:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-01 19:47:55.976965
- Title: Emergent Coordination and Phase Structure in Independent Multi-Agent Reinforcement Learning
- Title（参考訳）: 独立型マルチエージェント強化学習における創発的コーディネーションと位相構造
- Authors: Azusa Yamaguchi,
- Abstract要約: 環境サイズLとエージェント密度の大規模な実験を行った。
2つの軸(協調成功率(CSR)とTD誤差分散から導かれる安定性指数)を用いて位相マップを構築する。
分散MARLは,スケール,密度,カーネルドリフトの相互作用によって支配されるコヒーレントな位相構造を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A clearer understanding of when coordination emerges, fluctuates, or collapses in decentralized multi-agent reinforcement learning (MARL) is increasingly sought in order to characterize the dynamics of multi-agent learning systems. We revisit fully independent Q-learning (IQL) as a minimal decentralized testbed and run large-scale experiments across environment size L and agent density rho. We construct a phase map using two axes - the cooperative success rate (CSR) and a stability index derived from TD-error variance - revealing three distinct regimes: a coordinated and stable phase, a fragile transition region, and a jammed or disordered phase. A sharp double Instability Ridge separates these regimes and corresponds to persistent kernel drift, the time-varying shift of each agent's effective transition kernel induced by others' policy updates. Synchronization analysis further shows that temporal alignment is required for sustained cooperation, and that competition between drift and synchronization generates the fragile regime. Removing agent identifiers eliminates drift entirely and collapses the three-phase structure, demonstrating that small inter-agent asymmetries are a necessary driver of drift. Overall, the results show that decentralized MARL exhibits a coherent phase structure governed by the interaction between scale, density, and kernel drift, suggesting that emergent coordination behaves as a distribution-interaction-driven phase phenomenon.
- Abstract（参考訳）: 分散型マルチエージェント強化学習 (MARL) における協調の出現, 変動, 崩壊に関するより明確な理解が, マルチエージェント学習システムのダイナミクスを特徴づけるために求められている。
完全独立型Q-ラーニング(IQL)を最小限の分散テストベッドとして再検討し,環境サイズLとエージェント密度rhoの大規模な実験を行った。
本研究では, 協調成功率 (CSR) とTD-エラー分散から導かれる安定性指標を用いて, 2つの位相マップを構築し, 協調的かつ安定な位相, 脆弱な遷移領域, 妨害的あるいは不安定な位相の3つの異なる状態を明らかにした。
シャープな二重不安定リッジはこれらの状態を分離し、他のエージェントのポリシー更新によって引き起こされる各エージェントの効果的な遷移カーネルの時間変化である永続的なカーネルドリフトに対応する。
シンクロナイゼーション解析により、持続的な協調には時間的アライメントが必要であり、ドリフトと同期の競合は脆弱な状態を生成することが示された。
除去剤識別子はドリフトを完全に排除し、3相構造を崩壊させ、小さなエージェント間アシンメトリーがドリフトの必要なドライバであることを示す。
その結果, 分散MARLは, スケール, 密度, カーネルドリフトの相互作用によって支配されるコヒーレントな相構造を示し, 創発的調整が分布-相互作用駆動相現象として振る舞うことが示唆された。
関連論文リスト
- Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。
シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。
マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
論文 参考訳（メタデータ） (2025-10-09T04:48:49Z) - Alignment Tipping Process: How Self-Evolution Pushes LLM Agents Off the Rails [103.05296856071931]
本稿では,自己進化型大規模言語モデル(LLM)エージェントに特有の,アライメント・ティッピング・プロセス(ATP)を同定する。
ATPは、連続的な相互作用によってエージェントが訓練中に確立されたアライメント制約を放棄し、強化された自己関心の戦略を支持するときに生じる。
実験の結果、アライメントの利点は自己進化の下で急速に低下し、最初は整合性のない状態に収束したモデルであることが判明した。
論文 参考訳（メタデータ） (2025-10-06T14:48:39Z) - Multimodal Quantitative Measures for Multiparty Behaviour Evaluation [6.709251546882382]
骨格運動データにおける多人数社会的行動の客観的評価のための統合的介入駆動型フレームワークを提案する。
3つの理論駆動摂動による計量感度の検証を行った。
混合効果分析により、予測可能な、共同非依存的なシフトが明らかになる。
論文 参考訳（メタデータ） (2025-08-01T13:46:12Z) - Genuine multipartite entanglement as a probe of many-body localization in disordered spin chains with Dzyaloshinskii-Moriya interactions [0.0]
我々は、乱れた量子スピンモデルのエルゴード相において、クエンチド平均真のマルチパートエンタングルメント(GME)がその最大値にアプローチ可能であることを示す。
対照的に、GMEは多体局在化(MBL)相において平衡状態と長時間の動的安定状態の両方で消滅する。
論文 参考訳（メタデータ） (2025-07-30T15:57:37Z) - Locality Preserving Markovian Transition for Instance Retrieval [59.16243976912006]
局所保存マルコフ遷移(LPMT)フレームワークは,複数状態の長期熱力学的遷移プロセスを用いて正確な多様体距離測定を行う。
提案するLPMTは,BCD(Bidirectional Collaborative Diffusion)を用いて,各グラフ間の拡散過程を統合することにより,強い類似性関係を確立する。
その後、Locality State Embedding (LSE)は各インスタンスを分散にエンコードし、ローカル一貫性を向上する。
これらの分布は熱力学的マルコフ遷移(TMT)プロセスを介して相互接続され、局所的な有効性を維持しながら効率的な大域的探索を可能にする。
論文 参考訳（メタデータ） (2025-06-05T16:07:31Z) - Complexity transitions in chaotic quantum systems: Nonstabilizerness, entanglement, and fractal dimension in SYK and random matrix models [16.646029651172658]
いくつかのパラダイムモデルにおいてカオスから可積分相への遷移を研究する。
我々は, フラクタル次元, フォン・ノイマンエンタングルメントエントロピー, 安定化器 R'enyiエントロピーの3つの相補的複雑性マーカーを比較した。
論文 参考訳（メタデータ） (2025-05-14T18:07:18Z) - Offline Multi-agent Reinforcement Learning via Score Decomposition [51.23590397383217]
オフライン協調型マルチエージェント強化学習(MARL)は、分散シフトによる固有の課題に直面している。
この作業は、オフラインとオンラインのMARL間の分散ギャップを明示的に解決する最初の作業である。
論文 参考訳（メタデータ） (2025-05-09T11:42:31Z) - Collaborative Value Function Estimation Under Model Mismatch: A Federated Temporal Difference Analysis [55.13545823385091]
フェデレーション強化学習(FedRL)は、エージェント間のデータ交換を防止し、データのプライバシを維持しながら協調学習を可能にする。
現実世界のアプリケーションでは、各エージェントは若干異なる遷移ダイナミクスを経験し、固有のモデルミスマッチを引き起こす。
情報共有の適度なレベルでさえ、環境固有のエラーを著しく軽減することを示す。
論文 参考訳（メタデータ） (2025-03-21T18:06:28Z) - State Dependent Spread Complexity Dynamics in Many-Body Localization Transition [0.0]
我々は,Krylov空間における拡散複雑性と逆参加比のダイナミクスを用いて,Multi-Body Localization (MBL) 相転移を特徴づける。
我々の研究は、量子多体系における相転移の理解におけるクリロフ空間力学の有効性に光を当てている。
論文 参考訳（メタデータ） (2024-09-03T18:00:11Z) - Localization, fractality, and ergodicity in a monitored qubit [0.5892638927736115]
反復的アンシラ測定を対象とする1つの2段階系(量子ビット)の統計特性について検討した。
このセットアップは、システムのユニタリダイナミクスと量子測定によって導入された非ユニタリ性の間の相互作用を探索するための基本的な最小限のモデルである。
論文 参考訳（メタデータ） (2023-10-03T12:10:30Z) - Robust Self-Supervised LiDAR Odometry via Representative Structure
Discovery and 3D Inherent Error Modeling [67.75095378830694]
そこで我々は,2段階のオドメトリ推定ネットワークを構築し,一連の部分領域変換を推定してエゴモーメントを求める。
本稿では,トレーニング,推論,マッピングフェーズにおける信頼できない構造の影響を軽減することを目的とする。
我々の2フレームのオードメトリーは、翻訳/回転誤差の点で、過去の芸術の状態を16%/12%上回っている。
論文 参考訳（メタデータ） (2022-02-27T12:52:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。