論文の概要: Chaos persists in large-scale multi-agent learning despite adaptive
learning rates
- arxiv url: http://arxiv.org/abs/2306.01032v1
- Date: Thu, 1 Jun 2023 15:57:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-05 18:31:32.431113
- Title: Chaos persists in large-scale multi-agent learning despite adaptive
learning rates
- Title(参考訳): 適応学習率にもかかわらず大規模マルチエージェント学習におけるカオスの持続
- Authors: Emmanouil-Vasileios Vlatakis-Gkaragkounis, Lampros Flokas and Georgios
Piliouras
- Abstract要約: 適応学習率を用いても,大集団の混雑ゲームではカオスが持続することを示す。
我々のアプローチは、動力学の基本的な性質を研究することによって、従来の3つのテクニックであるLi-Yorkeを超越している。
- 参考スコア(独自算出の注目度): 46.71682514865676
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-agent learning is intrinsically harder, more unstable and unpredictable
than single agent optimization. For this reason, numerous specialized
heuristics and techniques have been designed towards the goal of achieving
convergence to equilibria in self-play. One such celebrated approach is the use
of dynamically adaptive learning rates. Although such techniques are known to
allow for improved convergence guarantees in small games, it has been much
harder to analyze them in more relevant settings with large populations of
agents. These settings are particularly hard as recent work has established
that learning with fixed rates will become chaotic given large enough
populations.In this work, we show that chaos persists in large population
congestion games despite using adaptive learning rates even for the ubiquitous
Multiplicative Weight Updates algorithm, even in the presence of only two
strategies. At a technical level, due to the non-autonomous nature of the
system, our approach goes beyond conventional period-three techniques Li-Yorke
by studying fundamental properties of the dynamics including invariant sets,
volume expansion and turbulent sets. We complement our theoretical insights
with experiments showcasing that slight variations to system parameters lead to
a wide variety of unpredictable behaviors.
- Abstract(参考訳): マルチエージェント学習は本質的に難しく、単一のエージェント最適化よりも不安定で予測不能である。
このため、多くの専門的なヒューリスティックや技術が自己プレイにおける均衡への収束を達成するために設計されている。
そのような著名なアプローチの1つは、動的適応学習率の使用である。
このような手法は、小規模ゲームにおける収束保証を改善することが知られているが、エージェントの集団でより関連性の高い設定でそれらを分析することはずっと困難である。
本研究は, ユビキタスな乗算重み更新アルゴリズムにおいても, 適応的な学習率を用いても, 人口密集ゲームにおいてカオスが持続することを示すものである。
技術的なレベルでは、システムの非自発的性質から、不変集合、体積展開、乱流集合を含む力学の基本特性を研究することにより、従来の周期 3 技術の li-yorke を超越したアプローチである。
我々は,システムパラメータのわずかな変化が様々な予測不能な振る舞いを引き起こすことを示す実験によって,理論的な洞察を補完する。
関連論文リスト
- Overestimation, Overfitting, and Plasticity in Actor-Critic: the Bitter
Lesson of Reinforcement Learning [15.615763010305514]
我々は60以上の異なる非政治エージェントを実装し、それぞれが最新の最先端アルゴリズムから確立された正規化技術を統合する。
2つのシミュレーションベンチマークから14のタスクにまたがってこれらのエージェントをテストした。
その結果、特定の正規化設定の有効性はタスクによって異なるが、特定の組み合わせは一貫して堅牢で優れた性能を示すことがわかった。
論文 参考訳(メタデータ) (2024-03-01T13:25:10Z) - Multi-Agent Quantum Reinforcement Learning using Evolutionary
Optimization [7.305065320738301]
我々は、勾配のない量子強化学習のための既存のアプローチを構築し、マルチエージェント強化学習のための変分量子回路を用いた3つの遺伝的バリエーションを提案する。
我々は、トレーニング可能なパラメータの量に類似したニューラルネットワークと比較して、変動量子回路のアプローチが大幅に優れていることを示す。
論文 参考訳(メタデータ) (2023-11-09T17:45:32Z) - Discovering How Agents Learn Using Few Data [32.38609641970052]
本稿では,単一系軌道の短いバーストを用いたエージェント動作のリアルタイム同定のための理論的,アルゴリズム的なフレームワークを提案する。
提案手法は, 平衡選択やカオスシステムの予測など, 様々なベンチマークにおいて, 真の力学を正確に再現する。
これらの結果から,戦略的マルチエージェントシステムにおいて,効果的な政策と意思決定を支援する可能性が示唆された。
論文 参考訳(メタデータ) (2023-07-13T09:14:48Z) - An Adaptive Fuzzy Reinforcement Learning Cooperative Approach for the
Autonomous Control of Flock Systems [4.961066282705832]
この研究は、群集システムの自律制御に適応的な分散ロバスト性技術を導入している。
比較的柔軟な構造は、様々な目的を同時に狙うオンラインファジィ強化学習スキームに基づいている。
動的障害に直面した場合のレジリエンスに加えて、アルゴリズムはフィードバック信号としてエージェントの位置以上のものを必要としない。
論文 参考訳(メタデータ) (2023-03-17T13:07:35Z) - Safe Multi-agent Learning via Trapping Regions [89.24858306636816]
我々は、動的システムの定性理論から知られているトラップ領域の概念を適用し、分散学習のための共同戦略空間に安全セットを作成する。
本稿では,既知の学習力学を持つシステムにおいて,候補がトラップ領域を形成することを検証するための二分分割アルゴリズムと,学習力学が未知のシナリオに対するサンプリングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-27T14:47:52Z) - A Unifying Perspective on Multi-Calibration: Game Dynamics for
Multi-Objective Learning [63.20009081099896]
マルチキャリブレーション予測器の設計と解析のための統一フレームワークを提供する。
ゲームダイナミクスとの接続を利用して,多様なマルチ校正学習問題に対する最先端の保証を実現する。
論文 参考訳(メタデータ) (2023-02-21T18:24:17Z) - Robust Reinforcement Learning via Genetic Curriculum [5.421464476555662]
遺伝的カリキュラムは、エージェントが現在失敗しているシナリオを自動的に識別し、関連するカリキュラムを生成するアルゴリズムである。
我々の実証研究は、既存の技術アルゴリズムよりも堅牢性の向上を示し、2倍から8倍のエージェントが失敗する確率の低いトレーニングカリキュラムを提供する。
論文 参考訳(メタデータ) (2022-02-17T01:14:20Z) - One Step at a Time: Pros and Cons of Multi-Step Meta-Gradient
Reinforcement Learning [61.662504399411695]
より正確でロバストなメタ勾配信号を持つ複数の内部ステップを混合する新しい手法を提案する。
Snakeゲームに適用した場合、混合メタグラディエントアルゴリズムは、類似または高い性能を達成しつつ、その分散を3倍に削減することができる。
論文 参考訳(メタデータ) (2021-10-30T08:36:52Z) - Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。
本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。
当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
論文 参考訳(メタデータ) (2021-10-29T13:30:42Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳(メタデータ) (2021-07-08T18:01:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。