論文の概要: Chaos persists in large-scale multi-agent learning despite adaptive learning rates

• arxiv url: http://arxiv.org/abs/2306.01032v1
• Date: Thu, 1 Jun 2023 15:57:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 18:31:32.431113
• Title: Chaos persists in large-scale multi-agent learning despite adaptive learning rates
• Title（参考訳）: 適応学習率にもかかわらず大規模マルチエージェント学習におけるカオスの持続
• Authors: Emmanouil-Vasileios Vlatakis-Gkaragkounis, Lampros Flokas and Georgios Piliouras
• Abstract要約: 適応学習率を用いても,大集団の混雑ゲームではカオスが持続することを示す。 我々のアプローチは、動力学の基本的な性質を研究することによって、従来の3つのテクニックであるLi-Yorkeを超越している。
• 参考スコア（独自算出の注目度）: 46.71682514865676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-agent learning is intrinsically harder, more unstable and unpredictable than single agent optimization. For this reason, numerous specialized heuristics and techniques have been designed towards the goal of achieving convergence to equilibria in self-play. One such celebrated approach is the use of dynamically adaptive learning rates. Although such techniques are known to allow for improved convergence guarantees in small games, it has been much harder to analyze them in more relevant settings with large populations of agents. These settings are particularly hard as recent work has established that learning with fixed rates will become chaotic given large enough populations.In this work, we show that chaos persists in large population congestion games despite using adaptive learning rates even for the ubiquitous Multiplicative Weight Updates algorithm, even in the presence of only two strategies. At a technical level, due to the non-autonomous nature of the system, our approach goes beyond conventional period-three techniques Li-Yorke by studying fundamental properties of the dynamics including invariant sets, volume expansion and turbulent sets. We complement our theoretical insights with experiments showcasing that slight variations to system parameters lead to a wide variety of unpredictable behaviors.
• Abstract（参考訳）: マルチエージェント学習は本質的に難しく、単一のエージェント最適化よりも不安定で予測不能である。 このため、多くの専門的なヒューリスティックや技術が自己プレイにおける均衡への収束を達成するために設計されている。 そのような著名なアプローチの1つは、動的適応学習率の使用である。 このような手法は、小規模ゲームにおける収束保証を改善することが知られているが、エージェントの集団でより関連性の高い設定でそれらを分析することはずっと困難である。 本研究は, ユビキタスな乗算重み更新アルゴリズムにおいても, 適応的な学習率を用いても, 人口密集ゲームにおいてカオスが持続することを示すものである。 技術的なレベルでは、システムの非自発的性質から、不変集合、体積展開、乱流集合を含む力学の基本特性を研究することにより、従来の周期 3 技術の li-yorke を超越したアプローチである。 我々は,システムパラメータのわずかな変化が様々な予測不能な振る舞いを引き起こすことを示す実験によって,理論的な洞察を補完する。

関連論文リスト

• Learning Controlled Stochastic Differential Equations [61.82896036131116]
  本研究では,非一様拡散を伴う連続多次元非線形微分方程式のドリフト係数と拡散係数の両方を推定する新しい手法を提案する。 我々は、(L2)、(Linfty)の有限サンプル境界や、係数の正則性に適応する学習率を持つリスクメトリクスを含む、強力な理論的保証を提供する。 当社のメソッドはオープンソースPythonライブラリとして利用可能です。
  論文  参考訳（メタデータ） (2024-11-04T11:09:58Z)
• Improved Differential Evolution based Feature Selection through Quantum, Chaos, and Lasso [4.421086279146014]
  医学において、解釈可能性が非常に重要である場合、特徴部分選択は重要な問題である。 本稿では,量子化メタヒューリスティックスにおける確率変数の代わりにカオス生成変数を導入することにより,その性能が大幅に向上することを示す。 このカオスによって引き起こされる改善は、基礎となる量子インスパイアされたメタヒューリスティック(英語版)の多種多様な変種に対してこれを実証することで一般的な現象であることを示す。
  論文  参考訳（メタデータ） (2024-08-20T09:46:11Z)
• Overestimation, Overfitting, and Plasticity in Actor-Critic: the Bitter Lesson of Reinforcement Learning [1.0762853848552156]
  我々は60以上の異なる非政治エージェントを実装し、それぞれが最新の最先端アルゴリズムから確立された正規化技術を統合する。 これらのエージェントは,2つのシミュレーションベンチマークから,過大評価,過度適合,可塑性損失に関連するトレーニング指標を測定した。 ソフトアクター・クライブエージェントは、適切に正規化され、トレーニング体制内でより優れたパフォーマンスのポリシーを確実に見つける。
  論文  参考訳（メタデータ） (2024-03-01T13:25:10Z)
• Multi-Agent Quantum Reinforcement Learning using Evolutionary Optimization [7.305065320738301]
  我々は、勾配のない量子強化学習のための既存のアプローチを構築し、マルチエージェント強化学習のための変分量子回路を用いた3つの遺伝的バリエーションを提案する。 我々は、トレーニング可能なパラメータの量に類似したニューラルネットワークと比較して、変動量子回路のアプローチが大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-09T17:45:32Z)
• An Adaptive Fuzzy Reinforcement Learning Cooperative Approach for the Autonomous Control of Flock Systems [4.961066282705832]
  この研究は、群集システムの自律制御に適応的な分散ロバスト性技術を導入している。 比較的柔軟な構造は、様々な目的を同時に狙うオンラインファジィ強化学習スキームに基づいている。 動的障害に直面した場合のレジリエンスに加えて、アルゴリズムはフィードバック信号としてエージェントの位置以上のものを必要としない。
  論文  参考訳（メタデータ） (2023-03-17T13:07:35Z)
• Safe Multi-agent Learning via Trapping Regions [89.24858306636816]
  我々は、動的システムの定性理論から知られているトラップ領域の概念を適用し、分散学習のための共同戦略空間に安全セットを作成する。 本稿では,既知の学習力学を持つシステムにおいて,候補がトラップ領域を形成することを検証するための二分分割アルゴリズムと,学習力学が未知のシナリオに対するサンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-27T14:47:52Z)
• A Unifying Perspective on Multi-Calibration: Game Dynamics for Multi-Objective Learning [63.20009081099896]
  マルチキャリブレーション予測器の設計と解析のための統一フレームワークを提供する。 ゲームダイナミクスとの接続を利用して,多様なマルチ校正学習問題に対する最先端の保証を実現する。
  論文  参考訳（メタデータ） (2023-02-21T18:24:17Z)
• Robust Reinforcement Learning via Genetic Curriculum [5.421464476555662]
  遺伝的カリキュラムは、エージェントが現在失敗しているシナリオを自動的に識別し、関連するカリキュラムを生成するアルゴリズムである。 我々の実証研究は、既存の技術アルゴリズムよりも堅牢性の向上を示し、2倍から8倍のエージェントが失敗する確率の低いトレーニングカリキュラムを提供する。
  論文  参考訳（メタデータ） (2022-02-17T01:14:20Z)
• Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
  入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。 本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。 当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
  論文  参考訳（メタデータ） (2021-10-29T13:30:42Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。