論文の概要: Training Diverse High-Dimensional Controllers by Scaling Covariance Matrix Adaptation MAP-Annealing

• arxiv url: http://arxiv.org/abs/2210.02622v3
• Date: Sat, 16 Sep 2023 02:17:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 01:31:46.466184
• Title: Training Diverse High-Dimensional Controllers by Scaling Covariance Matrix Adaptation MAP-Annealing
• Title（参考訳）: Covariance Matrix Adaptation MAP-Annealing による多次元制御系の訓練
• Authors: Bryon Tjanaka, Matthew C. Fontaine, David H. Lee, Aniruddha Kalkar, Stefanos Nikolaidis
• Abstract要約: シミュレーションでさまざまなニューラルネットワークコントローラを事前トレーニングすることで、ロボットはロボットの移動タスクの損傷にオンラインで適応することが可能になった。 進化戦略(ES)に基づく品質多様性アルゴリズムであるCMA-MAEは、これらの制限を持たず、標準的なQDベンチマークで最先端のパフォーマンスを達成した。 我々は高次元にスケールする3つの新しいCMA-MAE変種を提案する。
• 参考スコア（独自算出の注目度）: 12.90845054806193
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-training a diverse set of neural network controllers in simulation has enabled robots to adapt online to damage in robot locomotion tasks. However, finding diverse, high-performing controllers requires expensive network training and extensive tuning of a large number of hyperparameters. On the other hand, Covariance Matrix Adaptation MAP-Annealing (CMA-MAE), an evolution strategies (ES)-based quality diversity algorithm, does not have these limitations and has achieved state-of-the-art performance on standard QD benchmarks. However, CMA-MAE cannot scale to modern neural network controllers due to its quadratic complexity. We leverage efficient approximation methods in ES to propose three new CMA-MAE variants that scale to high dimensions. Our experiments show that the variants outperform ES-based baselines in benchmark robotic locomotion tasks, while being comparable with or exceeding state-of-the-art deep reinforcement learning-based quality diversity algorithms.
• Abstract（参考訳）: シミュレーションでさまざまなニューラルネットワークコントローラを事前トレーニングすることで、ロボットのロコモーションタスクの損傷に対するオンライン適応が可能になる。 しかし、多様で高性能なコントローラを見つけるには、高価なネットワークトレーニングと多数のハイパーパラメータの広範なチューニングが必要となる。 一方,進化戦略(es)に基づく品質多様性アルゴリズムである共分散行列適応map-annealing (cma-mae) は,このような制限がなく,標準qdベンチマークで最先端の性能を達成している。 しかし、CMA-MAEは2次複雑さのため、現代のニューラルネットワークコントローラにはスケールできない。 我々はESにおける効率的な近似手法を活用し、高次元にスケールする3つの新しいCMA-MAE変種を提案する。 実験では,ロボットの歩行タスクにおいて,esベースのベースラインを上回っており,最先端の深層強化学習に基づく品質多様性アルゴリズムに匹敵する。

関連論文リスト

• RTF-Q: Efficient Unsupervised Domain Adaptation with Retraining-free Quantization [14.447148108341688]
  ReTraining-Free Quantization (RTF-Q) を用いた効率的な非教師なし領域適応法を提案する。 提案手法では,計算コストの異なる低精度量子化アーキテクチャを用い,動的予算を持つデバイスに適用する。 提案するネットワークは,3つのベンチマークにおける最先端手法との競合精度を実証する。
  論文  参考訳（メタデータ） (2024-08-11T11:53:29Z)
• RLEEGNet: Integrating Brain-Computer Interfaces with Adaptive AI for Intuitive Responsiveness and High-Accuracy Motor Imagery Classification [0.0]
  本稿では,Deep Q-Networks (DQN) を用いた強化学習を分類タスクに活用するフレームワークを提案する。 本稿では,OVR(One-Versus-The-Rest)方式で,マルチクラス運動画像(MI)分類のための前処理手法を提案する。 DQNと1D-CNN-LSTMアーキテクチャの統合は意思決定プロセスをリアルタイムで最適化する。
  論文  参考訳（メタデータ） (2024-02-09T02:03:13Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Intelligent Trajectory Design for RIS-NOMA aided Multi-robot Communications [59.34642007625687]
  目的は,ロボットの軌道とNOMA復号命令を協調的に最適化することで,マルチロボットシステムにおける全軌道の総和率を最大化することである。 ARIMAモデルとDouble Deep Q-network (D$3$QN)アルゴリズムを組み合わせたML方式を提案する。
  論文  参考訳（メタデータ） (2022-05-03T17:14:47Z)
• Collaborative Intelligent Reflecting Surface Networks with Multi-Agent Reinforcement Learning [63.83425382922157]
  インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。 本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
  論文  参考訳（メタデータ） (2022-03-26T20:37:14Z)
• Hierarchical Multi-Agent DRL-Based Framework for Joint Multi-RAT Assignment and Dynamic Resource Allocation in Next-Generation HetNets [21.637440368520487]
  本稿では,次世代無線ネットワーク(HetNets)における共同最適無線アクセス技術(RATs)の割り当てと電力割り当てによるコストアウェアダウンリンク総和率の問題について考察する。 本稿では,DeepRAT(DeepRAT)と呼ばれる階層型多エージェント深層強化学習(DRL)フレームワークを提案する。 特に、DeepRATフレームワークは、問題を2つの主要なステージに分解する: 単一エージェントのDeep Q Networkアルゴリズムを実装するRATs-EDs割り当てステージと、マルチエージェントのDeep Deterministic Policy Gradientを利用するパワー割り当てステージである。
  論文  参考訳（メタデータ） (2022-02-28T09:49:44Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Competitiveness of MAP-Elites against Proximal Policy Optimization on locomotion tasks in deterministic simulations [1.827510863075184]
  我々は,Phenotype Elites (MAP-Elites) の多次元アーカイブが,最先端のRL手法よりも優れた性能を実現することを示す。 本稿では、EAと現代の計算資源を組み合わせることで、有望な特性を示すことを示す。
  論文  参考訳（メタデータ） (2020-09-17T17:41:46Z)
• Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
  我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。 我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-07-27T12:38:37Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Scaling MAP-Elites to Deep Neuroevolution [5.332714036560255]
  本稿では、進化戦略(ES)の効率を利用してMAP-Elitesを大規模ニューラルネットワークでパラメータ化した高次元コントローラに拡張することを提案する。 我々は,ME-ESが高次元制御タスクにおける最先端探索アルゴリズムと同等に効率的な探索を行うことを示す。
  論文  参考訳（メタデータ） (2020-03-03T23:02:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。