論文の概要: Architectural Influence on Variational Quantum Circuits in Multi-Agent Reinforcement Learning: Evolutionary Strategies for Optimization
- arxiv url: http://arxiv.org/abs/2407.20739v1
- Date: Tue, 30 Jul 2024 11:16:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 17:30:03.431030
- Title: Architectural Influence on Variational Quantum Circuits in Multi-Agent Reinforcement Learning: Evolutionary Strategies for Optimization
- Title(参考訳): マルチエージェント強化学習における変分量子回路のアーキテクチャ的影響:最適化のための進化的戦略
- Authors: Michael Kölle, Karola Schneider, Sabrina Egger, Felix Topp, Thomy Phan, Philipp Altmann, Jonas Nüßlein, Claudia Linnhoff-Popien,
- Abstract要約: 本稿では,ゲートベース,層ベース,プロトタイプベースの概念を用いて量子回路を変更・再結合する手法を提案する。
本研究は,変異のみの戦略とゲートベースアプローチに最適な性能を示す。
特に,コインゲーム環境での評価において,より優れたスコア,より高い総数,自己のコイン,そして最高のエージェントに対する優れた自己のコインレートを観察する。
- 参考スコア(独自算出の注目度): 5.7918970571149835
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, Multi-Agent Reinforcement Learning (MARL) has found application in numerous areas of science and industry, such as autonomous driving, telecommunications, and global health. Nevertheless, MARL suffers from, for instance, an exponential growth of dimensions. Inherent properties of quantum mechanics help to overcome these limitations, e.g., by significantly reducing the number of trainable parameters. Previous studies have developed an approach that uses gradient-free quantum Reinforcement Learning and evolutionary optimization for variational quantum circuits (VQCs) to reduce the trainable parameters and avoid barren plateaus as well as vanishing gradients. This leads to a significantly better performance of VQCs compared to classical neural networks with a similar number of trainable parameters and a reduction in the number of parameters by more than 97 \% compared to similarly good neural networks. We extend an approach of K\"olle et al. by proposing a Gate-Based, a Layer-Based, and a Prototype-Based concept to mutate and recombine VQCs. Our results show the best performance for mutation-only strategies and the Gate-Based approach. In particular, we observe a significantly better score, higher total and own collected coins, as well as a superior own coin rate for the best agent when evaluated in the Coin Game environment.
- Abstract(参考訳): 近年、MARL(Multi-Agent Reinforcement Learning)は、自律運転、電気通信、グローバルヘルスなど、科学や産業の様々な分野に応用されている。
それでも、MARLは例えば、次元の指数的な成長に悩まされている。
量子力学の遺伝的性質は、トレーニング可能なパラメータの数を著しく減少させることで、これらの制限を克服する助けとなる。
従来の研究では、勾配のない量子強化学習と変分量子回路(VQC)の進化的最適化を用いて、トレーニング可能なパラメータを減らし、不規則な台地を避け、勾配を消滅させるアプローチが開発されている。
これにより、トレーニング可能なパラメータの数に類似する古典的ニューラルネットワークと比較して、VQCのパフォーマンスが大幅に向上し、同様に優れたニューラルネットワークに比べてパラメータ数が97 \%以上減少する。
我々は、ゲートベース、レイヤベース、プロトタイプベースの概念を提案して、VQCを変更・再結合することで、K\"olle et al"のアプローチを拡張する。
本研究は,変異のみの戦略とゲートベースアプローチに最適な性能を示す。
特に,コインゲーム環境での評価において,より優れたスコア,より高い総数,自己のコイン,そして最高のエージェントに対する優れた自己のコインレートを観察する。
関連論文リスト
- Evolutionary-enhanced quantum supervised learning model [0.0]
本研究は,進化的アンサッツフリー教師あり学習モデルを提案する。
パラメタライズド回路とは対照的に、われわれのモデルはエリート的手法によって進化する可変位相を持つ回路を用いる。
我々のフレームワークは不毛の台地を避けることに成功し、結果としてモデルの精度が向上した。
論文 参考訳(メタデータ) (2023-11-14T11:08:47Z) - Multi-Agent Quantum Reinforcement Learning using Evolutionary
Optimization [7.305065320738301]
我々は、勾配のない量子強化学習のための既存のアプローチを構築し、マルチエージェント強化学習のための変分量子回路を用いた3つの遺伝的バリエーションを提案する。
我々は、トレーニング可能なパラメータの量に類似したニューラルネットワークと比較して、変動量子回路のアプローチが大幅に優れていることを示す。
論文 参考訳(メタデータ) (2023-11-09T17:45:32Z) - Learning to learn with an evolutionary strategy applied to variational
quantum algorithms [0.0]
変分量子アルゴリズム(VQA)は、コスト関数を最小化するために古典的手法を用いて最適化された$U$でパラメータ化された量子回路を用いる。
本稿では,LLES(Learning to Learn with an Evolutionary Strategy')という新しい最適化手法を紹介する。
LLESは最適化を学習問題として扱い、繰り返しニューラルネットワークを用いてVQAパラメータを反復的に提案する。
論文 参考訳(メタデータ) (2023-10-26T13:55:01Z) - Domain Generalization Guided by Gradient Signal to Noise Ratio of
Parameters [69.24377241408851]
ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。
本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
論文 参考訳(メタデータ) (2023-10-11T10:21:34Z) - Weight Re-Mapping for Variational Quantum Algorithms [54.854986762287126]
変動量子回路(VQC)における重み付けの考え方を紹介する。
我々は,8つの分類データセットに対する影響を評価するために,7つの異なる重み再マッピング関数を用いる。
以上の結果から,重量再マッピングによりVQCの収束速度が向上することが示唆された。
論文 参考訳(メタデータ) (2023-06-09T09:42:21Z) - Classical-to-Quantum Transfer Learning Facilitates Machine Learning with Variational Quantum Circuit [62.55763504085508]
本稿では,変分量子回路(VQC)を用いた古典的量子移動学習アーキテクチャにより,VQCモデルの表現と一般化(推定誤差)が向上することを証明する。
古典-量子遷移学習のアーキテクチャは、事前学習された古典的生成AIモデルを活用し、訓練段階におけるVQCの最適パラメータの発見を容易にする。
論文 参考訳(メタデータ) (2023-05-18T03:08:18Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳(メタデータ) (2021-07-08T18:01:02Z) - Quantum agents in the Gym: a variational quantum algorithm for deep
Q-learning [0.0]
本稿では、離散的かつ連続的な状態空間に対するRLタスクを解くために使用できるパラメタライズド量子回路(PQC)のトレーニング手法を提案する。
量子Q学習エージェントのどのアーキテクチャ選択が、特定の種類の環境をうまく解決するのに最も重要であるかを検討する。
論文 参考訳(メタデータ) (2021-03-28T08:57:22Z) - Natural Evolutionary Strategies for Variational Quantum Computation [0.7874708385247353]
自然進化戦略 (NES) は勾配のないブラックボックス最適化アルゴリズムの一群である。
本研究では、無作為化パラメトリゼーション量子回路(PQC)の減衰勾配領域における最適化への応用について述べる。
論文 参考訳(メタデータ) (2020-11-30T21:23:38Z) - Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。
AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。
本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文 参考訳(メタデータ) (2020-10-21T14:49:00Z) - Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。
我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。
すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文 参考訳(メタデータ) (2020-10-01T18:14:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。