論文の概要: Quantum agents in the Gym: a variational quantum algorithm for deep Q-learning

• arxiv url: http://arxiv.org/abs/2103.15084v3
• Date: Mon, 16 May 2022 15:53:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-06 08:12:00.158901
• Title: Quantum agents in the Gym: a variational quantum algorithm for deep Q-learning
• Title（参考訳）: ジムにおける量子エージェント:深層q学習のための変分量子アルゴリズム
• Authors: Andrea Skolik, Sofiene Jerbi, Vedran Dunjko
• Abstract要約: 本稿では、離散的かつ連続的な状態空間に対するRLタスクを解くために使用できるパラメタライズド量子回路(PQC)のトレーニング手法を提案する。 量子Q学習エージェントのどのアーキテクチャ選択が、特定の種類の環境をうまく解決するのに最も重要であるかを検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantum machine learning (QML) has been identified as one of the key fields that could reap advantages from near-term quantum devices, next to optimization and quantum chemistry. Research in this area has focused primarily on variational quantum algorithms (VQAs), and several proposals to enhance supervised, unsupervised and reinforcement learning (RL) algorithms with VQAs have been put forward. Out of the three, RL is the least studied and it is still an open question whether VQAs can be competitive with state-of-the-art classical algorithms based on neural networks (NNs) even on simple benchmark tasks. In this work, we introduce a training method for parametrized quantum circuits (PQCs) that can be used to solve RL tasks for discrete and continuous state spaces based on the deep Q-learning algorithm. We investigate which architectural choices for quantum Q-learning agents are most important for successfully solving certain types of environments by performing ablation studies for a number of different data encoding and readout strategies. We provide insight into why the performance of a VQA-based Q-learning algorithm crucially depends on the observables of the quantum model and show how to choose suitable observables based on the learning task at hand. To compare our model against the classical DQN algorithm, we perform an extensive hyperparameter search of PQCs and NNs with varying numbers of parameters. We confirm that similar to results in classical literature, the architectural choices and hyperparameters contribute more to the agents' success in a RL setting than the number of parameters used in the model. Finally, we show when recent separation results between classical and quantum agents for policy gradient RL can be extended to inferring optimal Q-values in restricted families of environments.
• Abstract（参考訳）: 量子機械学習(QML)は、最適化と量子化学に次いで、短期的な量子デバイスから利点を享受できる重要な分野の1つとして特定されている。 この領域の研究は主に変分量子アルゴリズム(VQA)に焦点を当てており、教師付き、教師なし、強化学習(RL)アルゴリズムをVQAで強化するいくつかの提案が進められている。 3つのうち、RLは最小限の研究であり、VQAが単純なベンチマークタスクであっても、ニューラルネットワーク(NN)に基づく最先端の古典的アルゴリズムと競合できるかどうか、まだ明らかな疑問である。 本研究では,離散的かつ連続的な状態空間に対するRLタスクを深部Q-ラーニングアルゴリズムに基づいて解くために,パラメータ化量子回路(PQC)のトレーニング手法を提案する。 量子Q学習エージェントのアーキテクチャ選択は、様々なデータエンコーディングと読み出し戦略のためのアブレーション研究を行うことにより、特定の種類の環境をうまく解決する上で最も重要であるかを検討する。 vqaベースのq-learningアルゴリズムのパフォーマンスが量子モデルの可観測性に大きく依存する理由を考察し、学習タスクに基づいて適切な可観測性を選択する方法を示す。 古典的DQNアルゴリズムと比較するために,PQCとNNをパラメータ数で拡張したハイパーパラメータ探索を行う。 古典文学の結果と同様、設計上の選択やハイパーパラメータは、モデルで使用されるパラメータの数よりもRL設定におけるエージェントの成功に寄与することを確認した。 最後に、政策勾配RLに対する古典的および量子的エージェント間の最近の分離結果が、制限された環境群における最適Q値の推測にまで拡張可能であることを示す。

関連論文リスト

• Leveraging Pre-Trained Neural Networks to Enhance Machine Learning with Variational Quantum Circuits [48.33631905972908]
  我々は、事前学習されたニューラルネットワークを用いて変分量子回路(VQC)を強化する革新的なアプローチを導入する。 この手法は近似誤差をキュービット数から効果的に分離し、制約条件の必要性を除去する。 我々の結果はヒトゲノム解析などの応用にまで拡張され、我々のアプローチの幅広い適用性を示している。
  論文  参考訳（メタデータ） (2024-11-13T12:03:39Z)
• Quantum Subroutine for Variance Estimation: Algorithmic Design and Applications [80.04533958880862]
  量子コンピューティングは、アルゴリズムを設計する新しい方法の基礎となる。 どの場の量子スピードアップが達成できるかという新たな課題が生じる。 量子サブルーチンの設計は、従来のサブルーチンよりも効率的で、新しい強力な量子アルゴリズムに固い柱を向ける。
  論文  参考訳（メタデータ） (2024-02-26T09:32:07Z)
• Unifying (Quantum) Statistical and Parametrized (Quantum) Algorithms [65.268245109828]
  我々はカーンズのSQオラクルとヴァリアントの弱い評価オラクルからインスピレーションを得ます。 評価クエリから学習するための非条件の下限を出力する,広範かつ直感的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-26T18:23:21Z)
• Variational Quantum Approximate Spectral Clustering for Binary Clustering Problems [0.7550566004119158]
  本稿では,変分量子近似スペクトルクラスタリング(VQASC)アルゴリズムを提案する。 VQASCは、伝統的に古典的な問題で必要とされるシステムサイズ、Nよりも少ないパラメータの最適化を必要とする。 合成と実世界の両方のデータセットから得られた数値結果について述べる。
  論文  参考訳（メタデータ） (2023-09-08T17:54:42Z)
• QNEAT: Natural Evolution of Variational Quantum Circuit Architecture [95.29334926638462]
  我々は、ニューラルネットワークの量子対する最も有望な候補として登場した変分量子回路(VQC)に注目した。 有望な結果を示す一方で、バレン高原、重みの周期性、アーキテクチャの選択など、さまざまな問題のために、VQCのトレーニングは困難である。 本稿では,VQCの重みとアーキテクチャの両方を最適化するために,自然進化にインスパイアされた勾配のないアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-14T08:03:20Z)
• Quantum Imitation Learning [74.15588381240795]
  本稿では、量子優位性を利用してILを高速化する量子模倣学習(QIL)を提案する。 量子行動クローニング(Q-BC)と量子生成逆模倣学習(Q-GAIL)という2つのQILアルゴリズムを開発した。 実験結果から,Q-BCとQ-GAILの両者が,従来のものと同等の性能を達成できることが判明した。
  論文  参考訳（メタデータ） (2023-04-04T12:47:35Z)
• Quantum deep recurrent reinforcement learning [0.8702432681310399]
  強化学習(Reinforcement Learning、RL)は、複雑なシーケンシャルな意思決定問題を解決するために使用できる機械学習(ML)パラダイムの1つである。 QRLエージェントのコアとなるために、量子長短期メモリ(QLSTM)を構築し、Q$-learningでモデル全体をトレーニングします。 QLSTM-DRQNは従来のDRQNよりも安定で平均スコアの高いCart-Poleのような標準ベンチマークを解くことができる。
  論文  参考訳（メタデータ） (2022-10-26T17:29:19Z)
• Evolutionary Quantum Architecture Search for Parametrized Quantum Circuits [7.298440208725654]
  本稿では,PQCモデルのための進化的量子アーキテクチャ探索フレームワークであるEQAS-PQCを紹介する。 提案手法は,ハイブリッド量子古典モデルの性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-08-23T19:47:37Z)
• Uncovering Instabilities in Variational-Quantum Deep Q-Networks [0.0]
  変動量子深度Q-networks (VQ-DQN) は、学習ポリシーが分岐する不安定な状態にあることを示す。 我々は、実量子処理ユニット(IBM量子デバイス)上でRLアルゴリズムを実行し、シミュレーションされた量子システムと物理量子システムの振る舞いの違いを調査する。
  論文  参考訳（メタデータ） (2022-02-10T17:52:44Z)
• Neural Predictor based Quantum Architecture Search [15.045985536395479]
  変分量子アルゴリズム(VQA)は、短期的には量子古典的ハイブリッド計算パラダイムの下で現実的な問題に対して量子的優位性をもたらすと広く推測されている。 本研究では,量子アーキテクチャ探索(QAS)の評価ポリシーとしてニューラルネットワークに基づく予測器を提案する。
  論文  参考訳（メタデータ） (2021-03-11T08:26:12Z)
• Quantum circuit architecture search for variational quantum algorithms [88.71725630554758]
  本稿では、QAS(Quantum Architecture Search)と呼ばれるリソースと実行時の効率的なスキームを提案する。 QASは、よりノイズの多い量子ゲートを追加することで得られる利点と副作用のバランスをとるために、自動的にほぼ最適アンサッツを求める。 数値シミュレータと実量子ハードウェアの両方に、IBMクラウドを介してQASを実装し、データ分類と量子化学タスクを実現する。
  論文  参考訳（メタデータ） (2020-10-20T12:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。