論文の概要: Unentangled quantum reinforcement learning agents in the OpenAI Gym
- arxiv url: http://arxiv.org/abs/2203.14348v1
- Date: Sun, 27 Mar 2022 16:59:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-20 17:01:07.642172
- Title: Unentangled quantum reinforcement learning agents in the OpenAI Gym
- Title(参考訳): OpenAI領域における無絡量子強化学習エージェント
- Authors: Jen-Yueh Hsiao, Yuxuan Du, Wei-Yin Chiang, Min-Hsiu Hsieh, and
Hsi-Sheng Goan
- Abstract要約: 量子RLの収束速度は古典的RLよりも優れていることを示す。
我々はOpenAI GymでLunarLanderのタスクを完了できる最初の量子RLエージェントを訓練する。
- 参考スコア(独自算出の注目度): 9.878032825414293
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Classical reinforcement learning (RL) has generated excellent results in
different regions; however, its sample inefficiency remains a critical issue.
In this paper, we provide concrete numerical evidence that the sample
efficiency (the speed of convergence) of quantum RL could be better than that
of classical RL, and for achieving comparable learning performance, quantum RL
could use much (at least one order of magnitude) fewer trainable parameters
than classical RL. Specifically, we employ the popular benchmarking
environments of RL in the OpenAI Gym, and show that our quantum RL agent
converges faster than classical fully-connected neural networks (FCNs) in the
tasks of CartPole and Acrobot under the same optimization process. We also
successfully train the first quantum RL agent that can complete the task of
LunarLander in the OpenAI Gym. Our quantum RL agent only requires a
single-qubit-based variational quantum circuit without entangling gates,
followed by a classical neural network (NN) to post-process the measurement
output. Finally, we could accomplish the aforementioned tasks on the real IBM
quantum machines. To the best of our knowledge, none of the earlier quantum RL
agents could do that.
- Abstract(参考訳): 古典的強化学習(RL)は様々な地域で優れた成果を上げているが、そのサンプルの非効率性は依然として重要な問題である。
本稿では,量子rlのサンプル効率(収束速度)が古典的rlよりも優れていることを示す具体的な数値的証拠を提供するとともに,同等の学習性能を達成するために,量子rlは古典的rlよりも多くの(少なくとも1桁の)訓練可能なパラメータを使用することができた。
具体的には、openaiジムで人気のあるrlベンチマーク環境を採用し、同じ最適化プロセスでcartopoleとacrobotのタスクにおいて、我々の量子rlエージェントが従来の完全接続ニューラルネットワーク(fcns)よりも高速に収束することを示す。
また、OpenAI GymでLunarLanderのタスクを完了できる最初の量子RLエージェントのトレーニングに成功した。
我々の量子RLエージェントは、ゲートを絡めることなく単一量子ビットベースの変動量子回路を必要とし、次に古典的ニューラルネットワーク(NN)で測定出力を後処理する。
最後に、実際のIBM量子マシン上で、上記のタスクを達成できます。
我々の知る限りでは、初期の量子RLエージェントは誰もそれをできなかった。
関連論文リスト
- Efficient Learning for Linear Properties of Bounded-Gate Quantum Circuits [63.733312560668274]
d可変RZゲートとG-dクリフォードゲートを含む量子回路を与えられた場合、学習者は純粋に古典的な推論を行い、その線形特性を効率的に予測できるだろうか?
我々は、d で線形にスケーリングするサンプルの複雑さが、小さな予測誤差を達成するのに十分であり、対応する計算の複雑さは d で指数関数的にスケールすることを証明する。
我々は,予測誤差と計算複雑性をトレードオフできるカーネルベースの学習モデルを考案し,多くの実践的な環境で指数関数からスケーリングへ移行した。
論文 参考訳(メタデータ) (2024-08-22T08:21:28Z) - Hype or Heuristic? Quantum Reinforcement Learning for Join Order Optimisation [5.373015313199384]
最適な結合順序(JO)を特定することは、データベースの研究とエンジニアリングにおいて重要な課題である。
近年, JO の強化学習 (RL) の研究開発に成功している。
本稿では,交互変分量子アンサッツに基づく量子強化学習(QRL)をJOに適用した新しい手法を提案する。
論文 参考訳(メタデータ) (2024-05-13T14:14:12Z) - A Quantum-Classical Collaborative Training Architecture Based on Quantum
State Fidelity [50.387179833629254]
我々は,コ・テンク (co-TenQu) と呼ばれる古典量子アーキテクチャを導入する。
Co-TenQuは古典的なディープニューラルネットワークを41.72%まで向上させる。
他の量子ベースの手法よりも1.9倍も優れており、70.59%少ない量子ビットを使用しながら、同様の精度を達成している。
論文 参考訳(メタデータ) (2024-02-23T14:09:41Z) - QuantumSEA: In-Time Sparse Exploration for Noise Adaptive Quantum
Circuits [82.50620782471485]
QuantumSEAはノイズ適応型量子回路のインタイムスパース探索である。
1)トレーニング中の暗黙の回路容量と(2)雑音の頑健さの2つの主要な目標を達成することを目的としている。
提案手法は, 量子ゲート数の半減と回路実行の2倍の時間節約で, 最先端の計算結果を確立する。
論文 参考訳(メタデータ) (2024-01-10T22:33:00Z) - Quantum Imitation Learning [74.15588381240795]
本稿では、量子優位性を利用してILを高速化する量子模倣学習(QIL)を提案する。
量子行動クローニング(Q-BC)と量子生成逆模倣学習(Q-GAIL)という2つのQILアルゴリズムを開発した。
実験結果から,Q-BCとQ-GAILの両者が,従来のものと同等の性能を達成できることが判明した。
論文 参考訳(メタデータ) (2023-04-04T12:47:35Z) - Asynchronous training of quantum reinforcement learning [0.8702432681310399]
変分量子回路(VQC)による量子RLエージェント構築の先導的手法
本稿では,QRLエージェントを非同期トレーニングすることで,この問題に対処する。
検討したタスクにおいて,QRLエージェントの非同期トレーニングが性能に匹敵するか,優れているかを数値シミュレーションで示す。
論文 参考訳(メタデータ) (2023-01-12T15:54:44Z) - Quantum deep recurrent reinforcement learning [0.8702432681310399]
強化学習(Reinforcement Learning、RL)は、複雑なシーケンシャルな意思決定問題を解決するために使用できる機械学習(ML)パラダイムの1つである。
QRLエージェントのコアとなるために、量子長短期メモリ(QLSTM)を構築し、Q$-learningでモデル全体をトレーニングします。
QLSTM-DRQNは従来のDRQNよりも安定で平均スコアの高いCart-Poleのような標準ベンチマークを解くことができる。
論文 参考訳(メタデータ) (2022-10-26T17:29:19Z) - Quantum Deep Reinforcement Learning for Robot Navigation Tasks [2.6999000177990924]
ハイブリッド量子古典的強化学習装置における量子回路は、複数のロボットナビゲーションシナリオにおいて最適なポリシーを学習可能であることを示す。
応用量子回路は、トレーニング可能なパラメータの数に等しくなると、古典的ニューラルネットワークのベースラインを上回っていることがわかった。
論文 参考訳(メタデータ) (2022-02-24T16:26:23Z) - Variational Quantum Reinforcement Learning via Evolutionary Optimization [0.0]
グラデーションフリーな進化最適化を用いた深部量子RLタスクの2つのフレームワークを提案する。
本稿では,量子RLエージェントにTN-VQCアーキテクチャを組み込んだハイブリッドフレームワークを提案する。
これにより、147次元の入力でMiniGrid環境で量子RLを実行することができる。
論文 参考訳(メタデータ) (2021-09-01T16:36:04Z) - A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。
MNIST画像データセットがそのような条件を満たすことを数値的に示す。
我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
論文 参考訳(メタデータ) (2021-07-19T23:41:03Z) - Experimental Quantum Generative Adversarial Networks for Image
Generation [93.06926114985761]
超伝導量子プロセッサを用いた実世界の手書き桁画像の学習と生成を実験的に行う。
我々の研究は、短期量子デバイス上での高度な量子生成モデル開発のためのガイダンスを提供する。
論文 参考訳(メタデータ) (2020-10-13T06:57:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。