論文の概要: Uncovering Instabilities in Variational-Quantum Deep Q-Networks
- arxiv url: http://arxiv.org/abs/2202.05195v1
- Date: Thu, 10 Feb 2022 17:52:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-11 16:23:51.873424
- Title: Uncovering Instabilities in Variational-Quantum Deep Q-Networks
- Title（参考訳）: 変分量子深部Qネットワークにおける不安定性の解明
- Authors: Maja Franz (1), Lucas Wolf (1), Maniraman Periyasamy (2), Christian
Ufrecht (2), Daniel D. Scherer (2), Axel Plinge (2), Christopher Mutschler
(2), Wolfgang Mauerer (1,3) ((1) Technical University of Applied Sciences,
Regensburg, Germany, (2) Fraunhofer-IIS, Fraunhofer Institute for Integrated
Circuits IIS, Division Positioning and Networks, Nuremberg, Germany, (3)
Siemens AG, Corporate Research, Munich, Germany)
- Abstract要約: 変動量子深度Q-networks (VQ-DQN) は、学習ポリシーが分岐する不安定な状態にあることを示す。
我々は、実量子処理ユニット(IBM量子デバイス)上でRLアルゴリズムを実行し、シミュレーションされた量子システムと物理量子システムの振る舞いの違いを調査する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Reinforcement Learning (RL) has considerably advanced over the past
decade. At the same time, state-of-the-art RL algorithms require a large
computational budget in terms of training time to converge. Recent work has
started to approach this problem through the lens of quantum computing, which
promises theoretical speed-ups for several traditionally hard tasks. In this
work, we examine a class of hybrid quantumclassical RL algorithms that we
collectively refer to as variational quantum deep Q-networks (VQ-DQN). We show
that VQ-DQN approaches are subject to instabilities that cause the learned
policy to diverge, study the extent to which this afflicts reproduciblity of
established results based on classical simulation, and perform systematic
experiments to identify potential explanations for the observed instabilities.
Additionally, and in contrast to most existing work on quantum reinforcement
learning, we execute RL algorithms on an actual quantum processing unit (an IBM
Quantum Device) and investigate differences in behaviour between simulated and
physical quantum systems that suffer from implementation deficiencies. Our
experiments show that, contrary to opposite claims in the literature, it cannot
be conclusively decided if known quantum approaches, even if simulated without
physical imperfections, can provide an advantage as compared to classical
approaches. Finally, we provide a robust, universal and well-tested
implementation of VQ-DQN as a reproducible testbed for future experiments.
- Abstract（参考訳）: 深層強化学習(rl)は過去10年間でかなり進歩してきた。
同時に、最先端のRLアルゴリズムは、収束するトレーニング時間の観点から大きな計算予算を必要とする。
最近の研究は量子コンピューティングのレンズを通じてこの問題にアプローチし始めており、これは伝統的に難しいタスクの理論的スピードアップを約束している。
本研究では,変分量子深層q-networks (vq-dqn) と呼ぶハイブリッド量子古典型rlアルゴリズムのクラスについて検討する。
本研究は,vq-dqnの手法が,学習方針のばらつきを引き起こす不安定性,古典的シミュレーションに基づく確立された結果の再現性に苦しむ程度,観察された不安定性に対する潜在的な説明を同定するための系統的実験を行うものであることを示す。
さらに、量子強化学習に関するほとんどの研究とは対照的に、実際の量子処理ユニット(ibm量子デバイス)上でrlアルゴリズムを実行し、実装の欠陥に苦しむシミュレーション量子システムと物理量子システムの動作の違いを調査した。
我々の実験は、文献の反対の主張とは対照的に、既知の量子アプローチが物理的不完全性のないシミュレートされたとしても、古典的なアプローチに比べて有利であるかどうかを決定的に決定できないことを示した。
最後に、VQ-DQNの堅牢で普遍的で十分に検証された実装を、将来の実験のための再現可能なテストベッドとして提供する。
関連論文リスト
- Efficient Learning for Linear Properties of Bounded-Gate Quantum Circuits [63.733312560668274]
d可変RZゲートとG-dクリフォードゲートを含む量子回路を与えられた場合、学習者は純粋に古典的な推論を行い、その線形特性を効率的に予測できるだろうか?
我々は、d で線形にスケーリングするサンプルの複雑さが、小さな予測誤差を達成するのに十分であり、対応する計算の複雑さは d で指数関数的にスケールすることを証明する。
我々は,予測誤差と計算複雑性をトレードオフできるカーネルベースの学習モデルを考案し,多くの実践的な環境で指数関数からスケーリングへ移行した。
論文 参考訳（メタデータ） (2024-08-22T08:21:28Z) - Quantum Subroutine for Variance Estimation: Algorithmic Design and Applications [80.04533958880862]
量子コンピューティングは、アルゴリズムを設計する新しい方法の基礎となる。
どの場の量子スピードアップが達成できるかという新たな課題が生じる。
量子サブルーチンの設計は、従来のサブルーチンよりも効率的で、新しい強力な量子アルゴリズムに固い柱を向ける。
論文 参考訳（メタデータ） (2024-02-26T09:32:07Z) - Quafu-RL: The Cloud Quantum Computers based Quantum Reinforcement
Learning [0.0]
本研究は,BAQIS Quafu量子コンピューティングクラウド上で,少なくとも136量子ビットを備えた実デバイス上で,ベンチマーク量子強化問題を実行するための第一歩である。
実験の結果,Reinforcement Learning (RL) エージェントはトレーニング段階と推論段階の両方でわずかに緩和された目標を達成することができることがわかった。
論文 参考訳（メタデータ） (2023-05-29T09:13:50Z) - QNEAT: Natural Evolution of Variational Quantum Circuit Architecture [95.29334926638462]
我々は、ニューラルネットワークの量子対する最も有望な候補として登場した変分量子回路(VQC)に注目した。
有望な結果を示す一方で、バレン高原、重みの周期性、アーキテクチャの選択など、さまざまな問題のために、VQCのトレーニングは困難である。
本稿では,VQCの重みとアーキテクチャの両方を最適化するために,自然進化にインスパイアされた勾配のないアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-04-14T08:03:20Z) - Quantum Imitation Learning [74.15588381240795]
本稿では、量子優位性を利用してILを高速化する量子模倣学習(QIL)を提案する。
量子行動クローニング(Q-BC)と量子生成逆模倣学習(Q-GAIL)という2つのQILアルゴリズムを開発した。
実験結果から,Q-BCとQ-GAILの両者が,従来のものと同等の性能を達成できることが判明した。
論文 参考訳（メタデータ） (2023-04-04T12:47:35Z) - Asynchronous training of quantum reinforcement learning [0.8702432681310399]
変分量子回路(VQC)による量子RLエージェント構築の先導的手法
本稿では,QRLエージェントを非同期トレーニングすることで,この問題に対処する。
検討したタスクにおいて,QRLエージェントの非同期トレーニングが性能に匹敵するか,優れているかを数値シミュレーションで示す。
論文 参考訳（メタデータ） (2023-01-12T15:54:44Z) - Quantum algorithms for quantum dynamics: A performance study on the
spin-boson model [68.8204255655161]
量子力学シミュレーションのための量子アルゴリズムは、伝統的に時間進化作用素のトロッター近似の実装に基づいている。
変分量子アルゴリズムは欠かせない代替手段となり、現在のハードウェア上での小規模なシミュレーションを可能にしている。
量子ゲートコストが明らかに削減されているにもかかわらず、現在の実装における変分法は量子的優位性をもたらすことはありそうにない。
論文 参考訳（メタデータ） (2021-08-09T18:00:05Z) - Quantum agents in the Gym: a variational quantum algorithm for deep
Q-learning [0.0]
本稿では、離散的かつ連続的な状態空間に対するRLタスクを解くために使用できるパラメタライズド量子回路(PQC)のトレーニング手法を提案する。
量子Q学習エージェントのどのアーキテクチャ選択が、特定の種類の環境をうまく解決するのに最も重要であるかを検討する。
論文 参考訳（メタデータ） (2021-03-28T08:57:22Z) - Quantum circuit architecture search for variational quantum algorithms [88.71725630554758]
本稿では、QAS(Quantum Architecture Search)と呼ばれるリソースと実行時の効率的なスキームを提案する。
QASは、よりノイズの多い量子ゲートを追加することで得られる利点と副作用のバランスをとるために、自動的にほぼ最適アンサッツを求める。
数値シミュレータと実量子ハードウェアの両方に、IBMクラウドを介してQASを実装し、データ分類と量子化学タスクを実現する。
論文 参考訳（メタデータ） (2020-10-20T12:06:27Z) - Towards quantum advantage via topological data analysis [0.0]
ロイズ,ガーネロン,ザナルディのトポロジカルデータ解析のためのアルゴリズムの背後にある量子アルゴリズムについて検討する。
ランク推定や複雑なネットワーク解析などの問題に対して,多数の新しい量子アルゴリズムを提供する。
論文 参考訳（メタデータ） (2020-05-06T06:31:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。