論文の概要: Control of Continuous Quantum Systems with Many Degrees of Freedom based
on Convergent Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2212.10705v1
- Date: Wed, 21 Dec 2022 00:52:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-22 15:50:15.119447
- Title: Control of Continuous Quantum Systems with Many Degrees of Freedom based
on Convergent Reinforcement Learning
- Title（参考訳）: 収束強化学習に基づく多自由度連続量子系の制御
- Authors: Zhikang Wang
- Abstract要約: 本稿では,Q-ラーニングにおける非収束問題について考察する。
我々は,収束深度Qネットワーク(C-DQN)アルゴリズムと呼ばれる新しい収束深度Q学習アルゴリズムを開発した。
我々は、C-DQNの収束を証明し、それをAtari 2600ベンチマークに適用する。
- 参考スコア（独自算出の注目度）: 1.8710230264817362
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: With the development of experimental quantum technology, quantum control has
attracted increasing attention due to the realization of controllable
artificial quantum systems. However, because quantum-mechanical systems are
often too difficult to analytically deal with, heuristic strategies and
numerical algorithms which search for proper control protocols are adopted,
and, deep learning, especially deep reinforcement learning (RL), is a promising
generic candidate solution for the control problems. Although there have been a
few successful applications of deep RL to quantum control problems, most of the
existing RL algorithms suffer from instabilities and unsatisfactory
reproducibility, and require a large amount of fine-tuning and a large
computational budget, both of which limit their applicability. To resolve the
issue of instabilities, in this dissertation, we investigate the
non-convergence issue of Q-learning. Then, we investigate the weakness of
existing convergent approaches that have been proposed, and we develop a new
convergent Q-learning algorithm, which we call the convergent deep Q network
(C-DQN) algorithm, as an alternative to the conventional deep Q network (DQN)
algorithm. We prove the convergence of C-DQN and apply it to the Atari 2600
benchmark. We show that when DQN fail, C-DQN still learns successfully. Then,
we apply the algorithm to the measurement-feedback cooling problems of a
quantum quartic oscillator and a trapped quantum rigid body. We establish the
physical models and analyse their properties, and we show that although both
C-DQN and DQN can learn to cool the systems, C-DQN tends to behave more stably,
and when DQN suffers from instabilities, C-DQN can achieve a better
performance. As the performance of DQN can have a large variance and lack
consistency, C-DQN can be a better choice for researches on complicated control
problems.
- Abstract（参考訳）: 実験量子技術の発展に伴い、制御可能な人工量子システムの実現により、量子制御が注目を集めている。
しかし、量子力学系は解析的に扱うのが難しいことが多いため、適切な制御プロトコルを探索するヒューリスティック戦略と数値アルゴリズムが採用され、深層学習、特に深層強化学習(RL)は制御問題に対する有望な一般的な候補解である。
量子制御問題に対するディープRLの応用はいくつかあるが、既存のRLアルゴリズムのほとんどは不安定性と不満足な再現性に悩まされており、大量の微調整と膨大な計算予算を必要とする。
不安定性の問題を解決するため,本論文では,q-learningの非収束問題について検討する。
そこで我々は,従来の深度Qネットワーク(DQN)アルゴリズムの代替として,収束深度Qネットワーク(C-DQN)アルゴリズムと呼ばれる新しい収束深度Q学習アルゴリズムを開発した。
C-DQNの収束性を証明し、Atari 2600ベンチマークに適用する。
DQNが失敗すると、C-DQNは依然としてうまく学習する。
そこで,このアルゴリズムを量子クォート振動子と捕捉量子剛体の測定フィードバック冷却問題に適用する。
C-DQN と D-DQN はともにシステムの冷却を学べるが、C-DQN はより安定して振る舞う傾向にあり、D-DQN が不安定な場合、C-DQN はより良い性能が得られることを示す。
DQNの性能はばらつきが大きく、一貫性が欠如しているため、複雑な制御問題の研究にはC-DQNの方がよい選択である。
関連論文リスト
- Reinforcement learning-assisted quantum architecture search for variational quantum algorithms [0.0]
この論文は、ノイズの多い量子ハードウェアにおける機能量子回路の同定に焦点を当てている。
本稿では, テンソルを用いた量子回路の符号化, 環境力学の制約により, 可能な回路の探索空間を効率的に探索する。
様々なVQAを扱う際、我々のRLベースのQASは既存のQASよりも優れています。
論文 参考訳（メタデータ） (2024-02-21T12:30:39Z) - Matching Game for Optimized Association in Quantum Communication
Networks [65.16483325184237]
本稿では,量子スイッチのためのスワップスタブルな要求-QSアソシエーションアルゴリズムを提案する。
サービスされた要求の割合で、ほぼ最適(5%)のパフォーマンスを達成する。
QCNのサイズが大きくなると、スケーラビリティが向上し、ほぼ最適性能を維持することが示されている。
論文 参考訳（メタデータ） (2023-05-22T03:39:18Z) - QNEAT: Natural Evolution of Variational Quantum Circuit Architecture [95.29334926638462]
我々は、ニューラルネットワークの量子対する最も有望な候補として登場した変分量子回路(VQC)に注目した。
有望な結果を示す一方で、バレン高原、重みの周期性、アーキテクチャの選択など、さまざまな問題のために、VQCのトレーニングは困難である。
本稿では,VQCの重みとアーキテクチャの両方を最適化するために,自然進化にインスパイアされた勾配のないアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-04-14T08:03:20Z) - Quantum Imitation Learning [74.15588381240795]
本稿では、量子優位性を利用してILを高速化する量子模倣学習(QIL)を提案する。
量子行動クローニング(Q-BC)と量子生成逆模倣学習(Q-GAIL)という2つのQILアルゴリズムを開発した。
実験結果から,Q-BCとQ-GAILの両者が,従来のものと同等の性能を達成できることが判明した。
論文 参考訳（メタデータ） (2023-04-04T12:47:35Z) - Optimizing Tensor Network Contraction Using Reinforcement Learning [86.05566365115729]
本稿では,グラフニューラルネットワーク(GNN)と組み合わせた強化学習(RL)手法を提案する。
この問題は、巨大な検索スペース、重い尾の報酬分布、そして困難なクレジット割り当てのために非常に難しい。
GNNを基本方針として利用するRLエージェントが,これらの課題にどのように対処できるかを示す。
論文 参考訳（メタデータ） (2022-04-18T21:45:13Z) - Uncovering Instabilities in Variational-Quantum Deep Q-Networks [0.0]
変動量子深度Q-networks (VQ-DQN) は、学習ポリシーが分岐する不安定な状態にあることを示す。
我々は、実量子処理ユニット(IBM量子デバイス)上でRLアルゴリズムを実行し、シミュレーションされた量子システムと物理量子システムの振る舞いの違いを調査する。
論文 参考訳（メタデータ） (2022-02-10T17:52:44Z) - Supervisory Control of Quantum Discrete Event Systems [2.3097706741644686]
本稿では,量子有限オートマトン(QFA)をモデリング形式として用いて,QDESの基本的枠組みを確立する。
本稿では,QDESのスーパーバイザリコントロールと,従来のDESに対するQDESの本質的な優位性を検証するために,QFAの新たな事例をいくつか提示する。
論文 参考訳（メタデータ） (2021-04-20T04:17:41Z) - Quantum agents in the Gym: a variational quantum algorithm for deep
Q-learning [0.0]
本稿では、離散的かつ連続的な状態空間に対するRLタスクを解くために使用できるパラメタライズド量子回路(PQC)のトレーニング手法を提案する。
量子Q学習エージェントのどのアーキテクチャ選択が、特定の種類の環境をうまく解決するのに最も重要であるかを検討する。
論文 参考訳（メタデータ） (2021-03-28T08:57:22Z) - Quantum circuit architecture search for variational quantum algorithms [88.71725630554758]
本稿では、QAS(Quantum Architecture Search)と呼ばれるリソースと実行時の効率的なスキームを提案する。
QASは、よりノイズの多い量子ゲートを追加することで得られる利点と副作用のバランスをとるために、自動的にほぼ最適アンサッツを求める。
数値シミュレータと実量子ハードウェアの両方に、IBMクラウドを介してQASを実装し、データ分類と量子化学タスクを実現する。
論文 参考訳（メタデータ） (2020-10-20T12:06:27Z) - On the learnability of quantum neural networks [132.1981461292324]
本稿では,量子ニューラルネットワーク(QNN)の学習可能性について考察する。
また,概念をQNNで効率的に学習することができれば,ゲートノイズがあってもQNNで効果的に学習できることを示す。
論文 参考訳（メタデータ） (2020-07-24T06:34:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。