論文の概要: Quantum Deep Reinforcement Learning for Robot Navigation Tasks
- arxiv url: http://arxiv.org/abs/2202.12180v3
- Date: Mon, 24 Jun 2024 08:08:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 23:29:11.794225
- Title: Quantum Deep Reinforcement Learning for Robot Navigation Tasks
- Title（参考訳）: ロボットナビゲーションタスクのための量子深部強化学習
- Authors: Hans Hohenfeld, Dirk Heimann, Felix Wiebe, Frank Kirchner,
- Abstract要約: ハイブリッド量子古典的強化学習装置における量子回路は、複数のロボットナビゲーションシナリオにおいて最適なポリシーを学習可能であることを示す。
応用量子回路は、トレーニング可能なパラメータの数に等しくなると、古典的ニューラルネットワークのベースラインを上回っていることがわかった。
- 参考スコア（独自算出の注目度）: 2.6999000177990924
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We utilize hybrid quantum deep reinforcement learning to learn navigation tasks for a simple, wheeled robot in simulated environments of increasing complexity. For this, we train parameterized quantum circuits (PQCs) with two different encoding strategies in a hybrid quantum-classical setup as well as a classical neural network baseline with the double deep Q network (DDQN) reinforcement learning algorithm. Quantum deep reinforcement learning (QDRL) has previously been studied in several relatively simple benchmark environments, mainly from the OpenAI gym suite. However, scaling behavior and applicability of QDRL to more demanding tasks closer to real-world problems e. g., from the robotics domain, have not been studied previously. Here, we show that quantum circuits in hybrid quantum-classic reinforcement learning setups are capable of learning optimal policies in multiple robotic navigation scenarios with notably fewer trainable parameters compared to a classical baseline. Across a large number of experimental configurations, we find that the employed quantum circuits outperform the classical neural network baselines when equating for the number of trainable parameters. Yet, the classical neural network consistently showed better results concerning training times and stability, with at least one order of magnitude of trainable parameters more than the best-performing quantum circuits. However, validating the robustness of the learning methods in a large and dynamic environment, we find that the classical baseline produces more stable and better performing policies overall.
- Abstract（参考訳）: 複雑度を増大させるシミュレーション環境において,ハイブリッド量子深部強化学習を用いて簡単な車輪付きロボットのナビゲーションタスクを学習する。
そこで本研究では,Double Deep Q Network(DDQN)強化学習アルゴリズムを用いた古典的ニューラルネットワークベースラインとともに,ハイブリッド量子古典的な構成で2つの異なる符号化戦略を持つパラメタライズド量子回路(PQC)を訓練する。
量子深部強化学習(QDRL)は以前,OpenAIのジムスイートを中心に,比較的単純なベンチマーク環境で研究されてきた。
しかし、QDRLのスケーリング行動と実際の問題に近い要求の高いタスクに適用可能である。
G
ロボット工学の分野ではこれまで研究されていない。
ここでは,ハイブリッド量子古典的強化学習システムにおける量子回路は,古典的ベースラインに比べてトレーニング可能なパラメータが著しく少ない複数のロボットナビゲーションシナリオにおいて,最適なポリシを学習可能であることを示す。
多くの実験的な構成において、量子回路はトレーニング可能なパラメータの数に等しくなると、古典的ニューラルネットワークのベースラインより優れていることが判明した。
しかし、古典的ニューラルネットワークは、トレーニング時間と安定性に関して、最高のパフォーマンスの量子回路よりも少なくとも1桁のトレーニング可能なパラメータで、常により良い結果を示した。
しかし,大規模かつダイナミックな環境下での学習手法の堅牢性を検証することで,古典的ベースラインの安定性が向上し,全体的な性能が向上することがわかった。
関連論文リスト
- Efficient Learning for Linear Properties of Bounded-Gate Quantum Circuits [63.733312560668274]
d可変RZゲートとG-dクリフォードゲートを含む量子回路を与えられた場合、学習者は純粋に古典的な推論を行い、その線形特性を効率的に予測できるだろうか?
我々は、d で線形にスケーリングするサンプルの複雑さが、小さな予測誤差を達成するのに十分であり、対応する計算の複雑さは d で指数関数的にスケールすることを証明する。
我々は,予測誤差と計算複雑性をトレードオフできるカーネルベースの学習モデルを考案し,多くの実践的な環境で指数関数からスケーリングへ移行した。
論文 参考訳（メタデータ） (2024-08-22T08:21:28Z) - QTRL: Toward Practical Quantum Reinforcement Learning via Quantum-Train [18.138290778243075]
我々はQTRLと呼ばれる強化学習タスクにQuantum-Train法を適用し、古典的なポリシーネットワークモデルを訓練する。
QTRLのトレーニング結果は古典的なモデルであり、推論段階は古典的なコンピュータのみを必要とする。
論文 参考訳（メタデータ） (2024-07-08T16:41:03Z) - A Quantum-Classical Collaborative Training Architecture Based on Quantum
State Fidelity [50.387179833629254]
我々は,コ・テンク (co-TenQu) と呼ばれる古典量子アーキテクチャを導入する。
Co-TenQuは古典的なディープニューラルネットワークを41.72%まで向上させる。
他の量子ベースの手法よりも1.9倍も優れており、70.59%少ない量子ビットを使用しながら、同様の精度を達成している。
論文 参考訳（メタデータ） (2024-02-23T14:09:41Z) - QuantumSEA: In-Time Sparse Exploration for Noise Adaptive Quantum
Circuits [82.50620782471485]
QuantumSEAはノイズ適応型量子回路のインタイムスパース探索である。
1)トレーニング中の暗黙の回路容量と(2)雑音の頑健さの2つの主要な目標を達成することを目的としている。
提案手法は, 量子ゲート数の半減と回路実行の2倍の時間節約で, 最先端の計算結果を確立する。
論文 参考訳（メタデータ） (2024-01-10T22:33:00Z) - Quantum HyperNetworks: Training Binary Neural Networks in Quantum
Superposition [16.1356415877484]
量子コンピュータ上でバイナリニューラルネットワークをトレーニングするメカニズムとして量子ハイパーネットを導入する。
提案手法は, 最適パラメータ, ハイパーパラメータ, アーキテクチャ選択を, 分類問題に対する高い確率で効果的に発見できることを示す。
私たちの統合されたアプローチは、機械学習の分野における他のアプリケーションにとって大きなスコープを提供します。
論文 参考訳（メタデータ） (2023-01-19T20:06:48Z) - Problem-Dependent Power of Quantum Neural Networks on Multi-Class
Classification [83.20479832949069]
量子ニューラルネットワーク(QNN)は物理世界を理解する上で重要なツールとなっているが、その利点と限界は完全には理解されていない。
本稿では,多クラス分類タスクにおけるQCの問題依存力について検討する。
我々の研究はQNNの課題依存力に光を当て、その潜在的なメリットを評価するための実践的なツールを提供する。
論文 参考訳（メタデータ） (2022-12-29T10:46:40Z) - The Quantum Path Kernel: a Generalized Quantum Neural Tangent Kernel for
Deep Quantum Machine Learning [52.77024349608834]
古典的なディープニューラルネットワークの量子アナログを構築することは、量子コンピューティングにおける根本的な課題である。
鍵となる問題は、古典的なディープラーニングの本質的な非線形性にどのように対処するかである。
我々は、深層機械学習のこれらの側面を複製できる量子機械学習の定式化であるQuantum Path Kernelを紹介する。
論文 参考訳（メタデータ） (2022-12-22T16:06:24Z) - Hyperparameter Importance of Quantum Neural Networks Across Small
Datasets [1.1470070927586014]
量子ニューラルネットワークは、ニューラルネットワークと同じような役割を果たす。
機械学習に適した回路アーキテクチャについてはほとんど知られていない。
本研究は量子機械学習モデルを研究するための新しい手法を紹介する。
論文 参考訳（メタデータ） (2022-06-20T20:26:20Z) - Optimizing Tensor Network Contraction Using Reinforcement Learning [86.05566365115729]
本稿では,グラフニューラルネットワーク(GNN)と組み合わせた強化学習(RL)手法を提案する。
この問題は、巨大な検索スペース、重い尾の報酬分布、そして困難なクレジット割り当てのために非常に難しい。
GNNを基本方針として利用するRLエージェントが,これらの課題にどのように対処できるかを示す。
論文 参考訳（メタデータ） (2022-04-18T21:45:13Z) - Embedding Learning in Hybrid Quantum-Classical Neural Networks [8.029801398363261]
本稿では、下流の量子機械学習タスクのトレーニングに有用な埋め込みを学習する量子数ショット埋め込み学習パラダイムを提案する。
学習された古典的パラメータがヒルベルト空間を効率的に利用しないハイブリッドニューラルネットワークにおける回路バイパス問題を同定する。
学習した数発の埋め込みは、目に見えないクラスに一般化され、他のアプローチと比較して回路バイパス問題に悩まされることが観察された。
論文 参考訳（メタデータ） (2022-04-09T21:16:20Z) - Variational Quantum Soft Actor-Critic [1.90365714903665]
本研究では,連続制御の最先端手法の一つであるソフトアクター批判に基づく量子強化学習アルゴリズムを開発した。
この量子版のソフトアクター・クリティックは、調整可能なパラメータをはるかに少なくして、オリジナルのソフトアクター・クリティックに匹敵することを示す。
論文 参考訳（メタデータ） (2021-12-20T06:31:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。