論文の概要: PPO-Q: Proximal Policy Optimization with Parametrized Quantum Policies or Values

• arxiv url: http://arxiv.org/abs/2501.07085v1
• Date: Mon, 13 Jan 2025 06:40:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:23:34.682108
• Title: PPO-Q: Proximal Policy Optimization with Parametrized Quantum Policies or Values
• Title（参考訳）: PPO-Q:パラメタライズド量子ポリシーと値を用いた近似的政策最適化
• Authors: Yu-Xin Jin, Zi-Wei Wang, Hong-Ze Xu, Wei-Feng Zhuang, Meng-Jun Hu, Dong E. Liu,
• Abstract要約: PPO-Qは、PPOアルゴリズムのアクターまたは批判部分にハイブリッド量子古典的ネットワークを統合する。 PPO-Qは、訓練パラメータを著しく減らした複雑な環境において、最先端の性能を達成する。
• 参考スコア（独自算出の注目度）: 5.260281988042923
• License:
• Abstract: Quantum machine learning (QML), which combines quantum computing with machine learning, is widely believed to hold the potential to outperform traditional machine learning in the era of noisy intermediate-scale quantum (NISQ). As one of the most important types of QML, quantum reinforcement learning (QRL) with parameterized quantum circuits as agents has received extensive attention in the past few years. Various algorithms and techniques have been introduced, demonstrating the effectiveness of QRL in solving some popular benchmark environments such as CartPole, FrozenLake, and MountainCar. However, tackling more complex environments with continuous action spaces and high-dimensional state spaces remains challenging within the existing QRL framework. Here we present PPO-Q, which, by integrating hybrid quantum-classical networks into the actor or critic part of the proximal policy optimization (PPO) algorithm, achieves state-of-the-art performance in a range of complex environments with significantly reduced training parameters. The hybrid quantum-classical networks in the PPO-Q incorporate two additional traditional neural networks to aid the parameterized quantum circuits in managing high-dimensional state encoding and action selection. When evaluated on 8 diverse environments, including four with continuous action space, the PPO-Q achieved comparable performance with the PPO algorithm but with significantly reduced training parameters. Especially, we accomplished the BipedalWalker environment, with a high-dimensional state and continuous action space simultaneously, which has not previously been reported in the QRL. More importantly, the PPO-Q is very friendly to the current NISQ hardware. We successfully trained two representative environments on the real superconducting quantum devices via the Quafu quantum cloud service.
• Abstract（参考訳）: 量子コンピューティングと機械学習を組み合わせた量子機械学習(QML)は、ノイズの多い中間スケール量子(NISQ)の時代において、従来の機械学習を上回る可能性を秘めていると広く信じられている。 QMLの最も重要なタイプの1つとして、パラメータ化量子回路をエージェントとする量子強化学習(QRL)が近年広く注目を集めている。 CartPole、FrozenLake、MountainCarといった一般的なベンチマーク環境を解決する上で、QRLの有効性を示すさまざまなアルゴリズムとテクニックが導入されている。 しかし、既存のQRLフレームワークでは、より複雑な環境を連続的なアクション空間と高次元の状態空間で扱うことは依然として困難である。 本稿ではPPO-Qについて,PPOアルゴリズムのアクタや批判部分にハイブリッド量子古典的ネットワークを組み込むことで,学習パラメータを大幅に削減した複雑な環境において,最先端の性能を実現する。 PPO-Qのハイブリッド量子古典ネットワークは、高次元状態符号化とアクション選択を管理するために、パラメータ化された量子回路を支援するために、2つの伝統的なニューラルネットワークを組み込んでいる。 連続的な行動空間を持つ4つの環境を含む8つの環境において評価すると、PPO-QはPPOアルゴリズムと同等のパフォーマンスを達成できたが、トレーニングパラメータは大幅に減少した。 特にBipedalWalker環境は,QRLでは報告されていない高次元状態と連続動作空間を同時に実現した。 さらに重要なのは、PPO-Qが現在のNISQハードウェアと非常に親しみやすいことだ。 量子クラウドサービスQuafuを通じて、実際の超伝導量子デバイス上で2つの代表的な環境をトレーニングすることに成功しました。

関連論文リスト

• Extending Quantum Perceptrons: Rydberg Devices, Multi-Class Classification, and Error Tolerance [67.77677387243135]
  量子ニューロモーフィックコンピューティング(QNC)は、量子計算とニューラルネットワークを融合して、量子機械学習(QML)のためのスケーラブルで耐雑音性のあるアルゴリズムを作成する QNCの中核は量子パーセプトロン(QP)であり、相互作用する量子ビットのアナログダイナミクスを利用して普遍的な量子計算を可能にする。
  論文  参考訳（メタデータ） (2024-11-13T23:56:20Z)
• A Quantum-Classical Collaborative Training Architecture Based on Quantum State Fidelity [50.387179833629254]
  我々は,コ・テンク (co-TenQu) と呼ばれる古典量子アーキテクチャを導入する。 Co-TenQuは古典的なディープニューラルネットワークを41.72%まで向上させる。 他の量子ベースの手法よりも1.9倍も優れており、70.59%少ない量子ビットを使用しながら、同様の精度を達成している。
  論文  参考訳（メタデータ） (2024-02-23T14:09:41Z)
• A joint optimization approach of parameterized quantum circuits with a tensor network [0.0]
  現在の中間スケール量子(NISQ)デバイスはその能力に制限がある。 本稿では,パラメータ化ネットワーク(TN)を用いて,変分量子固有解法(VQE)アルゴリズムの性能改善を試みる。
  論文  参考訳（メタデータ） (2024-02-19T12:53:52Z)
• QuantumSEA: In-Time Sparse Exploration for Noise Adaptive Quantum Circuits [82.50620782471485]
  QuantumSEAはノイズ適応型量子回路のインタイムスパース探索である。 1)トレーニング中の暗黙の回路容量と(2)雑音の頑健さの2つの主要な目標を達成することを目的としている。 提案手法は, 量子ゲート数の半減と回路実行の2倍の時間節約で, 最先端の計算結果を確立する。
  論文  参考訳（メタデータ） (2024-01-10T22:33:00Z)
• Non-asymptotic Approximation Error Bounds of Parameterized Quantum Circuits [16.460585387762478]
  量子ニューラルネットワークの有望なアプローチとして、PQC(ized quantum circuits)が登場した。 本稿では,一般関数クラスを近似するためのPQCの表現性について検討する。 我々は、量子ビット数、量子回路深さ、およびトレーニング可能なパラメータ数の観点から、これらの関数に対する最初の非漸近近似誤差境界を確立する。
  論文  参考訳（メタデータ） (2023-10-11T14:29:11Z)
• A self-consistent field approach for the variational quantum eigensolver: orbital optimization goes adaptive [52.77024349608834]
  適応微分組立問題集合型アンザッツ変分固有解法(ADAPTVQE)における自己一貫したフィールドアプローチ(SCF)を提案する。 このフレームワークは、短期量子コンピュータ上の化学系の効率的な量子シミュレーションに使用される。
  論文  参考訳（メタデータ） (2022-12-21T23:15:17Z)
• Evaluation of Parameterized Quantum Circuits with Cross-Resonance Pulse-Driven Entanglers [0.27998963147546146]
  変分量子アルゴリズム(VQA)は、ノイズの多い量子デバイスに非常に適したアルゴリズムの強力なクラスとして登場した。 これまでの研究では、VQAに対して有効なパラメタライズド量子回路(PQC)やアンサッツを選択することが、その全体的な性能に欠かせないことが示されている。 本稿では、量子マシンへのパルスレベルアクセスと2量子ビット相互作用の理解を利用して、2量子ビットエンタングルの設計を最適化する。
  論文  参考訳（メタデータ） (2022-11-01T09:46:34Z)
• Synergy Between Quantum Circuits and Tensor Networks: Short-cutting the Race to Practical Quantum Advantage [43.3054117987806]
  本稿では,量子回路の初期化を最適化するために,古典計算資源を利用するスケーラブルな手法を提案する。 本手法は, PQCのトレーニング性, 性能を, 様々な問題において著しく向上させることを示す。 古典的コンピュータを用いて限られた量子資源を増強する手法を実証することにより、量子コンピューティングにおける量子と量子に着想を得たモデル間の相乗効果を実証する。
  論文  参考訳（メタデータ） (2022-08-29T15:24:03Z)
• Quantum agents in the Gym: a variational quantum algorithm for deep Q-learning [0.0]
  本稿では、離散的かつ連続的な状態空間に対するRLタスクを解くために使用できるパラメタライズド量子回路(PQC)のトレーニング手法を提案する。 量子Q学習エージェントのどのアーキテクチャ選択が、特定の種類の環境をうまく解決するのに最も重要であるかを検討する。
  論文  参考訳（メタデータ） (2021-03-28T08:57:22Z)
• FLIP: A flexible initializer for arbitrarily-sized parametrized quantum circuits [105.54048699217668]
  任意サイズのパラメタライズド量子回路のためのFLexible Initializerを提案する。 FLIPは任意の種類のPQCに適用することができ、初期パラメータの一般的なセットに頼る代わりに、成功したパラメータの構造を学ぶように調整されている。 本稿では, 3つのシナリオにおいてFLIPを用いることの利点を述べる。不毛な高原における問題ファミリ, 最大カット問題インスタンスを解くPQCトレーニング, 1次元フェルミ-ハッバードモデルの基底状態エネルギーを求めるPQCトレーニングである。
  論文  参考訳（メタデータ） (2021-03-15T17:38:33Z)
• Quantum circuit architecture search for variational quantum algorithms [88.71725630554758]
  本稿では、QAS(Quantum Architecture Search)と呼ばれるリソースと実行時の効率的なスキームを提案する。 QASは、よりノイズの多い量子ゲートを追加することで得られる利点と副作用のバランスをとるために、自動的にほぼ最適アンサッツを求める。 数値シミュレータと実量子ハードウェアの両方に、IBMクラウドを介してQASを実装し、データ分類と量子化学タスクを実現する。
  論文  参考訳（メタデータ） (2020-10-20T12:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。