論文の概要: VQC-Based Reinforcement Learning with Data Re-uploading: Performance and Trainability

• arxiv url: http://arxiv.org/abs/2401.11555v2
• Date: Tue, 12 Nov 2024 18:18:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:18:04.423195
• Title: VQC-Based Reinforcement Learning with Data Re-uploading: Performance and Trainability
• Title（参考訳）: データ再アップロードによるVQCベースの強化学習:パフォーマンスとトレーニング性
• Authors: Rodrigo Coelho, André Sequeira, Luís Paulo Santos,
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、人間の監督なしに知的意思決定を行うエージェントを設計する。 Deep NNを使用するRLアルゴリズムであるDeep Q-Learningは、いくつかの特定のタスクで超人的なパフォーマンスを達成した。 また、RLアルゴリズムの関数近似器として変分量子回路(VQC)を用いることもできる。
• 参考スコア（独自算出の注目度）: 0.8192907805418583
• License:
• Abstract: Reinforcement Learning (RL) consists of designing agents that make intelligent decisions without human supervision. When used alongside function approximators such as Neural Networks (NNs), RL is capable of solving extremely complex problems. Deep Q-Learning, a RL algorithm that uses Deep NNs, achieved super-human performance in some specific tasks. Nonetheless, it is also possible to use Variational Quantum Circuits (VQCs) as function approximators in RL algorithms. This work empirically studies the performance and trainability of such VQC-based Deep Q-Learning models in classic control benchmark environments. More specifically, we research how data re-uploading affects both these metrics. We show that the magnitude and the variance of the gradients of these models remain substantial throughout training due to the moving targets of Deep Q-Learning. Moreover, we empirically show that increasing the number of qubits does not lead to an exponential vanishing behavior of the magnitude and variance of the gradients for a PQC approximating a 2-design, unlike what was expected due to the Barren Plateau Phenomenon. This hints at the possibility of VQCs being specially adequate for being used as function approximators in such a context.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、人間の監督なしに知的意思決定を行うエージェントを設計する。 ニューラルネットワーク(NN)などの関数近似と併用することで、RLは極めて複雑な問題を解決することができる。 Deep NNを使用するRLアルゴリズムであるDeep Q-Learningは、いくつかの特定のタスクで超人的なパフォーマンスを達成した。 それでも、RLアルゴリズムの関数近似器として変分量子回路(VQC)を用いることもできる。 この研究は、古典的な制御ベンチマーク環境でのVQCベースのDeep Q-Learningモデルの性能と訓練性を実証的に研究する。 具体的には、データの再アップロードが両方のメトリクスに与える影響について調査する。 深層Q-Learningの移動目標により,これらのモデルの大きさと勾配のばらつきは,トレーニングを通して大きく保たれていることを示す。 さらに, 量子ビット数の増加は, バレンプラトーフェノメノンの予想と異なり, PQC 近似の勾配の指数関数的消滅挙動と分散に繋がるものではないことを実証的に示す。 このことは、VQCがそのような文脈で関数近似器として使われるのに特別に適している可能性を示唆している。

関連論文リスト

• Q-SFT: Q-Learning for Language Models via Supervised Fine-Tuning [62.984693936073974]
  価値に基づく強化学習は、幅広いマルチターン問題に対する効果的なポリシーを学ぶことができる。 現在の値ベースのRL法は、特に大規模な言語モデルの設定にスケールすることが困難であることが証明されている。 本稿では,これらの欠点に対処する新しいオフラインRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-07T21:36:52Z)
• Variational Quantum Circuit Design for Quantum Reinforcement Learning on Continuous Environments [2.9723999564214267]
  量子強化学習(QRL)は、アルゴリズムのアーキテクチャにおいて量子サブモジュールを使用する強化学習(RL)の分野として登場した。 QRLの1つの分野は、関数近似器として、変分量子回路(VQC)によるニューラルネットワーク(NN)の置換に焦点を当てている。 連続的な行動空間を持つ古典的な環境を解くためにQRLエージェントを設計し、古典的なフィードフォワードNNに対してエージェントをベンチマークする方法を示す。
  論文  参考訳（メタデータ） (2023-12-21T12:40:01Z)
• Efficient quantum recurrent reinforcement learning via quantum reservoir computing [3.6881738506505988]
  量子強化学習(QRL)は、シーケンシャルな意思決定タスクを解決するためのフレームワークとして登場した。 本研究は、QRNNベースの量子長短期メモリ(QLSTM)を用いたQRLエージェントの構築により、この課題に対処する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-13T22:18:38Z)
• Weight Re-Mapping for Variational Quantum Algorithms [54.854986762287126]
  変動量子回路(VQC)における重み付けの考え方を紹介する。 我々は,8つの分類データセットに対する影響を評価するために,7つの異なる重み再マッピング関数を用いる。 以上の結果から,重量再マッピングによりVQCの収束速度が向上することが示唆された。
  論文  参考訳（メタデータ） (2023-06-09T09:42:21Z)
• Asynchronous training of quantum reinforcement learning [0.8702432681310399]
  変分量子回路(VQC)による量子RLエージェント構築の先導的手法 本稿では,QRLエージェントを非同期トレーニングすることで,この問題に対処する。 検討したタスクにおいて,QRLエージェントの非同期トレーニングが性能に匹敵するか,優れているかを数値シミュレーションで示す。
  論文  参考訳（メタデータ） (2023-01-12T15:54:44Z)
• Problem-Dependent Power of Quantum Neural Networks on Multi-Class Classification [83.20479832949069]
  量子ニューラルネットワーク(QNN)は物理世界を理解する上で重要なツールとなっているが、その利点と限界は完全には理解されていない。 本稿では,多クラス分類タスクにおけるQCの問題依存力について検討する。 我々の研究はQNNの課題依存力に光を当て、その潜在的なメリットを評価するための実践的なツールを提供する。
  論文  参考訳（メタデータ） (2022-12-29T10:46:40Z)
• Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
  スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。 SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
  論文  参考訳（メタデータ） (2022-01-21T16:42:11Z)
• Online Target Q-learning with Reverse Experience Replay: Efficiently finding the Optimal Policy for Linear MDPs [50.75812033462294]
  我々は,Q-ラーニングの実践的成功と悲観的理論的結果とのギャップを埋める。 本稿では,新しいQ-Rex法とQ-RexDaReを提案する。 Q-Rex は線形 MDP の最適ポリシを効率的に見つけることができる。
  論文  参考訳（メタデータ） (2021-10-16T01:47:41Z)
• Recomposing the Reinforcement Learning Building Blocks with Hypernetworks [19.523737925041278]
  一次ネットワークが条件付き動的ネットワークの重みを決定することを示す。 このアプローチは勾配近似を改善し、学習ステップの分散を低減する。 我々は、RL(TD3とSAC)とMeta-RL(MAMLとPEARL)の両方において、異なる移動タスクと異なるアルゴリズムで一貫した改善を示す。
  論文  参考訳（メタデータ） (2021-06-12T19:43:12Z)
• Quantum agents in the Gym: a variational quantum algorithm for deep Q-learning [0.0]
  本稿では、離散的かつ連続的な状態空間に対するRLタスクを解くために使用できるパラメタライズド量子回路(PQC)のトレーニング手法を提案する。 量子Q学習エージェントのどのアーキテクチャ選択が、特定の種類の環境をうまく解決するのに最も重要であるかを検討する。
  論文  参考訳（メタデータ） (2021-03-28T08:57:22Z)
• Characterizing the loss landscape of variational quantum circuits [77.34726150561087]
  本稿では,VQCの損失関数のヘシアンを計算する方法を紹介する。 この情報がどのように解釈され、従来のニューラルネットワークと比較されるかを示す。
  論文  参考訳（メタデータ） (2020-08-06T17:48:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。