論文の概要: Quantum Algorithms for Finite-horizon Markov Decision Processes
- arxiv url: http://arxiv.org/abs/2508.05712v1
- Date: Thu, 07 Aug 2025 09:00:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-11 20:39:05.953784
- Title: Quantum Algorithms for Finite-horizon Markov Decision Processes
- Title（参考訳）: 有限水平マルコフ決定過程の量子アルゴリズム
- Authors: Bin Luo, Yuwen Huang, Jonathan Allcock, Xiaojun Lin, Shengyu Zhang, John C. S. Lui,
- Abstract要約: 我々は、時間依存および有限水平マルコフ決定過程(MDP)を解くために、古典的アルゴリズムよりも効率的な量子アルゴリズムを設計する。
正確なダイナミックス設定において、我々の$textbfQVI-1$アルゴリズムがアクション空間$(A)$の2次スピードアップを達成することを証明している。
生成モデル設定において、我々のアルゴリズムである$textbfQVI-3$と$textbfQVI-4$が、最先端(SOTA)古典アルゴリズムよりも複雑なサンプルを実現することを証明している。
- 参考スコア（独自算出の注目度）: 40.812944518646006
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we design quantum algorithms that are more efficient than classical algorithms to solve time-dependent and finite-horizon Markov Decision Processes (MDPs) in two distinct settings: (1) In the exact dynamics setting, where the agent has full knowledge of the environment's dynamics (i.e., transition probabilities), we prove that our $\textbf{Quantum Value Iteration (QVI)}$ algorithm $\textbf{QVI-1}$ achieves a quadratic speedup in the size of the action space $(A)$ compared with the classical value iteration algorithm for computing the optimal policy ($\pi^{*}$) and the optimal V-value function ($V_{0}^{*}$). Furthermore, our algorithm $\textbf{QVI-2}$ provides an additional speedup in the size of the state space $(S)$ when obtaining near-optimal policies and V-value functions. Both $\textbf{QVI-1}$ and $\textbf{QVI-2}$ achieve quantum query complexities that provably improve upon classical lower bounds, particularly in their dependences on $S$ and $A$. (2) In the generative model setting, where samples from the environment are accessible in quantum superposition, we prove that our algorithms $\textbf{QVI-3}$ and $\textbf{QVI-4}$ achieve improvements in sample complexity over the state-of-the-art (SOTA) classical algorithm in terms of $A$, estimation error $(\epsilon)$, and time horizon $(H)$. More importantly, we prove quantum lower bounds to show that $\textbf{QVI-3}$ and $\textbf{QVI-4}$ are asymptotically optimal, up to logarithmic factors, assuming a constant time horizon.
- Abstract（参考訳）: 本研究では,時間依存型および有限水平型マルコフ決定過程(MDPs)を2つの異なる設定で解くために,従来のアルゴリズムよりも効率的な量子アルゴリズムを設計する。(1) エージェントが環境の力学(すなわち遷移確率)の知識を十分に持っている場合,我々の$\textbf{Quantum Value Iteration (QVI)}$ algorithm $\textbf{QVI-1}$が,アクション空間のサイズを2次的に高速化することを示す。
さらに、我々のアルゴリズム $\textbf{QVI-2}$ は、準最適ポリシーとV値関数を得るときに、状態空間 $(S)$ のサイズをさらに高速化する。
$\textbf{QVI-1}$と$\textbf{QVI-2}$は、古典的な下界において、特に$S$と$A$への依存において、確実に改善される量子クエリ複雑性を達成する。
2) 環境からのサンプルが量子重ね合わせでアクセス可能である生成モデル設定において、我々のアルゴリズム $\textbf{QVI-3}$ と $\textbf{QVI-4}$ が、A$, 推定誤差 $(\epsilon)$, 時間地平線 $(H)$ の点で、最先端(SOTA)古典的アルゴリズムよりも、サンプルの複雑さを改善することを証明している。
さらに重要なことは、量子下界を証明して、$\textbf{QVI-3}$ と $\textbf{QVI-4}$ が漸近的に最適であることを示す。
関連論文リスト
- Quantum linear system algorithm with optimal queries to initial state preparation [0.0]
線形システムの量子アルゴリズムは、2つのオラクルを問合せして解状態$A-1|brangle$を生成する。
本稿では,$mathbfThetaleft (1/sqrtpright)$クエリを$O_b$に変換する量子線形系アルゴリズムを提案する。
微分方程式の解法のような様々な応用において、ブロックプレコンディショニングスキームを用いて$p$への依存をさらに改善することができる。
論文 参考訳（メタデータ） (2024-10-23T18:00:01Z) - Quantum spectral method for gradient and Hessian estimation [4.193480001271463]
勾配降下は連続最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、クエリの複雑さを$widetildeO (1/varepsilon)$とすることで、その勾配の$varepsilon$-approximationを返す量子アルゴリズムを提案する。
また、ニュートン法の量子アナログを改善することを目的としたヘッセン推定のための2つの量子アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-07-04T11:03:48Z) - Computational Supremacy of Quantum Eigensolver by Extension of Optimized Binary Configurations [0.0]
我々は、D-Wave Quantum Annealer(D-Wave QA)に基づく量子固有解法を開発する。
このアプローチは、古典的コンピュータの導出を伴わない固有状態$vert psi rangle$を最適化するために反復的なQA測定を実行する。
提案したQEアルゴリズムは誤差の5倍の10～3$の正確な解を提供することを確認した。
論文 参考訳（メタデータ） (2024-06-05T15:19:53Z) - Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。
我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。
我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
論文 参考訳（メタデータ） (2024-05-10T09:58:47Z) - Mind the gap: Achieving a super-Grover quantum speedup by jumping to the
end [114.3957763744719]
本稿では,数種類のバイナリ最適化問題に対して,厳密な実行保証を有する量子アルゴリズムを提案する。
このアルゴリズムは、$n$非依存定数$c$に対して、時間で$O*(2(0.5-c)n)$の最適解を求める。
また、$k$-spinモデルからのランダムなインスタンスの多数と、完全に満足あるいはわずかにフラストレーションされた$k$-CSP式に対して、文 (a) がそうであることを示す。
論文 参考訳（メタデータ） (2022-12-03T02:45:23Z) - Quantum Resources Required to Block-Encode a Matrix of Classical Data [56.508135743727934]
回路レベルの実装とリソース推定を行い、古典データの高密度な$Ntimes N$行列をブロックエンコードして$epsilon$を精度良くすることができる。
異なるアプローチ間のリソーストレードオフを調査し、量子ランダムアクセスメモリ(QRAM)の2つの異なるモデルの実装を検討する。
我々の結果は、単純なクエリの複雑さを超えて、大量の古典的データが量子アルゴリズムにアクセスできると仮定された場合のリソースコストの明確な図を提供する。
論文 参考訳（メタデータ） (2022-06-07T18:00:01Z) - Quantum Algorithms for Reinforcement Learning with a Generative Model [16.168901236223117]
強化学習は、エージェントがその累積報酬を最大化するために環境とどのように相互作用するかを研究する。
最適ポリシー(pi*$)、最適値関数(v*$)、最適値関数(q*$)を近似する量子アルゴリズムを設計する。
一致する量子下界を証明して、q*$を計算するための量子アルゴリズムが最適であることを示す。
論文 参考訳（メタデータ） (2021-12-15T19:51:49Z) - Projection-Free Algorithm for Stochastic Bi-level Optimization [17.759493152879013]
本研究は、目的関数が他の最適化問題に依存する二段階最適化問題を解く最初のプロジェクションフリーアルゴリズムを示す。
提案されている$textbfStochastic $textbfF$rank-$textbfW$olfe ($textbfSCFW$)は、凸目的に対して$mathcalO(epsilon-2)$のサンプル複雑性を実現するために示されている。
論文 参考訳（メタデータ） (2021-10-22T11:49:15Z) - Streaming Complexity of SVMs [110.63976030971106]
本稿では,ストリーミングモデルにおけるバイアス正規化SVM問題を解く際の空間複雑性について検討する。
両方の問題に対して、$frac1lambdaepsilon$の次元に対して、$frac1lambdaepsilon$よりも空間的に小さいストリーミングアルゴリズムを得ることができることを示す。
論文 参考訳（メタデータ） (2020-07-07T17:10:00Z) - Fixed-Support Wasserstein Barycenters: Computational Hardness and Fast
Algorithm [100.11971836788437]
固定支持ワッサーシュタインバリセンタ問題(FS-WBP)について検討する。
我々は,有望な反復的ブレグマン射影 (IBP) アルゴリズムであるtextscFastIBP の,証明可能な高速なテキスト決定論的変種を開発する。
論文 参考訳（メタデータ） (2020-02-12T03:40:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。