論文の概要: Hybrid Quantum-Classical Scheduling for Accelerating Neural Network Training with Newton's Gradient Descent

• arxiv url: http://arxiv.org/abs/2405.00252v1
• Date: Tue, 30 Apr 2024 23:55:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 16:47:02.572014
• Title: Hybrid Quantum-Classical Scheduling for Accelerating Neural Network Training with Newton's Gradient Descent
• Title（参考訳）: ニュートンのグラディエントDescentを用いたニューラルネットワーク学習の高速化のためのハイブリッド量子古典的スケジューリング
• Authors: Pingzhi Li, Junyu Liu, Hanrui Wang, Tianlong Chen,
• Abstract要約: 本稿では,ニュートンのGDを用いたニューラルネットワークトレーニングの高速化を目的とした,ハイブリッド量子古典スケジューラQ-Newtonを提案する。 Q-Newtonは量子と古典的な線形解法を協調する合理化スケジューリングモジュールを使用している。 評価の結果,Q-Newtonは一般的な量子機械と比較してトレーニング時間を大幅に短縮できる可能性が示された。
• 参考スコア（独自算出の注目度）: 37.59299233291882
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimization techniques in deep learning are predominantly led by first-order gradient methodologies, such as SGD. However, neural network training can greatly benefit from the rapid convergence characteristics of second-order optimization. Newton's GD stands out in this category, by rescaling the gradient using the inverse Hessian. Nevertheless, one of its major bottlenecks is matrix inversion, which is notably time-consuming in $O(N^3)$ time with weak scalability. Matrix inversion can be translated into solving a series of linear equations. Given that quantum linear solver algorithms (QLSAs), leveraging the principles of quantum superposition and entanglement, can operate within a $\text{polylog}(N)$ time frame, they present a promising approach with exponential acceleration. Specifically, one of the most recent QLSAs demonstrates a complexity scaling of $O(d\cdot\kappa \log(N\cdot\kappa/\epsilon))$, depending on: {size~$N$, condition number~$\kappa$, error tolerance~$\epsilon$, quantum oracle sparsity~$d$} of the matrix. However, this also implies that their potential exponential advantage may be hindered by certain properties (i.e. $\kappa$ and $d$). We propose Q-Newton, a hybrid quantum-classical scheduler for accelerating neural network training with Newton's GD. Q-Newton utilizes a streamlined scheduling module that coordinates between quantum and classical linear solvers, by estimating & reducing $\kappa$ and constructing $d$ for the quantum solver. Our evaluation showcases the potential for Q-Newton to significantly reduce the total training time compared to commonly used optimizers like SGD. We hypothesize a future scenario where the gate time of quantum machines is reduced, possibly realized by attoseconds physics. Our evaluation establishes an ambitious and promising target for the evolution of quantum computing.
• Abstract（参考訳）: ディープラーニングにおける最適化手法は、主にSGDのような一階勾配法によって導かれる。 しかし、ニューラルネットワークトレーニングは、二階最適化の高速収束特性から大きな恩恵を受けることができる。 ニュートンの GD はこの圏において、逆 Hessian を用いて勾配を再スケーリングすることによって際立っている。 それにもかかわらず、主要なボトルネックの1つは行列の逆転であり、特にスケーラビリティの弱い$O(N^3)$時間に時間を要する。 行列反転は一連の線形方程式に変換できる。 量子重ね合わせと絡み合いの原理を利用する量子線形解法アルゴリズム(QLSA)が$\text{polylog}(N)$時間枠内で動作できることを考えると、指数加速度を伴う有望なアプローチを示す。 具体的には、最近のQLSAの1つは、以下の値に依存する$O(d\cdot\kappa \log(N\cdot\kappa/\epsilon)$の複雑さのスケーリングを示している。 しかし、これはまた、その潜在的な指数的優位性が特定の性質(例えば$\kappa$と$d$)によって妨げられる可能性も示唆している。 本稿では,ニュートンのGDを用いたニューラルネットワークトレーニングの高速化を目的とした,ハイブリッド量子古典スケジューラQ-Newtonを提案する。 Q-Newtonは量子リニアソルバと古典リニアソルバを協調する合理化スケジューリングモジュールを使用し、$\kappa$を推定および削減し、量子ソルバに対して$d$を構築する。 評価の結果,Q-Newtonは,SGDなどの一般的な最適化手法と比較して,トレーニング時間を大幅に短縮できる可能性が示された。 我々は、量子機械のゲート時間が減少する将来のシナリオを仮説を立てる。 我々の評価は、量子コンピューティングの進化の野心的で有望な目標を定めている。

関連論文リスト

• Projected Stochastic Gradient Descent with Quantum Annealed Binary Gradients [52.99208464423978]
  重み付きニューラルネットワークのトレーニングに適した,新しいレイヤワイドオプティマイザであるQP-SBGDを提案する。 BNNは、深層学習モデルの計算要求とエネルギー消費を最小限の精度で削減する。 提案アルゴリズムは階層的に実装されており,リソース制限量子ハードウェア上での大規模ネットワークのトレーニングに適している。
  論文  参考訳（メタデータ） (2023-10-23T17:32:38Z)
• Accelerating the training of single-layer binary neural networks using the HHL quantum algorithm [58.720142291102135]
  Harrow-Hassidim-Lloyd (HHL) の量子力学的実装から有用な情報が抽出可能であることを示す。 しかし,本論文では,HHLの量子力学的実装から有用な情報を抽出し,古典的側面における解を見つける際の複雑性を低減することを目的としている。
  論文  参考訳（メタデータ） (2022-10-23T11:58:05Z)
• Phenomenological Theory of Variational Quantum Ground-State Preparation [0.0]
  変分量子固有解法(VQE)アルゴリズムは、偏光量子回路を利用するハミルトンの基底状態を作成することを目的としている。 アルゴリズムの成功は学習率などの他のパラメータに大きく依存していることが示される。 ギャップが閉じた場合に使用する対称性向上型シミュレーションプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-12T18:00:04Z)
• Quantum State Preparation with Optimal Circuit Depth: Implementations and Applications [10.436969366019015]
  我々は、$Theta(n)$-depth回路は、$O(ndlog d)$ acillary qubitsを持つ$Theta(log(nd))で作成可能であることを示す。 我々は、ハミルトンシミュレーション、方程式の線形系解法、量子ランダムアクセスメモリの実現など、異なる量子コンピューティングタスクにおける結果の適用について論じる。
  論文  参考訳（メタデータ） (2022-01-27T13:16:30Z)
• Deterministic and Entanglement-Efficient Preparation of Amplitude-Encoded Quantum Registers [0.533024001730262]
  古典ベクトル $mathbfb$ は量子状態の振幅で符号化される。 任意の状態の$Q$ qubitsは通常、約2Q$のエンタングゲートを必要とする。 状態準備に必要な量子資源を柔軟に削減できる決定論的(非変分法)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-26T07:37:54Z)
• A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
  勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。 MNIST画像データセットがそのような条件を満たすことを数値的に示す。 我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-19T23:41:03Z)
• Preparation of excited states for nuclear dynamics on a quantum computer [117.44028458220427]
  量子コンピュータ上で励起状態を作成するための2つの異なる方法を研究する。 シミュレーションおよび実量子デバイス上でこれらの手法をベンチマークする。 これらの結果から,フォールトトレラントデバイスに優れたスケーリングを実現するために設計された量子技術が,接続性やゲート忠実性に制限されたデバイスに実用的なメリットをもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2020-09-28T17:21:25Z)
• Implementing a Fast Unbounded Quantum Fanout Gate Using Power-Law Interactions [0.9634136878988853]
  距離において1/ラルファ$の強度が減衰するパワーロー相互作用は、情報処理のための実験的に実現可能な資源を提供する。 我々はこれらの相互作用のパワーを活用して、任意の数のターゲットを持つ高速量子ファンアウトゲートを実装する。 我々は、ファリングが古典的に難解であるという標準的な仮定の下で、$alpha le D$ のパワーロー系は、短時間でも古典的にシミュレートすることは困難であることを示す。
  論文  参考訳（メタデータ） (2020-07-01T18:00:00Z)
• Quantum Gram-Schmidt Processes and Their Application to Efficient State Read-out for Quantum Algorithms [87.04438831673063]
  本稿では、生成した状態の古典的ベクトル形式を生成する効率的な読み出しプロトコルを提案する。 我々のプロトコルは、出力状態が入力行列の行空間にある場合に適合する。 我々の技術ツールの1つは、Gram-Schmidt正則手順を実行するための効率的な量子アルゴリズムである。
  論文  参考訳（メタデータ） (2020-04-14T11:05:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。