論文の概要: Towards provably efficient quantum algorithms for large-scale machine-learning models

• arxiv url: http://arxiv.org/abs/2303.03428v5
• Date: Thu, 28 Dec 2023 07:46:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-29 23:32:58.637510
• Title: Towards provably efficient quantum algorithms for large-scale machine-learning models
• Title（参考訳）: 大規模機械学習モデルのための証明可能な量子アルゴリズムを目指して
• Authors: Junyu Liu, Minzhao Liu, Jin-Peng Liu, Ziyu Ye, Yunfei Wang, Yuri Alexeev, Jens Eisert, Liang Jiang
• Abstract要約: 我々は、フォールトトレラントな量子コンピューティングが、一般的な(確率的な)勾配降下アルゴリズムに対して、証明可能な効率のよい解決を提供する可能性を示している。 700万から1億3300万のパラメータから、大規模な機械学習モデルのインスタンスをベンチマークします。
• 参考スコア（独自算出の注目度）: 11.440134080370811
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large machine learning models are revolutionary technologies of artificial intelligence whose bottlenecks include huge computational expenses, power, and time used both in the pre-training and fine-tuning process. In this work, we show that fault-tolerant quantum computing could possibly provide provably efficient resolutions for generic (stochastic) gradient descent algorithms, scaling as O(T^2 polylog(n)), where n is the size of the models and T is the number of iterations in the training, as long as the models are both sufficiently dissipative and sparse, with small learning rates. Based on earlier efficient quantum algorithms for dissipative differential equations, we find and prove that similar algorithms work for (stochastic) gradient descent, the primary algorithm for machine learning. In practice, we benchmark instances of large machine learning models from 7 million to 103 million parameters. We find that, in the context of sparse training, a quantum enhancement is possible at the early stage of learning after model pruning, motivating a sparse parameter download and re-upload scheme. Our work shows solidly that fault-tolerant quantum algorithms could potentially contribute to most state-of-the-art, large-scale machine-learning problems.
• Abstract（参考訳）: 大規模な機械学習モデルは人工知能の革命的な技術であり、そのボトルネックには、事前学習と微調整の両方で使用される膨大な計算コスト、パワー、時間が含まれる。 本研究では,nはモデルのサイズであり,tはモデルのサイズであり,tはモデルが十分に散逸的かつスパースであり,学習率が低い限り,モデルがモデルの反復数であるo(t^2 polylog(n))としてスケールすることで,フォールトトレラントな量子コンピューティングが汎用的(確率的)勾配降下アルゴリズムに対して確実に効率的な分解能を提供できることを示す。 散逸微分方程式に対するより効率的な量子アルゴリズムに基づいて、類似のアルゴリズムが機械学習の主要なアルゴリズムである(確率的な)勾配降下のために機能することを発見し、証明する。 実際には、700万から1億300万のパラメータを持つ大規模機械学習モデルのインスタンスをベンチマークします。 スパーストレーニングの文脈では、モデルプルーニング後の学習の初期段階で量子拡張が可能であり、スパースパラメータのダウンロードと再アップロードのスキームを動機付けている。 我々の研究は、フォールトトレラントな量子アルゴリズムが、最先端の大規模機械学習問題の多くに寄与する可能性を確証している。

関連論文リスト

• Efficient Learning for Linear Properties of Bounded-Gate Quantum Circuits [63.733312560668274]
  d可変RZゲートとG-dクリフォードゲートを含む量子回路を与えられた場合、学習者は純粋に古典的な推論を行い、その線形特性を効率的に予測できるだろうか? 我々は、d で線形にスケーリングするサンプルの複雑さが、小さな予測誤差を達成するのに十分であり、対応する計算の複雑さは d で指数関数的にスケールすることを証明する。 我々は,予測誤差と計算複雑性をトレードオフできるカーネルベースの学習モデルを考案し,多くの実践的な環境で指数関数からスケーリングへ移行した。
  論文  参考訳（メタデータ） (2024-08-22T08:21:28Z)
• Efficient and practical Hamiltonian simulation from time-dependent product formulas [1.2534672170380357]
  本稿では,製品公式を用いた量子システムの時間進化手法を提案する。 我々のアルゴリズムは、進化演算子を量子コンピュータ上で直接実装可能な単純なユニタリの積に分解する。 理論的スケーリングは最先端のアルゴリズムと比較すると最適ではないが,提案するアルゴリズムの性能は実際は極めて競争力が高い。
  論文  参考訳（メタデータ） (2024-03-13T17:29:05Z)
• Performance and Energy Consumption of Parallel Machine Learning Algorithms [0.0]
  機械学習モデルは、様々な現実世界のアプリケーションで顕著な成功を収めた。 機械学習のモデルトレーニングには、大規模データセットと複数のイテレーションが必要である。 トレーニングアルゴリズムの並列化は、トレーニングのプロセスを高速化するための一般的な戦略である。
  論文  参考訳（メタデータ） (2023-05-01T13:04:39Z)
• A didactic approach to quantum machine learning with a single qubit [68.8204255655161]
  我々は、データ再ロード技術を用いて、単一のキュービットで学習するケースに焦点を当てる。 我々は、Qiskit量子コンピューティングSDKを用いて、おもちゃと現実世界のデータセットに異なる定式化を実装した。
  論文  参考訳（メタデータ） (2022-11-23T18:25:32Z)
• A single $T$-gate makes distribution learning hard [56.045224655472865]
  この研究は、局所量子回路の出力分布の学習可能性に関する広範な評価を提供する。 ハイブリッド量子古典アルゴリズムを含む多種多様な学習アルゴリズムにおいて、深度$d=omega(log(n))$ Clifford回路に関連する生成的モデリング問題さえも困難であることを示す。
  論文  参考訳（メタデータ） (2022-07-07T08:04:15Z)
• Quantum Semi-Supervised Kernel Learning [4.726777092009554]
  本稿では,セミスーパービジョンカーネル支援ベクトルマシンを学習するための量子機械学習アルゴリズムを提案する。 完全教師付き量子LS-SVMと同じスピードアップを維持していることを示す。
  論文  参考訳（メタデータ） (2022-04-22T13:39:55Z)
• MQBench: Towards Reproducible and Deployable Model Quantization Benchmark [53.12623958951738]
  MQBenchは、モデル量子化アルゴリズムの評価、分析、およびデプロイ可能性のベンチマークを行う最初の試みである。 我々は、CPU、GPU、ASIC、DSPを含む実世界のデプロイのための複数のプラットフォームを選択し、最先端の量子化アルゴリズムを評価する。 包括的な分析を行い、直感的、直感的、あるいは反直感的な洞察を見出す。
  論文  参考訳（メタデータ） (2021-11-05T23:38:44Z)
• Quantum Machine Learning: Fad or Future? [0.0]
  私たちは、古典的なコンピューティングデバイスによって、利用可能な最大計算能力のしきい値に素早く近づきます。 これは、今や数十億と数兆のパラメータを持つモデルサイズが指数関数的に増加するためである。 本稿では、量子機械学習が古典的な機械学習アプローチよりも優れているという側面を検証し、検証する。
  論文  参考訳（メタデータ） (2021-06-20T15:39:36Z)
• Fixed Depth Hamiltonian Simulation via Cartan Decomposition [59.20417091220753]
  時間に依存しない深さの量子回路を生成するための構成的アルゴリズムを提案する。 一次元横フィールドXYモデルにおけるアンダーソン局在化を含む、モデルの特殊クラスに対するアルゴリズムを強調する。 幅広いスピンモデルとフェルミオンモデルに対して正確な回路を提供するのに加えて、我々のアルゴリズムは最適なハミルトニアンシミュレーションに関する幅広い解析的および数値的な洞察を提供する。
  論文  参考訳（メタデータ） (2021-04-01T19:06:00Z)
• Ps and Qs: Quantization-aware pruning for efficient low latency neural network inference [56.24109486973292]
  超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。 量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
  論文  参考訳（メタデータ） (2021-02-22T19:00:05Z)
• QUBO Formulations for Training Machine Learning Models [0.0]
  量子コンピューティングのような非伝統的なコンピューティングパラダイムを活用して、機械学習モデルを効率的にトレーニングします。 線形回帰、サポートベクターマシン(SVM)、等サイズのk平均クラスタリングの3つの機械学習モデルのトレーニング問題をQUBO問題として定式化し、断熱量子コンピュータで効率的にトレーニングできるようにした。 我々の定式化の時間と空間の複雑さは(SVM や等サイズの k-平均クラスタリングの場合)、あるいは(線形回帰の場合)その古典的表現と同等であることを示す。
  論文  参考訳（メタデータ） (2020-08-05T21:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。