論文の概要: On Optimizing Hyperparameters for Quantum Neural Networks
- arxiv url: http://arxiv.org/abs/2403.18579v1
- Date: Wed, 27 Mar 2024 13:59:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 16:48:33.172291
- Title: On Optimizing Hyperparameters for Quantum Neural Networks
- Title(参考訳): 量子ニューラルネットワークのハイパーパラメータ最適化について
- Authors: Sabrina Herbst, Vincenzo De Maio, Ivona Brandic,
- Abstract要約: 現在の最先端の機械学習モデルは、トレーニングに数週間を要する。
量子コンピューティング、特に量子機械学習(QML)は、理論的なスピードアップと強化されたパワーを提供する。
- 参考スコア(独自算出の注目度): 0.5999777817331317
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The increasing capabilities of Machine Learning (ML) models go hand in hand with an immense amount of data and computational power required for training. Therefore, training is usually outsourced into HPC facilities, where we have started to experience limits in scaling conventional HPC hardware, as theorized by Moore's law. Despite heavy parallelization and optimization efforts, current state-of-the-art ML models require weeks for training, which is associated with an enormous $CO_2$ footprint. Quantum Computing, and specifically Quantum Machine Learning (QML), can offer significant theoretical speed-ups and enhanced expressive power. However, training QML models requires tuning various hyperparameters, which is a nontrivial task and suboptimal choices can highly affect the trainability and performance of the models. In this study, we identify the most impactful hyperparameters and collect data about the performance of QML models. We compare different configurations and provide researchers with performance data and concrete suggestions for hyperparameter selection.
- Abstract(参考訳): 機械学習(ML)モデルの能力の増大は、トレーニングに必要な膨大なデータと計算能力と相まって行く。
したがって、トレーニングは通常HPCの施設にアウトソースされ、ムーアの法則によって理論化されたように、従来のHPCハードウェアのスケーリングの限界を経験し始めた。
大量の並列化と最適化の努力にもかかわらず、現在の最先端のMLモデルはトレーニングに数週間を必要としており、これは巨大なCO_2$フットプリントと関連している。
量子コンピューティング、特に量子機械学習(QML)は、理論的なスピードアップと表現力の向上を提供する。
しかし、QMLモデルのトレーニングには、非自明なタスクである様々なハイパーパラメータをチューニングする必要がある。
本研究では,最も影響の大きいハイパーパラメータを特定し,QMLモデルの性能に関するデータを収集する。
異なる構成を比較し、ハイパパラメータ選択のためのパフォーマンスデータと具体的な提案を研究者に提供する。
関連論文リスト
- Model Performance Prediction for Hyperparameter Optimization of Deep
Learning Models Using High Performance Computing and Quantum Annealing [0.0]
モデル性能予測を早期停止法と組み合わせることで,ディープラーニングモデルのHPOプロセスの高速化が期待できることを示す。
我々は,古典的あるいは量子的サポートベクター回帰を性能予測に用いるSwift-Hyperbandと呼ばれる新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-29T10:32:40Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳(メタデータ) (2023-09-02T11:01:16Z) - QKSAN: A Quantum Kernel Self-Attention Network [53.96779043113156]
量子カーネル法(Quantum Kernel Methods, QKM)のデータ表現能力とSAMの効率的な情報抽出能力を組み合わせた量子カーネル自己認識機構(Quantum Kernel Self-Attention Mechanism, QKSAM)を導入する。
量子カーネル自己保持ネットワーク(QKSAN)フレームワークは,DMP(Dederred Measurement Principle)と条件測定技術を巧みに組み込んだQKSAMに基づいて提案されている。
4つのQKSANサブモデルはPennyLaneとIBM Qiskitプラットフォームにデプロイされ、MNISTとFashion MNISTのバイナリ分類を実行する。
論文 参考訳(メタデータ) (2023-08-25T15:08:19Z) - Reflection Equivariant Quantum Neural Networks for Enhanced Image
Classification [0.7232471205719458]
我々は、データに固有の対称性を明示的に尊重する新しい機械学習モデル、いわゆる幾何量子機械学習(GQML)を構築した。
これらのネットワークは、複雑な実世界の画像データセットに対する一般的なアンサーゼを一貫して、そして著しく向上させることができる。
論文 参考訳(メタデータ) (2022-12-01T04:10:26Z) - Subtleties in the trainability of quantum machine learning models [0.0]
本稿では,変分量子アルゴリズムの勾配スケーリング結果を用いて,量子機械学習モデルの勾配スケーリングについて検討する。
以上の結果から,VQAトレーサビリティの低下がQMLのバレンプラトーなどの問題を引き起こす可能性が示唆された。
論文 参考訳(メタデータ) (2021-10-27T20:28:53Z) - MoEfication: Conditional Computation of Transformer Models for Efficient
Inference [66.56994436947441]
トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。
スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。
そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
論文 参考訳(メタデータ) (2021-10-05T02:14:38Z) - Towards Efficient Post-training Quantization of Pre-trained Language
Models [85.68317334241287]
PLMのポストトレーニング量子化(PTQ)について検討し,モジュール単位の量子化誤差最小化(MREM)を提案する。
GLUEとSQuADベンチマークの実験により、提案したPTQソリューションはQATに近く動作するだけでなく、トレーニング時間、メモリオーバーヘッド、データ消費を大幅に削減できることがわかった。
論文 参考訳(メタデータ) (2021-09-30T12:50:06Z) - Quantum-tailored machine-learning characterization of a superconducting
qubit [50.591267188664666]
我々は,量子デバイスのダイナミクスを特徴付ける手法を開発し,デバイスパラメータを学習する。
このアプローチは、数値的に生成された実験データに基づいてトレーニングされた物理に依存しないリカレントニューラルネットワークより優れている。
このデモンストレーションは、ドメイン知識を活用することで、この特徴付けタスクの正確性と効率が向上することを示す。
論文 参考訳(メタデータ) (2021-06-24T15:58:57Z) - Ps and Qs: Quantization-aware pruning for efficient low latency neural
network inference [56.24109486973292]
超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。
量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
論文 参考訳(メタデータ) (2021-02-22T19:00:05Z) - Distributed Training and Optimization Of Neural Networks [0.0]
ディープラーニングモデルは、複数の要因のおかげで、ますますパフォーマンスが向上しています。
成功させるために、モデルは多数のパラメータや複雑なアーキテクチャを持ち、大きなデータセットでトレーニングされる。
これにより、コンピューティングリソースに対する大きな要求が生まれ、時間を振り返ることになります。
論文 参考訳(メタデータ) (2020-12-03T11:18:46Z) - Multi-level Training and Bayesian Optimization for Economical
Hyperparameter Optimization [12.92634461859467]
本稿では,ハイパーパラメータ最適化に必要なトレーニング時間の総量を削減するための効果的な手法を開発する。
光のトレーニングによって生じる近似的な性能測定をキャリブレーションするために, トランキャット付加法ガウス過程モデルを提案する。
このモデルに基づいて、逐次モデルに基づくアルゴリズムが開発され、構成空間のパフォーマンスプロファイルを生成し、最適なモデルを見つける。
論文 参考訳(メタデータ) (2020-07-20T09:03:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。