論文の概要: On Optimizing Hyperparameters for Quantum Neural Networks

• arxiv url: http://arxiv.org/abs/2403.18579v1
• Date: Wed, 27 Mar 2024 13:59:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 16:48:33.172291
• Title: On Optimizing Hyperparameters for Quantum Neural Networks
• Title（参考訳）: 量子ニューラルネットワークのハイパーパラメータ最適化について
• Authors: Sabrina Herbst, Vincenzo De Maio, Ivona Brandic,
• Abstract要約: 現在の最先端の機械学習モデルは、トレーニングに数週間を要する。 量子コンピューティング、特に量子機械学習(QML)は、理論的なスピードアップと強化されたパワーを提供する。
• 参考スコア（独自算出の注目度）: 0.5999777817331317
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing capabilities of Machine Learning (ML) models go hand in hand with an immense amount of data and computational power required for training. Therefore, training is usually outsourced into HPC facilities, where we have started to experience limits in scaling conventional HPC hardware, as theorized by Moore's law. Despite heavy parallelization and optimization efforts, current state-of-the-art ML models require weeks for training, which is associated with an enormous $CO_2$ footprint. Quantum Computing, and specifically Quantum Machine Learning (QML), can offer significant theoretical speed-ups and enhanced expressive power. However, training QML models requires tuning various hyperparameters, which is a nontrivial task and suboptimal choices can highly affect the trainability and performance of the models. In this study, we identify the most impactful hyperparameters and collect data about the performance of QML models. We compare different configurations and provide researchers with performance data and concrete suggestions for hyperparameter selection.
• Abstract（参考訳）: 機械学習(ML)モデルの能力の増大は、トレーニングに必要な膨大なデータと計算能力と相まって行く。 したがって、トレーニングは通常HPCの施設にアウトソースされ、ムーアの法則によって理論化されたように、従来のHPCハードウェアのスケーリングの限界を経験し始めた。 大量の並列化と最適化の努力にもかかわらず、現在の最先端のMLモデルはトレーニングに数週間を必要としており、これは巨大なCO_2$フットプリントと関連している。 量子コンピューティング、特に量子機械学習(QML)は、理論的なスピードアップと表現力の向上を提供する。 しかし、QMLモデルのトレーニングには、非自明なタスクである様々なハイパーパラメータをチューニングする必要がある。 本研究では,最も影響の大きいハイパーパラメータを特定し,QMLモデルの性能に関するデータを収集する。 異なる構成を比較し、ハイパパラメータ選択のためのパフォーマンスデータと具体的な提案を研究者に提供する。

関連論文リスト

• Leveraging Pre-Trained Neural Networks to Enhance Machine Learning with Variational Quantum Circuits [48.33631905972908]
  我々は、事前学習されたニューラルネットワークを用いて変分量子回路(VQC)を強化する革新的なアプローチを導入する。 この手法は近似誤差をキュービット数から効果的に分離し、制約条件の必要性を除去する。 我々の結果はヒトゲノム解析などの応用にまで拡張され、我々のアプローチの幅広い適用性を示している。
  論文  参考訳（メタデータ） (2024-11-13T12:03:39Z)
• Optimization Hyper-parameter Laws for Large Language Models [56.322914260197734]
  ハイパーパラメータとトレーニング結果の関係をキャプチャするフレームワークであるOps-Lawsを提案する。 さまざまなモデルサイズとデータスケールにわたる検証は、Opt-Lawsのトレーニング損失を正確に予測する能力を示しています。 このアプローチは、全体的なモデル性能を高めながら、計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2024-09-07T09:37:19Z)
• EfficientQAT: Efficient Quantization-Aware Training for Large Language Models [50.525259103219256]
  量子化対応トレーニング(QAT)は、低ビット表現によるメモリ消費を最小限の精度で削減することで、ソリューションを提供する。 より有効なQATアルゴリズムであるEfficient QAT(Efficient Quantization-Aware Training)を提案する。 効率的なQATは、全てのパラメータのブロックワイドトレーニング(Block-AP)と量子化パラメータのエンドツーエンドトレーニング(E2E-QP)の2つのフェーズを含む。
  論文  参考訳（メタデータ） (2024-07-10T17:53:30Z)
• Model Performance Prediction for Hyperparameter Optimization of Deep Learning Models Using High Performance Computing and Quantum Annealing [0.0]
  モデル性能予測を早期停止法と組み合わせることで,ディープラーニングモデルのHPOプロセスの高速化が期待できることを示す。 我々は,古典的あるいは量子的サポートベクター回帰を性能予測に用いるSwift-Hyperbandと呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-29T10:32:40Z)
• QKSAN: A Quantum Kernel Self-Attention Network [53.96779043113156]
  量子カーネル法(Quantum Kernel Methods, QKM)のデータ表現能力とSAMの効率的な情報抽出能力を組み合わせた量子カーネル自己認識機構(Quantum Kernel Self-Attention Mechanism, QKSAM)を導入する。 量子カーネル自己保持ネットワーク(QKSAN)フレームワークは,DMP(Dederred Measurement Principle)と条件測定技術を巧みに組み込んだQKSAMに基づいて提案されている。 4つのQKSANサブモデルはPennyLaneとIBM Qiskitプラットフォームにデプロイされ、MNISTとFashion MNISTのバイナリ分類を実行する。
  論文  参考訳（メタデータ） (2023-08-25T15:08:19Z)
• Reflection Equivariant Quantum Neural Networks for Enhanced Image Classification [0.7232471205719458]
  我々は、データに固有の対称性を明示的に尊重する新しい機械学習モデル、いわゆる幾何量子機械学習(GQML)を構築した。 これらのネットワークは、複雑な実世界の画像データセットに対する一般的なアンサーゼを一貫して、そして著しく向上させることができる。
  論文  参考訳（メタデータ） (2022-12-01T04:10:26Z)
• Subtleties in the trainability of quantum machine learning models [0.0]
  本稿では,変分量子アルゴリズムの勾配スケーリング結果を用いて,量子機械学習モデルの勾配スケーリングについて検討する。 以上の結果から,VQAトレーサビリティの低下がQMLのバレンプラトーなどの問題を引き起こす可能性が示唆された。
  論文  参考訳（メタデータ） (2021-10-27T20:28:53Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Towards Efficient Post-training Quantization of Pre-trained Language Models [85.68317334241287]
  PLMのポストトレーニング量子化(PTQ)について検討し,モジュール単位の量子化誤差最小化(MREM)を提案する。 GLUEとSQuADベンチマークの実験により、提案したPTQソリューションはQATに近く動作するだけでなく、トレーニング時間、メモリオーバーヘッド、データ消費を大幅に削減できることがわかった。
  論文  参考訳（メタデータ） (2021-09-30T12:50:06Z)
• Distributed Training and Optimization Of Neural Networks [0.0]
  ディープラーニングモデルは、複数の要因のおかげで、ますますパフォーマンスが向上しています。 成功させるために、モデルは多数のパラメータや複雑なアーキテクチャを持ち、大きなデータセットでトレーニングされる。 これにより、コンピューティングリソースに対する大きな要求が生まれ、時間を振り返ることになります。
  論文  参考訳（メタデータ） (2020-12-03T11:18:46Z)
• Multi-level Training and Bayesian Optimization for Economical Hyperparameter Optimization [12.92634461859467]
  本稿では,ハイパーパラメータ最適化に必要なトレーニング時間の総量を削減するための効果的な手法を開発する。 光のトレーニングによって生じる近似的な性能測定をキャリブレーションするために, トランキャット付加法ガウス過程モデルを提案する。 このモデルに基づいて、逐次モデルに基づくアルゴリズムが開発され、構成空間のパフォーマンスプロファイルを生成し、最適なモデルを見つける。
  論文  参考訳（メタデータ） (2020-07-20T09:03:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。