論文の概要: Large Language Models Can Help Mitigate Barren Plateaus

• arxiv url: http://arxiv.org/abs/2502.13166v1
• Date: Mon, 17 Feb 2025 05:57:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:02:18.579027
• Title: Large Language Models Can Help Mitigate Barren Plateaus
• Title（参考訳）: 大規模言語モデルがバレン高原の緩和に役立つ
• Authors: Jun Zhuang, Chaowen Guan,
• Abstract要約: 量子ニューラルネットワーク(QNN)は様々な応用に期待できるアプローチとして登場したが、そのトレーニングはバレンプラトー(BP)によって妨げられていることが多い。 我々は,QNNの最適初期パラメータを反復的に探索し,勾配分散を最大化し,BPを緩和する新しいLarge Language Model (LLM) 型検索フレームワークであるAdaInitを提案する。
• 参考スコア（独自算出の注目度）: 2.384873896423002
• License:
• Abstract: In the era of noisy intermediate-scale quantum (NISQ) computing, Quantum Neural Networks (QNNs) have emerged as a promising approach for various applications, yet their training is often hindered by barren plateaus (BPs), where gradient variance vanishes exponentially as the model size increases. To address this challenge, we propose a new Large Language Model (LLM)-driven search framework, AdaInit, that iteratively searches for optimal initial parameters of QNNs to maximize gradient variance and therefore mitigate BPs. Unlike conventional one-time initialization methods, AdaInit dynamically refines QNN's initialization using LLMs with adaptive prompting. Theoretical analysis of the Expected Improvement (EI) proves a supremum for the search, ensuring this process can eventually identify the optimal initial parameter of the QNN. Extensive experiments across four public datasets demonstrate that AdaInit significantly enhances QNN's trainability compared to classic initialization methods, validating its effectiveness in mitigating BPs.
• Abstract（参考訳）: ノイズの多い中間規模量子 (NISQ) コンピューティングの時代、量子ニューラルネットワーク (QNN) は様々なアプリケーションにとって有望なアプローチとして現れてきたが、そのトレーニングはモデルサイズが大きくなるにつれて勾配のばらつきが指数関数的に消える不規則な台地 (BP) によって妨げられることが多い。 この課題に対処するため,我々は,QNNの最適初期パラメータを反復的に探索して勾配分散を最大化し,BPを緩和する,新しいLarge Language Model (LLM) による検索フレームワークであるAdaInitを提案する。 従来のワンタイム初期化手法とは異なり、AdaInitは適応的なプロンプトを持つLLMを用いてQNNの初期化を動的に洗練する。 期待された改善(EI)の理論解析は、探索の上限を証明し、このプロセスが最終的にQNNの最適初期パラメータを識別できるようにする。 4つの公開データセットにわたる大規模な実験により、AdaInitは古典的な初期化手法と比較してQNNのトレーニング可能性を大幅に向上し、BPの緩和効果が検証された。

関連論文リスト

• Enhancing GNNs Performance on Combinatorial Optimization by Recurrent Feature Update [0.09986418756990156]
  本稿では,組合せ最適化(CO)問題を効率よく解くために,GNNのパワーを活用して,QRF-GNNと呼ぶ新しいアルゴリズムを提案する。 QUBO緩和による損失関数の最小化による教師なし学習に依存している。 実験の結果、QRF-GNNは既存の学習ベースアプローチを大幅に上回り、最先端の手法に匹敵することがわかった。
  論文  参考訳（メタデータ） (2024-07-23T13:34:35Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Pointer Networks with Q-Learning for Combinatorial Optimization [55.2480439325792]
  我々は、モデルフリーQ値ポリシー近似をPointer Networks(Ptr-Nets)と統合したハイブリッドニューラルネットワークであるPointer Q-Network(PQN)を紹介する。 実験により,本手法の有効性を実証し,不安定な環境でモデルをテストする。
  論文  参考訳（メタデータ） (2023-11-05T12:03:58Z)
• Challenges of variational quantum optimization with measurement shot noise [0.0]
  問題の大きさが大きくなるにつれて、量子資源のスケーリングが一定の成功確率に達するか検討する。 この結果から,ハイブリッド量子古典アルゴリズムは古典外ループの破壊力を回避する必要がある可能性が示唆された。
  論文  参考訳（メタデータ） (2023-07-31T18:01:15Z)
• AskewSGD : An Annealed interval-constrained Optimisation method to train Quantized Neural Networks [12.229154524476405]
  我々は、深層ニューラルネットワーク(DNN)を量子化重みでトレーニングするための新しいアルゴリズム、Annealed Skewed SGD - AskewSGDを開発した。 アクティブなセットと実行可能な方向を持つアルゴリズムとは異なり、AskewSGDは実行可能な全セットの下でのプロジェクションや最適化を避けている。 実験結果から,AskewSGDアルゴリズムは古典的ベンチマークの手法と同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-11-07T18:13:44Z)
• LAWS: Look Around and Warm-Start Natural Gradient Descent for Quantum Neural Networks [11.844238544360149]
  Vari Quantum Algorithm (VQA) は、ノイズ中間スケール量子コンピュータ (NISQ) における有望な性能のために最近注目されている。 パラメータ化量子回路(PQC)上でランダムなパラメータを持つVQAは、勾配が量子ビット数で指数関数的に消えるバレンプラトー(BP)によって特徴づけられる。 本稿では、古典的な1次最適化点から、VQAでよく使われるアルゴリズムの1つである量子自然勾配(QNG)について述べる。 そして、私たちはアンダーラインAroundアンダーラインを提案しました。
  論文  参考訳（メタデータ） (2022-05-05T14:16:40Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• Filter Pre-Pruning for Improved Fine-tuning of Quantized Deep Neural Networks [0.0]
  本稿では,DNNの微調整を妨害するフィルタを除去するPruning for Quantization (PfQ)と呼ばれる新しいプルーニング手法を提案する。 良く知られたモデルとデータセットを用いた実験により,提案手法が類似したモデルサイズで高い性能を実現することを確認した。
  論文  参考訳（メタデータ） (2020-11-13T04:12:54Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Optimistic Exploration even with a Pessimistic Initialisation [57.41327865257504]
  最適初期化は強化学習(RL)における効率的な探索のための効果的な戦略である 特に、正の報酬しか持たないシナリオでは、Q-値はその最低値で初期化される。 本稿では、ニューラルネットワークから楽観性の源を分離する、悲観的に初期化されたQ値に対する単純なカウントベースの拡張を提案する。
  論文  参考訳（メタデータ） (2020-02-26T17:15:53Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。