論文の概要: Large Language Models Can Help Mitigate Barren Plateaus

• arxiv url: http://arxiv.org/abs/2502.13166v1
• Date: Mon, 17 Feb 2025 05:57:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 20:12:09.715633
• Title: Large Language Models Can Help Mitigate Barren Plateaus
• Title（参考訳）: 大規模言語モデルがバレン高原の緩和に役立つ
• Authors: Jun Zhuang, Chaowen Guan,
• Abstract要約: 量子ニューラルネットワーク(QNN)は様々な応用に期待できるアプローチとして登場したが、そのトレーニングはバレンプラトー(BP)によって妨げられていることが多い。 我々は,QNNの最適初期パラメータを反復的に探索し,勾配分散を最大化し,BPを緩和する新しいLarge Language Model (LLM) 型検索フレームワークであるAdaInitを提案する。
• 参考スコア（独自算出の注目度）: 2.384873896423002
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the era of noisy intermediate-scale quantum (NISQ) computing, Quantum Neural Networks (QNNs) have emerged as a promising approach for various applications, yet their training is often hindered by barren plateaus (BPs), where gradient variance vanishes exponentially as the model size increases. To address this challenge, we propose a new Large Language Model (LLM)-driven search framework, AdaInit, that iteratively searches for optimal initial parameters of QNNs to maximize gradient variance and therefore mitigate BPs. Unlike conventional one-time initialization methods, AdaInit dynamically refines QNN's initialization using LLMs with adaptive prompting. Theoretical analysis of the Expected Improvement (EI) proves a supremum for the search, ensuring this process can eventually identify the optimal initial parameter of the QNN. Extensive experiments across four public datasets demonstrate that AdaInit significantly enhances QNN's trainability compared to classic initialization methods, validating its effectiveness in mitigating BPs.
• Abstract（参考訳）: ノイズの多い中間規模量子 (NISQ) コンピューティングの時代、量子ニューラルネットワーク (QNN) は様々なアプリケーションにとって有望なアプローチとして現れてきたが、そのトレーニングはモデルサイズが大きくなるにつれて勾配のばらつきが指数関数的に消える不規則な台地 (BP) によって妨げられることが多い。 この課題に対処するため,我々は,QNNの最適初期パラメータを反復的に探索して勾配分散を最大化し,BPを緩和する,新しいLarge Language Model (LLM) による検索フレームワークであるAdaInitを提案する。 従来のワンタイム初期化手法とは異なり、AdaInitは適応的なプロンプトを持つLLMを用いてQNNの初期化を動的に洗練する。 期待された改善(EI)の理論解析は、探索の上限を証明し、このプロセスが最終的にQNNの最適初期パラメータを識別できるようにする。 4つの公開データセットにわたる大規模な実験により、AdaInitは古典的な初期化手法と比較してQNNのトレーニング可能性を大幅に向上し、BPの緩和効果が検証された。

関連論文リスト

• From Shallow Bayesian Neural Networks to Gaussian Processes: General Convergence, Identifiability and Scalable Inference [0.0]
  ガウス過程(GP)への接続による浅ベイズニューラルネットワーク(BNN)のスケーリング限界について検討する。 まず, BNN から GP への一般収束結果を事前定式化に使用する仮定を緩和し, 限定GP モデルの代替パラメータ化を比較する。 入力設計において,正の定性や厳密かつ実用的な識別性を含む重要な特性を特徴付ける。 計算のために,Nystrm近似を用いた拡張性のある最大値(MAP)トレーニングと予測手法を開発し,Nystrmランクとアンカー選択がコスト-精度取引をどのように制御するかを示す。
  論文  参考訳（メタデータ） (2026-02-26T00:02:54Z)
• Uncertainty-Preserving QBNNs: Multi-Level Quantization of SVI-Based Bayesian Neural Networks for Image Classification [9.160739594332036]
  変分推論に基づくBNNのための体系的マルチレベル量子化フレームワークを提案する。 分類精度と不確かさの両面を保ちながら,BNNを4ビット精度まで量子化できることを実証した。
  論文  参考訳（メタデータ） (2025-12-11T12:51:42Z)
• PointNSP: Autoregressive 3D Point Cloud Generation with Next-Scale Level-of-Detail Prediction [87.33016661440202]
  自動回帰ポイントクラウド生成は、長い間、拡散ベースの品質アプローチに遅れを取ってきた。 低解像度で大域的な形状を保った粗大な生成フレームワークであるPointNSPを提案する。 ShapeNetの実験によると、PointNSPは自己回帰パラダイムの中で初めて、最先端(SOTA)生成品質を確立している。
  論文  参考訳（メタデータ） (2025-10-07T06:31:02Z)
• Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
  大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。 NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。 我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
  論文  参考訳（メタデータ） (2025-09-22T15:13:14Z)
• Neural Bridge Processes [21.702709965353804]
  本稿では,入力xが拡散軌道全体の動的アンカーとして機能する関数をモデル化する手法を提案する。 合成データ,脳波信号レグレッション,画像レグレッションタスクにおいてNBPを検証し,ベースラインよりも大幅に改善した。
  論文  参考訳（メタデータ） (2025-08-10T07:44:52Z)
• Partially-Supervised Neural Network Model For Quadratic Multiparametric Programming [2.765106384328772]
  本研究では,大域的解関数の数学的構造を直接表現する部分教師付きNNアーキテクチャを提案する。 汎用的なNNトレーニング手法とは対照的に,PSNN法は最適化問題の数学的性質から直接モデル重みを導出する。
  論文  参考訳（メタデータ） (2025-06-05T20:26:18Z)
• Q-MAML: Quantum Model-Agnostic Meta-Learning for Variational Quantum Algorithms [4.525216077859531]
  モデル非依存メタラーニング(MAML)技術にインスパイアされた古典的手法を用いて,パラメータ化量子回路(PQC)を最適化するための新しいフレームワークを提案する。 我々のフレームワークはLearnerと呼ばれる古典的なニューラルネットワークを備えており、Learnerの出力を初期パラメータとしてPQCと相互作用する。 適応フェーズでは、学習者は変わらないまま、より正確な値に収束するために、いくつかのPQC更新しか必要としない。
  論文  参考訳（メタデータ） (2025-01-10T12:07:00Z)
• Compact Multi-Threshold Quantum Information Driven Ansatz For Strongly Interactive Lattice Spin Models [0.0]
  近似量子相互情報(QMI)に基づくアンザッツ建築の体系的手順を提案する。 提案手法は,QMI値に基づいて各層の量子ビット対が選択される層状アンサッツを生成し,より効率的な状態生成と最適化ルーチンを実現する。 その結果,Multi-QIDA法は高い精度を維持しながら計算複雑性を低減し,格子スピンモデルにおける量子シミュレーションに有望なツールであることがわかった。
  論文  参考訳（メタデータ） (2024-08-05T17:07:08Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Pointer Networks with Q-Learning for Combinatorial Optimization [55.2480439325792]
  我々は、モデルフリーQ値ポリシー近似をPointer Networks(Ptr-Nets)と統合したハイブリッドニューラルネットワークであるPointer Q-Network(PQN)を紹介する。 実験により,本手法の有効性を実証し,不安定な環境でモデルをテストする。
  論文  参考訳（メタデータ） (2023-11-05T12:03:58Z)
• Domain Generalization Guided by Gradient Signal to Noise Ratio of Parameters [69.24377241408851]
  ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。 本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
  論文  参考訳（メタデータ） (2023-10-11T10:21:34Z)
• Challenges of variational quantum optimization with measurement shot noise [0.0]
  問題の大きさが大きくなるにつれて、量子資源のスケーリングが一定の成功確率に達するか検討する。 この結果から,ハイブリッド量子古典アルゴリズムは古典外ループの破壊力を回避する必要がある可能性が示唆された。
  論文  参考訳（メタデータ） (2023-07-31T18:01:15Z)
• AskewSGD : An Annealed interval-constrained Optimisation method to train Quantized Neural Networks [12.229154524476405]
  我々は、深層ニューラルネットワーク(DNN)を量子化重みでトレーニングするための新しいアルゴリズム、Annealed Skewed SGD - AskewSGDを開発した。 アクティブなセットと実行可能な方向を持つアルゴリズムとは異なり、AskewSGDは実行可能な全セットの下でのプロジェクションや最適化を避けている。 実験結果から,AskewSGDアルゴリズムは古典的ベンチマークの手法と同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-11-07T18:13:44Z)
• LAWS: Look Around and Warm-Start Natural Gradient Descent for Quantum Neural Networks [11.844238544360149]
  Vari Quantum Algorithm (VQA) は、ノイズ中間スケール量子コンピュータ (NISQ) における有望な性能のために最近注目されている。 パラメータ化量子回路(PQC)上でランダムなパラメータを持つVQAは、勾配が量子ビット数で指数関数的に消えるバレンプラトー(BP)によって特徴づけられる。 本稿では、古典的な1次最適化点から、VQAでよく使われるアルゴリズムの1つである量子自然勾配(QNG)について述べる。 そして、私たちはアンダーラインAroundアンダーラインを提案しました。
  論文  参考訳（メタデータ） (2022-05-05T14:16:40Z)
• FLIP: A flexible initializer for arbitrarily-sized parametrized quantum circuits [105.54048699217668]
  任意サイズのパラメタライズド量子回路のためのFLexible Initializerを提案する。 FLIPは任意の種類のPQCに適用することができ、初期パラメータの一般的なセットに頼る代わりに、成功したパラメータの構造を学ぶように調整されている。 本稿では, 3つのシナリオにおいてFLIPを用いることの利点を述べる。不毛な高原における問題ファミリ, 最大カット問題インスタンスを解くPQCトレーニング, 1次元フェルミ-ハッバードモデルの基底状態エネルギーを求めるPQCトレーニングである。
  論文  参考訳（メタデータ） (2021-03-15T17:38:33Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• Filter Pre-Pruning for Improved Fine-tuning of Quantized Deep Neural Networks [0.0]
  本稿では,DNNの微調整を妨害するフィルタを除去するPruning for Quantization (PfQ)と呼ばれる新しいプルーニング手法を提案する。 良く知られたモデルとデータセットを用いた実験により,提案手法が類似したモデルサイズで高い性能を実現することを確認した。
  論文  参考訳（メタデータ） (2020-11-13T04:12:54Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Optimistic Exploration even with a Pessimistic Initialisation [57.41327865257504]
  最適初期化は強化学習(RL)における効率的な探索のための効果的な戦略である 特に、正の報酬しか持たないシナリオでは、Q-値はその最低値で初期化される。 本稿では、ニューラルネットワークから楽観性の源を分離する、悲観的に初期化されたQ値に対する単純なカウントベースの拡張を提案する。
  論文  参考訳（メタデータ） (2020-02-26T17:15:53Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。