論文の概要: Exponentially many initializations to avoid barren plateaus

• arxiv url: http://arxiv.org/abs/2606.18515v1
• Date: Tue, 16 Jun 2026 22:07:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:50.910465
• Title: Exponentially many initializations to avoid barren plateaus
• Title（参考訳）: 不毛高原を避けるための指数的に多くの初期化
• Authors: Ankit Kulshrestha, Ricard Puig, Diego García-Martín, Lukasz Cincio, Ilya Safro, Zoë Holmes, M. Cerezo,
• Abstract要約: バレン高原は平均ケース現象として述べられており、アンザッツを摘み、それを鼻で初期化し、濃度が続く。 バレンプラトーの潜在的な治療法は、単にパラメータをより慎重に初期化することである。
• 参考スコア（独自算出の注目度）: 0.6282171844772423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Barren plateaus are stated as an average-case phenomenon: pick an ansatz, initialize it naively, and concentration follows. This has led to the common view that a potential cure for barren plateaus is simply to initialize the parameters more carefully. Here we show that the situation is subtler. We introduce a first-moment framework that gives a simple operator-level diagnostic for when an initialization may escape the fully concentrated barren-plateau fixed point, and for comparing the biases induced by different initialization strategies. Our framework recovers several known initialization schemes such as identity and Gaussian initialization, but also shows that barren-plateau avoidance is highly non-unique. Indeed, many shifted, biased, and non-symmetric parameter distributions can avoid concentration, and these choices need not be equivalent. In fact, our results show that one can generate exponentially many families of inequivalent initialization strategies. Then, our numerics indicate that different first-moment-distinct initializations can lead to different attained minima, suggesting that avoiding barren plateaus via smart initializations can trade the exponential concentration problem for the challenge of selecting the right trainable pocket amongst many options.
• Abstract（参考訳）: バレン高原は平均ケース現象として述べられており、アンザッツを摘み、それを鼻で初期化し、濃度が続く。 これは、バレンプラトーの潜在的な治療法は単にパラメータをより慎重に初期化することである、という一般的な見解につながった。 ここでは状況が微妙であることを示す。 初期化が完全に集中したバレンプラトー固定点から脱却する際の簡単な演算子レベル診断を行うための第1モーメントフレームワークを導入し、異なる初期化戦略によって引き起こされるバイアスを比較する。 我々のフレームワークはアイデンティティやガウスの初期化といったいくつかの既知の初期化スキームを復元するが、バレンプラトー回避は非普遍的であることも示している。 実際、多くのシフト、バイアス、非対称パラメータ分布は集中を避けることができ、これらの選択は等価である必要はない。 実際、我々の結果は、指数関数的に多くの非等価な初期化戦略を生成できることを示している。 以上の結果から,初歩別初期化によって達成できる最小値が異なることが示唆され,スマートイニシャライゼーションによるバレン高原の回避は,多くの選択肢の中で適切なトレーニング可能なポケットを選択することの課題として指数集中問題を交換できることが示唆された。

関連論文リスト

• Semi-Supervised Laplace Learning on Stiefel Manifolds [48.3427853588646]
  グラフベースで教師付きサンプルを低ラベルレートで作成するためのフレームワークSequential Subspaceを開発した。 我々の手法は極めて低いレートで、高いラベルレートで達成できる。
  論文  参考訳（メタデータ） (2023-07-31T20:19:36Z)
• Restarts subject to approximate sharpness: A parameter-free and optimal scheme for first-order methods [0.6554326244334866]
  シャープネス(Sharpness)は、目的関数の準最適性によってミニマからの距離を束縛する連続最適化における仮定である。 シャープネスは、通常不明な問題固有の定数を伴い、再起動スキームは通常収束率を減少させる。 対象関数の誤差に未知の定数摂動を組み込んだシャープネスの一般化である近似シャープネスの仮定を考察する。
  論文  参考訳（メタデータ） (2023-01-05T19:01:41Z)
• BEINIT: Avoiding Barren Plateaus in Variational Quantum Algorithms [0.7462336024223667]
  バレンプラトーは変分量子アルゴリズムの最適化において悪名高い問題である。 ベータ分布から引き出すことで、ユニタリゲートのパラメータを初期化する代替戦略を提案する。 提案手法は, 複雑な量子ニューラルネットワークがバレン高原で立ち往生する可能性を大幅に低減することを示す。
  論文  参考訳（メタデータ） (2022-04-28T19:46:10Z)
• E-detectors: a nonparametric framework for sequential change detection [86.15115654324488]
  逐次的変化検出のための基本的かつ汎用的なフレームワークを開発する。 私たちの手順は、平均走行距離のクリーンで無症状な境界が伴います。 統計的および計算効率の両方を達成するために,これらの混合物を設計する方法を示す。
  論文  参考訳（メタデータ） (2022-03-07T17:25:02Z)
• Towards strong pruning for lottery tickets with non-zero biases [6.85316573653194]
  宝くじの仮説は、ランダムに深いニューラルネットワークをプルーニングすることで、ディープラーニングに代わる効率的な代替手段が提供されることを約束している。 共通パラメータスキームと存在証明は、勾配バイアスがゼロのネットワークに焦点を当てている。 我々はこれらのスキームと存在証明を非ゼロバイアスに拡張し、ReLUアクティベーション関数に対する明示的な 'looks-linear' アプローチを含む。
  論文  参考訳（メタデータ） (2021-10-21T13:56:04Z)
• On the Implicit Bias of Initialization Shape: Beyond Infinitesimal Mirror Descent [55.96478231566129]
  学習モデルを決定する上で,相対スケールが重要な役割を果たすことを示す。 勾配流の誘導バイアスを導出する手法を開発した。
  論文  参考訳（メタデータ） (2021-02-19T07:10:48Z)
• Renormalization for Initialization of Rolling Shutter Visual-Inertial Odometry [5.33024001730262]
  初期化は慣性信号を使用し、それらを視覚データと融合させるための前提条件である。 カナタニの正規化スキームに投入することで、視覚的および慣性的データに関する問題を同時に解決する新しい統計解を提案する。 地上の真実に関する広範囲な評価は、当初提案されたLast Squaresソリューションよりも優れた性能と最大20%の精度の向上を示している。
  論文  参考訳（メタデータ） (2020-08-14T14:54:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。