論文の概要: Barren plateaus are swamped with traps

• arxiv url: http://arxiv.org/abs/2405.05332v1
• Date: Wed, 8 May 2024 18:04:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-10 15:02:12.541517
• Title: Barren plateaus are swamped with traps
• Title（参考訳）: バレン高原はトラップで沼地になっている
• Authors: Nikita A. Nemkov, Evgeniy O. Kiktenko, Aleksey K. Fedorov,
• Abstract要約: 変分量子アルゴリズムと量子機械学習モデルの効率的なトレーニングを防止する2つの主な課題は、局所ミニマとバレンプラトーである。 本研究では,バレン高原に限らず,多くの局所性ミニマを指数関数的に生成する単純なメカニズムを指摘する。 より正確には、近似局所ミニマの存在を示し、単一の損失項を最適化し、正確な局所ミニマの存在を予想する。
• 参考スコア（独自算出の注目度）: 0.70224924046445
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Two main challenges preventing efficient training of variational quantum algorithms and quantum machine learning models are local minima and barren plateaus. Typically, barren plateaus are associated with deep circuits, while shallow circuits have been shown to suffer from suboptimal local minima. We point out a simple mechanism that creates exponentially many poor local minima specifically in the barren plateau regime. These local minima are trivial solutions, optimizing only a few terms in the loss function, leaving the rest on their barren plateaus. More precisely, we show the existence of approximate local minima, optimizing a single loss term, and conjecture the existence of exact local minima, optimizing only a logarithmic fraction of all loss function terms. One implication of our findings is that simply yielding large gradients is not sufficient to render an initialization strategy a meaningful solution to the barren plateau problem.
• Abstract（参考訳）: 変分量子アルゴリズムと量子機械学習モデルの効率的なトレーニングを防止する2つの主な課題は、局所ミニマとバレンプラトーである。 通常、バレンプラトーは深い回路と結びついており、浅い回路は極小の局所的な極小腫に悩まされていることが示されている。 本研究では,バレン高原に限らず,多くの局所性ミニマを指数関数的に生成する単純なメカニズムを指摘する。 これらの局所ミニマは自明な解であり、損失関数のいくつかの項だけを最適化し、残りはバレン高原に残される。 より正確には、近似局所極小の存在を示し、単一の損失項を最適化し、正確な局所極小の存在を予想し、すべての損失関数項の対数分数のみを最適化する。 以上の結果から,初期化戦略をバレン高原問題に対する有意義な解に導くには,単に大きな勾配を生じるだけでは不十分であることが示唆された。

関連論文リスト

• Two-timescale Extragradient for Finding Local Minimax Points [8.056359341994941]
  ミニマックス問題の解法として, 2時間スケールのエクストラグレード法が有効であることを示す。 この研究は、局所ミニマックス点の発見に関する過去のすべての結果に対して、確実に改善する。
  論文  参考訳（メタデータ） (2023-05-25T16:52:26Z)
• How to escape sharp minima with random perturbations [48.095392390925745]
  平らなミニマの概念とそれらを見つける複雑さについて研究する。 一般的なコスト関数に対して、近似平坦な局所最小値を求める勾配に基づくアルゴリズムについて論じる。 コスト関数がトレーニングデータよりも経験的リスクであるような環境では、シャープネス認識最小化と呼ばれる最近提案された実用的なアルゴリズムにインスパイアされたより高速なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-25T02:12:33Z)
• Decentralized Riemannian Algorithm for Nonconvex Minimax Problems [82.50374560598493]
  ニューラルネットワークのためのミニマックスアルゴリズムは、多くの問題を解決するために開発された。 本稿では,2種類のミニマックスアルゴリズムを提案する。 そこで我々は, DRSGDAを提案し, 本手法が勾配を達成することを証明した。
  論文  参考訳（メタデータ） (2023-02-08T01:42:45Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Unveiling the structure of wide flat minima in neural networks [0.46664938579243564]
  ディープラーニングは、科学全体にわたるネットワークの応用の可能性を明らかにしている。 ディープラーニングの成功は、科学全体にわたるネットワークの適用可能性を明らかにしている。
  論文  参考訳（メタデータ） (2021-07-02T16:04:57Z)
• Combining resampling and reweighting for faithful stochastic optimization [1.52292571922932]
  損失関数が複数の項の和であるとき、一般的な方法は勾配降下である。 損失関数における複数の項のリプシッツ定数の差は、異なる最小値における異なる分散への勾配降下を引き起こすことを示す。
  論文  参考訳（メタデータ） (2021-05-31T04:21:25Z)
• The layer-wise L1 Loss Landscape of Neural Nets is more complex around local minima [3.04585143845864]
  我々はDeep ReLU Simplexアルゴリズムを用いて隣接頂点における損失を単調に最小化する。 局所最小値の周りの近所では、反復は、損失レベルと局所最小値の近接に関する結論が発見される前に行われるように異なる行動をとる。 これは新しい勾配-descentアルゴリズムの設計に広範な影響をもたらす可能性がある。
  論文  参考訳（メタデータ） (2021-05-06T17:18:44Z)
• Why Do Local Methods Solve Nonconvex Problems? [54.284687261929115]
  非使用最適化は、現代の機械学習においてユビキタスである。 機械学習問題の場合、厳格に定式化します。 我々はこの現象の統一的な説明を仮定する。
  論文  参考訳（メタデータ） (2021-03-24T19:34:11Z)
• Escaping Saddle Points in Distributed Newton's Method with Communication efficiency and Byzantine Resilience [49.379254729853756]
  我々は、ビザンチン機械の存在下で分散フレームワークにおける非正規化損失関数(サドルポイント付き)を最適化する問題を検討する。 キューブ正規化されたニュートンアルゴリズムを堅牢化し、サドルポイントと偽のローカルミニマを効率的に回避します。 提案手法は, (サブサンプリング) と hessian を含むいくつかの近似設定で理論的に保証される。
  論文  参考訳（メタデータ） (2021-03-17T03:53:58Z)
• How Many Samples is a Good Initial Point Worth in Low-rank Matrix Recovery? [12.589519278962378]
  非ランク行列回復問題には、急激な局所最小値が含まれない。 初期推定値の品質とそれに対応するデータ要求量の減少との関係を定量化する。
  論文  参考訳（メタデータ） (2020-06-12T02:47:03Z)
• A Diffusion Theory For Deep Learning Dynamics: Stochastic Gradient Descent Exponentially Favors Flat Minima [91.11332770406007]
  グラディエントDescent (SGD) は, 鋭いミニマよりも指数関数的に平坦なミニマを好んでいる。 また、小さな学習率か大規模なバッチトレーニングのどちらかが、ミニマから逃れるために指数関数的に多くのイテレーションを必要とすることも明らかにした。
  論文  参考訳（メタデータ） (2020-02-10T02:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。