論文の概要: In almost all shallow analytic neural network optimization landscapes, efficient minimizers have strongly convex neighborhoods

• arxiv url: http://arxiv.org/abs/2504.08867v1
• Date: Fri, 11 Apr 2025 10:43:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:53:59.082748
• Title: In almost all shallow analytic neural network optimization landscapes, efficient minimizers have strongly convex neighborhoods
• Title（参考訳）: ほとんどすべての浅層解析ニューラルネットワーク最適化ランドスケープにおいて、効率的な最小化器は強い凸近傍を持つ
• Authors: Felix Benning, Steffen Dereich,
• Abstract要約: 浅層層ニューラルネットワークにより誘導される平均二乗誤差に対するこの特性の有意な有意性の解析を行った。 あるランダムに選択された回帰問題に対して、最適化のランドスケープはほぼ確実に効率の良い領域のモース関数であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Whether or not a local minimum of a cost function has a strongly convex neighborhood greatly influences the asymptotic convergence rate of optimizers. In this article, we rigorously analyze the prevalence of this property for the mean squared error induced by shallow, 1-hidden layer neural networks with analytic activation functions when applied to regression problems. The parameter space is divided into two domains: the 'efficient domain' (all parameters for which the respective realization function cannot be generated by a network having a smaller number of neurons) and the 'redundant domain' (the remaining parameters). In almost all regression problems on the efficient domain the optimization landscape only features local minima that are strongly convex. Formally, we will show that for certain randomly picked regression problems the optimization landscape is almost surely a Morse function on the efficient domain. The redundant domain has significantly smaller dimension than the efficient domain and on this domain, potential local minima are never isolated.
• Abstract（参考訳）: コスト関数の局所最小値が凸近傍を持つか否かは、オプティマイザの漸近収束率に大きな影響を与える。 本稿では, 回帰問題に適用した場合に, 解析的アクティベーション機能を持つ浅層1層ニューラルネットワークによって誘導される平均2乗誤差について, この特性の妥当性を厳密に解析する。 パラメータ空間は、「効率的な領域」(各実現関数がニューロンの数が少ないネットワークで生成できない全てのパラメータ)と「冗長領域」(残りのパラメータ)の2つの領域に分けられる。 効率的な領域上のほとんどすべての回帰問題において、最適化のランドスケープは、強く凸な局所ミニマのみを特徴とする。 形式的には、あるランダムに選択された回帰問題に対して、最適化のランドスケープはほぼ確実に効率の良い領域のモース関数であることを示す。 冗長領域は効率的な領域よりもかなり小さい次元を持ち、この領域では、潜在的局所ミニマは決して孤立しない。

関連論文リスト

• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Does a sparse ReLU network training problem always admit an optimum? [0.0]
  最適解の存在は、特にスパースReLUニューラルネットワークの文脈において、必ずしも保証されないことを示す。 特に,特定の疎度パターンを持つディープネットワークにおける最適化問題は,必ずしも最適パラメータを持つとは限らないことを示す。
  論文  参考訳（メタデータ） (2023-06-05T08:01:50Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Noisy Low-rank Matrix Optimization: Geometry of Local Minima and Convergence Rate [14.191310794366075]
  本稿では,機械学習における多種多様な応用を見出した低ランク行列最適化について述べる。 雑音モデルが任意である一般目的関数に対するランダムな汚職に対処できるフレームワークを開発する。 RIP定数が1/3$以上である場合、地平線付近の局所領域における問題の急激な局所最小値の幾何学を特徴付ける。
  論文  参考訳（メタデータ） (2022-03-08T07:44:47Z)
• Adaptive neural domain refinement for solving time-dependent differential equations [0.0]
  ニューラルネットワークを用いた微分方程式の古典的な解法は、解領域の離散化を伴う微分方程式を用いるニューラルネットワーク形式に基づいている。 このような重要かつ成功した戦略を、ニューラルネットワークベースのソリューションの分野に移行することが望ましい。 本稿では,時間依存問題の解決を目的とした新しい適応型ニューラルアプローチを提案する。
  論文  参考訳（メタデータ） (2021-12-23T13:19:07Z)
• Regret Bounds for Gaussian-Process Optimization in Large Domains [40.92207267407271]
  最適化戦略から得られる解の準最適性(ベイズ的単純後悔)の上限を与える。 これらの後悔の境界は、評価の数、ドメインサイズ、および検索された関数値の最適性の関係を照らす。 特に、評価の数が小さすぎて大域的な最適値が見つからなかったとしても、非自明な関数値を見つけることができる。
  論文  参考訳（メタデータ） (2021-04-29T05:19:03Z)
• Why Do Local Methods Solve Nonconvex Problems? [54.284687261929115]
  非使用最適化は、現代の機械学習においてユビキタスである。 機械学習問題の場合、厳格に定式化します。 我々はこの現象の統一的な説明を仮定する。
  論文  参考訳（メタデータ） (2021-03-24T19:34:11Z)
• Finding Global Minima via Kernel Approximations [90.42048080064849]
  関数評価のみに基づく滑らかな関数のグローバル最小化を考える。 本稿では,近似関数を共同でモデル化し,大域的最小値を求める手法を検討する。
  論文  参考訳（メタデータ） (2020-12-22T12:59:30Z)
• Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
  近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
  論文  参考訳（メタデータ） (2020-12-11T08:28:51Z)
• The Effects of Mild Over-parameterization on the Optimization Landscape of Shallow ReLU Neural Networks [36.35321290763711]
  我々は,教師と学生のネットワークが同じ数のニューロンを持つ場合,その目的がグローバルなミニマを強く囲むことを証明した。 非グロバルなミニマの場合、単一のニューロンだけを追加することで、非グロバルな最小値がサドルポイントとなることが証明される。
  論文  参考訳（メタデータ） (2020-06-01T15:13:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。