論文の概要: Learning Multi-Index Models with Neural Networks via Mean-Field Langevin Dynamics

• arxiv url: http://arxiv.org/abs/2408.07254v1
• Date: Wed, 14 Aug 2024 02:13:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-15 14:25:40.013736
• Title: Learning Multi-Index Models with Neural Networks via Mean-Field Langevin Dynamics
• Title（参考訳）: 平均場ランゲヴィンダイナミクスを用いたニューラルネットワークを用いたマルチインデックスモデルの学習
• Authors: Alireza Mousavi-Hosseini, Denny Wu, Murat A. Erdogdu,
• Abstract要約: 平均場ランゲヴィンアルゴリズムを用いて学習した2層ニューラルネットワークを用いて,高次元のマルチインデックスモデルを学習する問題について検討する。 軽度の分布仮定の下では、サンプルと計算の複雑さの両方を制御する実効次元 $d_mathrmeff$ を特徴づける。
• 参考スコア（独自算出の注目度）: 21.55547541297847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of learning multi-index models in high-dimensions using a two-layer neural network trained with the mean-field Langevin algorithm. Under mild distributional assumptions on the data, we characterize the effective dimension $d_{\mathrm{eff}}$ that controls both sample and computational complexity by utilizing the adaptivity of neural networks to latent low-dimensional structures. When the data exhibit such a structure, $d_{\mathrm{eff}}$ can be significantly smaller than the ambient dimension. We prove that the sample complexity grows almost linearly with $d_{\mathrm{eff}}$, bypassing the limitations of the information and generative exponents that appeared in recent analyses of gradient-based feature learning. On the other hand, the computational complexity may inevitably grow exponentially with $d_{\mathrm{eff}}$ in the worst-case scenario. Motivated by improving computational complexity, we take the first steps towards polynomial time convergence of the mean-field Langevin algorithm by investigating a setting where the weights are constrained to be on a compact manifold with positive Ricci curvature, such as the hypersphere. There, we study assumptions under which polynomial time convergence is achievable, whereas similar assumptions in the Euclidean setting lead to exponential time complexity.
• Abstract（参考訳）: 平均場ランゲヴィンアルゴリズムを用いて学習した2層ニューラルネットワークを用いて,高次元のマルチインデックスモデルを学習する問題について検討する。 ニューラルネットワークの潜伏低次元構造への適応性を利用して,サンプルと計算の複雑さを制御できる実効次元 $d_{\mathrm{eff}}$ を特徴付ける。 データがそのような構造を示すとき、$d_{\mathrm{eff}}$は周囲の次元よりもかなり小さい。 我々は,最近の勾配に基づく特徴学習の分析で現れる情報や生成指数の制限を回避して,サンプルの複雑さが$d_{\mathrm{eff}}$でほぼ直線的に増加することを証明した。 一方、計算複雑性は必然的に、最悪のシナリオでは$d_{\mathrm{eff}}$で指数関数的に増加する。 計算複雑性を改善することにより動機付けされ、超球面のような正のリッチ曲率を持つコンパクト多様体上の重みが制約されるような環境で、平均場ランゲヴィンアルゴリズムの多項式時間収束に向けた第一歩を踏み出す。 そこで、多項式時間収束が達成可能な仮定について検討する一方、ユークリッド設定における同様の仮定は指数時間複雑性をもたらす。

関連論文リスト

• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• Limited Memory Online Gradient Descent for Kernelized Pairwise Learning with Dynamic Averaging [18.843097436906618]
  実例の独立性を必要としない軽量なOGDアルゴリズムを導入し、カーネル対学習に一般化する。 提案アルゴリズムは,ランダムな例と過去のデータを表す移動平均に基づいて勾配を構築し,その結果,O(T)$の複雑さに縛られたサブ線形後悔が生じる。 実世界のデータセットによるいくつかの実験では、複雑性技術がオフラインおよびオンラインシナリオでカーネルと線形勾配を上回ることが示されている。
  論文  参考訳（メタデータ） (2024-02-02T05:21:50Z)
• Polynomial-Time Solutions for ReLU Network Training: A Complexity Classification via Max-Cut and Zonotopes [70.52097560486683]
  我々は、ReLUネットワークの近似の難しさがマックス・カッツ問題の複雑さを反映しているだけでなく、特定の場合において、それと完全に一致することを証明した。 特に、$epsilonleqsqrt84/83-1approx 0.006$とすると、目的値に関して相対誤差$epsilon$でReLUネットワーク対象の近似グローバルデータセットを見つけることはNPハードであることが示される。
  論文  参考訳（メタデータ） (2023-11-18T04:41:07Z)
• Efficient SGD Neural Network Training via Sublinear Activated Neuron Identification [22.361338848134025]
  本稿では,ReLUの活性化をシフトする2層ニューラルネットワークについて,幾何学的探索によるサブ線形時間における活性化ニューロンの同定を可能にする。 また、我々のアルゴリズムは、係数ノルム上界$M$とエラー項$epsilon$の2次ネットワークサイズで$O(M2/epsilon2)$時間に収束できることを示す。
  論文  参考訳（メタデータ） (2023-07-13T05:33:44Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• Deep Networks and the Multiple Manifold Problem [15.144495799445824]
  マシンビジョンにおける応用をモデル化した二項分類タスクである多重多様体問題について検討し、深部完全連結ニューラルネットワークを用いて単位球面の2つの低次元部分多様体を分離する。 ネットワーク深さ$L$がデータの幾何的および統計的性質に対して大きい場合、ネットワーク幅は$L$で十分大きく成長することを示す。 本分析は,実際に動機付けられたモデル問題の文脈における奥行きと幅の具体的な利点を示す。
  論文  参考訳（メタデータ） (2020-08-25T19:20:00Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。