Fugu-MT 論文翻訳(概要): Mean-Field Analysis for Learning Subspace-Sparse Polynomials with Gaussian Input

論文の概要: Mean-Field Analysis for Learning Subspace-Sparse Polynomials with Gaussian Input

arxiv url: http://arxiv.org/abs/2402.08948v1
Date: Wed, 14 Feb 2024 05:34:24 GMT
ステータス: 処理完了
システム内更新日: 2024-02-15 16:57:14.144003
Title: Mean-Field Analysis for Learning Subspace-Sparse Polynomials with Gaussian Input
Title（参考訳）: ガウス入力による部分空間スパース多項式学習における平均場解析
Authors: Ziang Chen, Rong Ge
Abstract要約: 勾配降下と2層ニューラルネットワークを用いた部分空間スパース学習のための平均場流について検討する。我々はSGD学習に必要条件を確立する。
参考スコア（独自算出の注目度）: 12.51622200370015
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this work, we study the mean-field flow for learning subspace-sparse polynomials using stochastic gradient descent and two-layer neural networks, where the input distribution is standard Gaussian and the output only depends on the projection of the input onto a low-dimensional subspace. We propose a basis-free generalization of the merged-staircase property in Abbe et al. (2022) and establish a necessary condition for the SGD-learnability. In addition, we prove that the condition is almost sufficient, in the sense that a condition slightly stronger than the necessary condition can guarantee the exponential decay of the loss functional to zero.
Abstract（参考訳）: 本研究では,入力分布が標準ガウス型であり,出力が低次元部分空間への入力の投影にのみ依存する2層ニューラルネットワークを用いて,部分空間スパース多項式を学習するための平均場流れについて検討する。我々は,abbe et al. (2022) における統合階段特性の基底自由一般化を提案し,sgd-learnability に必要な条件を定式化する。加えて、条件が必要条件よりわずかに強い条件が損失汎関数の指数的減衰をゼロに保証できるという意味で、条件はほぼ十分であることが証明される。

関連論文リスト

A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文参考訳（メタデータ） (2024-04-18T16:46:08Z)
On the Identification and Optimization of Nonsmooth Superposition Operators in Semilinear Elliptic PDEs [3.045851438458641]
原型半線形楕円偏微分方程式(PDE)の非線形部分におけるネミトスキー作用素の同定を目的とした無限次元最適化問題について検討する。以前の研究とは対照的に、ネミトスキー作用素を誘導する関数が a-priori であることは、$H leakyloc(mathbbR)$ の要素であることが知られている。
論文参考訳（メタデータ） (2023-06-08T13:33:20Z)
Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文参考訳（メタデータ） (2023-04-17T14:23:43Z)
Score-based Diffusion Models in Function Space [137.70916238028306]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。この研究は、関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)と呼ばれる数学的に厳密なフレームワークを導入する。データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文参考訳（メタデータ） (2023-02-14T23:50:53Z)
Origins of Low-dimensional Adversarial Perturbations [17.17170592140042]
分類における低次元対向摂動現象について検討した。目標は、分類器を騙して、指定されたクラスからの入力のゼロではない割合でその決定を反転させることである。任意の部分空間のばかばかし率の低いバウンドを計算する。
論文参考訳（メタデータ） (2022-03-25T17:02:49Z)
On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文参考訳（メタデータ） (2022-02-28T13:01:04Z)
On the existence of global minima and convergence analyses for gradient descent methods in the training of deep neural networks [3.198144010381572]
フィードフォワード深層ReLU ANNを任意に多数の隠蔽層で研究する。我々は,そのようなANNの訓練において,ランダムなGD最適化手法のリスクを収束させることを証明した。また、勾配流微分方程式の解も研究する。
論文参考訳（メタデータ） (2021-12-17T18:55:40Z)
Universal scaling laws in the gradient descent training of neural networks [10.508187462682308]
学習軌跡は,大きな訓練時間に明示的な境界によって特徴づけられることを示す。結果は,期待される損失に基づいて訓練された大規模ネットワークの進化のスペクトル解析に基づいている。
論文参考訳（メタデータ） (2021-05-02T16:46:38Z)
Exponentially Weighted l_2 Regularization Strategy in Constructing Reinforced Second-order Fuzzy Rule-based Model [72.57056258027336]
従来の高木スゲノカン(TSK)型ファジィモデルでは、定数あるいは線形関数がファジィ規則の連続部分として使用されるのが普通である。調和解析で遭遇する重み関数理論にインスパイアされた指数重みアプローチを導入する。
論文参考訳（メタデータ） (2020-07-02T15:42:15Z)
Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
条件正規化フロー(CNF)はサンプリングと推論において効率的である。出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
論文参考訳（メタデータ） (2019-11-29T19:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。