Fugu-MT 論文翻訳(概要): Mean-Field Analysis for Learning Subspace-Sparse Polynomials with Gaussian Input

論文の概要: Mean-Field Analysis for Learning Subspace-Sparse Polynomials with Gaussian Input

arxiv url: http://arxiv.org/abs/2402.08948v2
Date: Sat, 8 Jun 2024 22:50:27 GMT
ステータス: 翻訳完了
システム内更新日: 2024-06-12 01:43:22.569632
Title: Mean-Field Analysis for Learning Subspace-Sparse Polynomials with Gaussian Input
Title（参考訳）: ガウス入力による部分空間スパース多項式学習における平均場解析
Authors: Ziang Chen, Rong Ge,
Abstract要約: 勾配降下と2層ニューラルネットワークを用いた部分空間スパース学習のための平均場流について検討する。我々はSGD学習に必要条件を確立する。
参考スコア（独自算出の注目度）: 10.594689377150356
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this work, we study the mean-field flow for learning subspace-sparse polynomials using stochastic gradient descent and two-layer neural networks, where the input distribution is standard Gaussian and the output only depends on the projection of the input onto a low-dimensional subspace. We propose a basis-free generalization of the merged-staircase property in Abbe et al. (2022) and establish a necessary condition for the SGD-learnability. In addition, we prove that the condition is almost sufficient, in the sense that a condition slightly stronger than the necessary condition can guarantee the exponential decay of the loss functional to zero.
Abstract（参考訳）: 本研究では,確率勾配勾配と2層ニューラルネットワークを用いた部分空間スパース多項式の学習における平均場流について検討し,入力分布は標準ガウスであり,出力は低次元部分空間への入力の投影に依存する。本稿では,Abe et al (2022) における統合階段特性の基底自由な一般化を提案し,SGD学習性に必要な条件を確立する。さらに、必要条件よりもわずかに強い条件が、損失関数が 0 に指数関数的に減衰することを保証できるという意味で、この条件はほぼ十分であることを示す。

関連論文リスト

Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文参考訳（メタデータ） (2024-04-29T15:04:07Z)
A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文参考訳（メタデータ） (2024-04-18T16:46:08Z)
High Probability Convergence of Adam Under Unbounded Gradients and Affine Variance Noise [4.9495085874952895]
我々はAdamが高い確率で定常点に収束できることを示し、$mathcalOleft(rm poly(log T)/sqrtTright)$を座標ワイドな「アフィン」ノイズ分散の下で表す。また、Adamの閉包は$mathcalOleft(rm poly(left T)right)$の順序でノイズレベルに適応していることも明らかにされている。
論文参考訳（メタデータ） (2023-11-03T15:55:53Z)
Mean-field Analysis of Generalization Errors [1.1344265020822928]
KL-正則化経験的リスク最小化問題を考察し、一般化誤差収束率(英語版)が$n$のサンプルでトレーニングする場合は$mathcalO (1/n)$であるような一般的な条件を確立する。平均場状態における一層ニューラルネットワークによる教師あり学習の文脈では、これらの条件は、損失と活性化関数に対する適切な積分性と規則性仮定に反映される。
論文参考訳（メタデータ） (2023-06-20T15:49:09Z)
On the Identification and Optimization of Nonsmooth Superposition Operators in Semilinear Elliptic PDEs [3.045851438458641]
原型半線形楕円偏微分方程式(PDE)の非線形部分におけるネミトスキー作用素の同定を目的とした無限次元最適化問題について検討する。以前の研究とは対照的に、ネミトスキー作用素を誘導する関数が a-priori であることは、$H leakyloc(mathbbR)$ の要素であることが知られている。
論文参考訳（メタデータ） (2023-06-08T13:33:20Z)
Understanding the Generalization Ability of Deep Learning Algorithms: A Kernelized Renyi's Entropy Perspective [11.255943520955764]
本稿では,Renyiのエントロピーをカーネル化した新しい情報理論尺度を提案する。我々は,Renyiエントロピーのカーネル化の下で,勾配/ランジュバン降下(SGD/SGLD)学習アルゴリズムの一般化誤差境界を確立する。我々の情報理論的境界は勾配の統計に依存しており、現在のSOTA(State-of-the-art)結果よりも厳密であることを示す。
論文参考訳（メタデータ） (2023-05-02T01:17:15Z)
Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
論文参考訳（メタデータ） (2023-04-27T06:27:37Z)
Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文参考訳（メタデータ） (2023-04-17T14:23:43Z)
Score-based Diffusion Models in Function Space [137.70916238028306]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。この研究は、関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)と呼ばれる数学的に厳密なフレームワークを導入する。データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文参考訳（メタデータ） (2023-02-14T23:50:53Z)
Origins of Low-dimensional Adversarial Perturbations [17.17170592140042]
分類における低次元対向摂動現象について検討した。目標は、分類器を騙して、指定されたクラスからの入力のゼロではない割合でその決定を反転させることである。任意の部分空間のばかばかし率の低いバウンドを計算する。
論文参考訳（メタデータ） (2022-03-25T17:02:49Z)
On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文参考訳（メタデータ） (2022-02-28T13:01:04Z)
Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文参考訳（メタデータ） (2022-02-02T20:11:33Z)
On the existence of global minima and convergence analyses for gradient descent methods in the training of deep neural networks [3.198144010381572]
フィードフォワード深層ReLU ANNを任意に多数の隠蔽層で研究する。我々は,そのようなANNの訓練において,ランダムなGD最適化手法のリスクを収束させることを証明した。また、勾配流微分方程式の解も研究する。
論文参考訳（メタデータ） (2021-12-17T18:55:40Z)
Universal scaling laws in the gradient descent training of neural networks [10.508187462682308]
学習軌跡は,大きな訓練時間に明示的な境界によって特徴づけられることを示す。結果は,期待される損失に基づいて訓練された大規模ネットワークの進化のスペクトル解析に基づいている。
論文参考訳（メタデータ） (2021-05-02T16:46:38Z)
Agnostic Proper Learning of Halfspaces under Gaussian Marginals [56.01192577666607]
ガウスの下の半空間を不可知的に学習する問題を考察する。我々の主な成果は、この問題に対するエム第一固有学習アルゴリズムである。
論文参考訳（メタデータ） (2021-02-10T18:40:44Z)
Exponentially Weighted l_2 Regularization Strategy in Constructing Reinforced Second-order Fuzzy Rule-based Model [72.57056258027336]
従来の高木スゲノカン(TSK)型ファジィモデルでは、定数あるいは線形関数がファジィ規則の連続部分として使用されるのが普通である。調和解析で遭遇する重み関数理論にインスパイアされた指数重みアプローチを導入する。
論文参考訳（メタデータ） (2020-07-02T15:42:15Z)
Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
条件正規化フロー(CNF)はサンプリングと推論において効率的である。出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
論文参考訳（メタデータ） (2019-11-29T19:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。