Fugu-MT 論文翻訳(概要): Mean-Field Analysis for Learning Subspace-Sparse Polynomials with Gaussian Input

論文の概要: Mean-Field Analysis for Learning Subspace-Sparse Polynomials with Gaussian Input

arxiv url: http://arxiv.org/abs/2402.08948v1
Date: Wed, 14 Feb 2024 05:34:24 GMT
ステータス: 処理完了
システム内更新日: 2024-02-15 16:57:14.144003
Title: Mean-Field Analysis for Learning Subspace-Sparse Polynomials with Gaussian Input
Title（参考訳）: ガウス入力による部分空間スパース多項式学習における平均場解析
Authors: Ziang Chen, Rong Ge
Abstract要約: 勾配降下と2層ニューラルネットワークを用いた部分空間スパース学習のための平均場流について検討する。我々はSGD学習に必要条件を確立する。
参考スコア（独自算出の注目度）: 12.51622200370015
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this work, we study the mean-field flow for learning subspace-sparse polynomials using stochastic gradient descent and two-layer neural networks, where the input distribution is standard Gaussian and the output only depends on the projection of the input onto a low-dimensional subspace. We propose a basis-free generalization of the merged-staircase property in Abbe et al. (2022) and establish a necessary condition for the SGD-learnability. In addition, we prove that the condition is almost sufficient, in the sense that a condition slightly stronger than the necessary condition can guarantee the exponential decay of the loss functional to zero.
Abstract（参考訳）: 本研究では,入力分布が標準ガウス型であり,出力が低次元部分空間への入力の投影にのみ依存する2層ニューラルネットワークを用いて,部分空間スパース多項式を学習するための平均場流れについて検討する。我々は,abbe et al. (2022) における統合階段特性の基底自由一般化を提案し,sgd-learnability に必要な条件を定式化する。加えて、条件が必要条件よりわずかに強い条件が損失汎関数の指数的減衰をゼロに保証できるという意味で、条件はほぼ十分であることが証明される。

関連論文リスト

Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文参考訳（メタデータ） (2024-04-29T15:04:07Z)
High Probability Convergence of Adam Under Unbounded Gradients and Affine Variance Noise [4.9495085874952895]
我々はAdamが高い確率で定常点に収束できることを示し、$mathcalOleft(rm poly(log T)/sqrtTright)$を座標ワイドな「アフィン」ノイズ分散の下で表す。また、Adamの閉包は$mathcalOleft(rm poly(left T)right)$の順序でノイズレベルに適応していることも明らかにされている。
論文参考訳（メタデータ） (2023-11-03T15:55:53Z)
Mean-field Analysis of Generalization Errors [1.1344265020822928]
KL-正則化経験的リスク最小化問題を考察し、一般化誤差収束率(英語版)が$n$のサンプルでトレーニングする場合は$mathcalO (1/n)$であるような一般的な条件を確立する。平均場状態における一層ニューラルネットワークによる教師あり学習の文脈では、これらの条件は、損失と活性化関数に対する適切な積分性と規則性仮定に反映される。
論文参考訳（メタデータ） (2023-06-20T15:49:09Z)
Understanding the Generalization Ability of Deep Learning Algorithms: A Kernelized Renyi's Entropy Perspective [11.255943520955764]
本稿では,Renyiのエントロピーをカーネル化した新しい情報理論尺度を提案する。我々は,Renyiエントロピーのカーネル化の下で,勾配/ランジュバン降下(SGD/SGLD)学習アルゴリズムの一般化誤差境界を確立する。我々の情報理論的境界は勾配の統計に依存しており、現在のSOTA(State-of-the-art)結果よりも厳密であることを示す。
論文参考訳（メタデータ） (2023-05-02T01:17:15Z)
Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
論文参考訳（メタデータ） (2023-04-27T06:27:37Z)
Origins of Low-dimensional Adversarial Perturbations [17.17170592140042]
分類における低次元対向摂動現象について検討した。目標は、分類器を騙して、指定されたクラスからの入力のゼロではない割合でその決定を反転させることである。任意の部分空間のばかばかし率の低いバウンドを計算する。
論文参考訳（メタデータ） (2022-03-25T17:02:49Z)
Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文参考訳（メタデータ） (2022-02-02T20:11:33Z)
On the existence of global minima and convergence analyses for gradient descent methods in the training of deep neural networks [3.198144010381572]
フィードフォワード深層ReLU ANNを任意に多数の隠蔽層で研究する。我々は,そのようなANNの訓練において,ランダムなGD最適化手法のリスクを収束させることを証明した。また、勾配流微分方程式の解も研究する。
論文参考訳（メタデータ） (2021-12-17T18:55:40Z)
Agnostic Proper Learning of Halfspaces under Gaussian Marginals [56.01192577666607]
ガウスの下の半空間を不可知的に学習する問題を考察する。我々の主な成果は、この問題に対するエム第一固有学習アルゴリズムである。
論文参考訳（メタデータ） (2021-02-10T18:40:44Z)
Exponentially Weighted l_2 Regularization Strategy in Constructing Reinforced Second-order Fuzzy Rule-based Model [72.57056258027336]
従来の高木スゲノカン(TSK)型ファジィモデルでは、定数あるいは線形関数がファジィ規則の連続部分として使用されるのが普通である。調和解析で遭遇する重み関数理論にインスパイアされた指数重みアプローチを導入する。
論文参考訳（メタデータ） (2020-07-02T15:42:15Z)
Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
条件正規化フロー(CNF)はサンプリングと推論において効率的である。出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
論文参考訳（メタデータ） (2019-11-29T19:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。