論文の概要: Learning Single-Index Models with Shallow Neural Networks
- arxiv url: http://arxiv.org/abs/2210.15651v1
- Date: Thu, 27 Oct 2022 17:52:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-28 13:47:15.375077
- Title: Learning Single-Index Models with Shallow Neural Networks
- Title（参考訳）: 浅層ニューラルネットワークを用いた単一インデックスモデル学習
- Authors: Alberto Bietti, Joan Bruna, Clayton Sanford, Min Jae Song
- Abstract要約: 我々は、浅層ニューラルネットワークの自然なクラスを導入し、勾配流を通して単一インデックスモデルを学習する能力について研究する。
対応する最適化ランドスケープが良性であることを示し、それによって専用半パラメトリック手法の準最適サンプル複雑性に一致するような一般化保証が得られることを示す。
- 参考スコア（独自算出の注目度）: 43.6480804626033
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Single-index models are a class of functions given by an unknown univariate
``link'' function applied to an unknown one-dimensional projection of the
input. These models are particularly relevant in high dimension, when the data
might present low-dimensional structure that learning algorithms should adapt
to. While several statistical aspects of this model, such as the sample
complexity of recovering the relevant (one-dimensional) subspace, are
well-understood, they rely on tailored algorithms that exploit the specific
structure of the target function. In this work, we introduce a natural class of
shallow neural networks and study its ability to learn single-index models via
gradient flow. More precisely, we consider shallow networks in which biases of
the neurons are frozen at random initialization. We show that the corresponding
optimization landscape is benign, which in turn leads to generalization
guarantees that match the near-optimal sample complexity of dedicated
semi-parametric methods.
- Abstract（参考訳）: シングルインデックスモデル(single-index model)は、入力の未知一次元射影に適用される未知の不定値 ``link''' 関数によって与えられる関数のクラスである。
これらのモデルは、学習アルゴリズムが適応すべき低次元構造が存在する場合、特に高次元において関係がある。
このモデルのいくつかの統計的側面、例えば関連する(一次元)部分空間を復元するサンプルの複雑さはよく理解されているが、それらは対象関数の特定の構造を利用するアルゴリズムに依存する。
本稿では,浅層ニューラルネットワークの自然クラスを紹介し,勾配流による単一インデックスモデル学習能力について検討する。
より正確には、ニューロンのバイアスがランダム初期化時に凍結される浅いネットワークを考える。
対応する最適化ランドスケープが良性であることを示し、それによって専用半パラメトリック手法の準最適サンプル複雑性に一致するような一般化を保証する。
関連論文リスト
- On Learning Gaussian Multi-index Models with Gradient Flow [57.170617397894404]
高次元ガウスデータに対する多次元回帰問題の勾配流について検討する。
低階射影をパラメトリする部分空間よりも、非パラメトリックモデルで低次元リンク関数を無限に高速に学習する2時間スケールのアルゴリズムを考える。
論文 参考訳（メタデータ） (2023-10-30T17:55:28Z) - Generative Neural Fields by Mixtures of Neural Implicit Functions [43.27461391283186]
本稿では,暗黙的ベースネットワークの線形結合によって表現される生成的ニューラルネットワークを学習するための新しいアプローチを提案する。
提案アルゴリズムは,メタラーニングや自動デコーディングのパラダイムを採用することにより,暗黙のニューラルネットワーク表現とその係数を潜在空間で学習する。
論文 参考訳（メタデータ） (2023-10-30T11:41:41Z) - Symmetric Single Index Learning [46.7352578439663]
1つの一般的なモデルはシングルインデックスモデルであり、ラベルは未知のリンク関数を持つ未知の線形射影によって生成される。
我々は、対称ニューラルネットワークの設定において、単一インデックス学習を検討する。
論文 参考訳（メタデータ） (2023-10-03T14:59:00Z) - Sparse-Input Neural Network using Group Concave Regularization [10.103025766129006]
ニューラルネットワークでは、同時特徴選択と非線形関数推定が困難である。
低次元と高次元の両方の設定における特徴選択のための群凹正規化を用いたスパースインプットニューラルネットワークの枠組みを提案する。
論文 参考訳（メタデータ） (2023-07-01T13:47:09Z) - A new approach to generalisation error of machine learning algorithms:
Estimates and convergence [0.0]
本稿では,(一般化)誤差の推定と収束に対する新しいアプローチを提案する。
本研究の結果は,ニューラルネットワークの構造的仮定を伴わない誤差の推定を含む。
論文 参考訳（メタデータ） (2023-06-23T20:57:31Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。
まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。
そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
論文 参考訳（メタデータ） (2020-11-25T14:00:18Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳（メタデータ） (2020-06-16T07:38:06Z) - Deep Randomized Neural Networks [12.333836441649343]
ランダム化されたニューラルネットワークは、ほとんどの接続が固定されたニューラルネットワークの挙動を探索する。
本章はランダム化ニューラルネットワークの設計と解析に関する主要な側面をすべて調査する。
論文 参考訳（メタデータ） (2020-02-27T17:57:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。