論文の概要: Initialization-Dependent Sample Complexity of Linear Predictors and Neural Networks

• arxiv url: http://arxiv.org/abs/2305.16475v2
• Date: Wed, 25 Oct 2023 04:36:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 20:42:37.860605
• Title: Initialization-Dependent Sample Complexity of Linear Predictors and Neural Networks
• Title（参考訳）: 線形予測器とニューラルネットワークの初期化依存サンプル複雑性
• Authors: Roey Magen and Ohad Shamir
• Abstract要約: 本研究では,スカラー値の線形予測器の設定を考えると,サンプルの複雑さの挙動が驚くほど異なることを示す。 これはまた、フィードフォワードニューラルネットワークのための新しいサンプル複雑性境界をもたらす。
• 参考スコア（独自算出の注目度）: 39.98586516381269
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We provide several new results on the sample complexity of vector-valued linear predictors (parameterized by a matrix), and more generally neural networks. Focusing on size-independent bounds, where only the Frobenius norm distance of the parameters from some fixed reference matrix $W_0$ is controlled, we show that the sample complexity behavior can be surprisingly different than what we may expect considering the well-studied setting of scalar-valued linear predictors. This also leads to new sample complexity bounds for feed-forward neural networks, tackling some open questions in the literature, and establishing a new convex linear prediction problem that is provably learnable without uniform convergence.
• Abstract（参考訳）: ベクトル値線形予測器(行列でパラメータ化)のサンプル複雑性に関する新しい結果と、より一般的にニューラルネットワークについて述べる。 固定参照行列$W_0$からパラメータのフロベニウスノルム距離のみを制御したサイズ非依存境界に着目し、スカラー値線形予測器のよく研究された設定を考えると、サンプル複雑性の挙動が驚くほど異なることを示す。 これはまた、フィードフォワードニューラルネットワークの新たなサンプル複雑性境界につながり、文献で開かれた問題に取り組み、一様収束なしに確実に学習可能な新しい凸線形予測問題を確立する。

関連論文リスト

• Sparse deep neural networks for nonparametric estimation in high-dimensional sparse regression [4.983567824636051]
  本研究は、非パラメトリック推定とパラメトリックスパースディープニューラルネットワークを初めて組み合わせたものである。 偏微分の非パラメトリック推定は非線形変数選択にとって非常に重要であるため、現在の結果はディープニューラルネットワークの解釈可能性に有望な未来を示すものである。
  論文  参考訳（メタデータ） (2024-06-26T07:41:41Z)
• From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity [54.01594785269913]
  我々は,標準正規化損失のトレーニングにおいて,深部ReLUニューラルネットワークの最適重みがトレーニングサンプルのウェッジ積によって与えられることを示した。 トレーニング問題は、トレーニングデータセットの幾何学的構造をエンコードするウェッジ製品機能よりも凸最適化に還元される。
  論文  参考訳（メタデータ） (2023-09-28T15:19:30Z)
• Sparse-Input Neural Network using Group Concave Regularization [10.103025766129006]
  ニューラルネットワークでは、同時特徴選択と非線形関数推定が困難である。 低次元と高次元の両方の設定における特徴選択のための群凹正規化を用いたスパースインプットニューラルネットワークの枠組みを提案する。
  論文  参考訳（メタデータ） (2023-07-01T13:47:09Z)
• Learning and generalization of one-hidden-layer neural networks, going beyond standard Gaussian data [14.379261299138147]
  本稿では,入力特徴がガウス混合モデルに従えば,一層ニューラルネットワークの収束と反復を解析する。 本論文は,入力分布がサンプルに与える影響と学習率に与える影響を初めて特徴付ける。
  論文  参考訳（メタデータ） (2022-07-07T23:27:44Z)
• An Information-Theoretic Framework for Supervised Learning [22.280001450122175]
  後悔とサンプルの複雑さという独自の概念を持つ新しい情報理論フレームワークを提案する。 本稿では、ReLUアクティベーションユニットを用いたディープニューラルネットワークによって生成されたデータから学習する際のサンプルの複雑さについて検討する。 我々は、ランダムな単層ニューラルネットワークの実験的な解析により、理論結果を裏付けることで結論付ける。
  論文  参考訳（メタデータ） (2022-03-01T05:58:28Z)
• Generalization Error Bounds for Iterative Recovery Algorithms Unfolded as Neural Networks [6.173968909465726]
  線形測定の少ないスパース再構成に適したニューラルネットワークの一般クラスを導入する。 層間の重量共有を広範囲に行うことで、全く異なるニューラルネットワークタイプに対する統一的な分析を可能にします。
  論文  参考訳（メタデータ） (2021-12-08T16:17:33Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)
• Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
  有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。 正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。 高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
  論文  参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。