論文の概要: Information Theoretic Lower Bounds for Feed-Forward Fully-Connected Deep
Networks
- arxiv url: http://arxiv.org/abs/2007.00796v2
- Date: Thu, 29 Oct 2020 04:38:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 22:17:31.238630
- Title: Information Theoretic Lower Bounds for Feed-Forward Fully-Connected Deep
Networks
- Title(参考訳): フィードフォワード完全接続深層ネットワークにおける情報理論下限
- Authors: Xiaochen Yang and Jean Honorio
- Abstract要約: パラメータの正確なリカバリと,バイナリ分類のためのフィードフォワード,完全連結ニューラルネットワークの正の過剰リスクについて,サンプル複雑性の低い境界について検討した。
これらの下位境界は、後方データ生成プロセスによって特徴づけられる生成ネットワークの存在によって証明される。
- 参考スコア(独自算出の注目度): 32.62777703108387
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we study the sample complexity lower bounds for the exact
recovery of parameters and for a positive excess risk of a feed-forward,
fully-connected neural network for binary classification, using
information-theoretic tools. We prove these lower bounds by the existence of a
generative network characterized by a backwards data generating process, where
the input is generated based on the binary output, and the network is
parametrized by weight parameters for the hidden layers. The sample complexity
lower bound for the exact recovery of parameters is $\Omega(d r \log(r) + p )$
and for a positive excess risk is $\Omega(r \log(r) + p )$, where $p$ is the
dimension of the input, $r$ reflects the rank of the weight matrices and $d$ is
the number of hidden layers. To the best of our knowledge, our results are the
first information theoretic lower bounds.
- Abstract(参考訳): 本稿では,パラメータの正確な回復と,情報理論的なツールを用いて,バイナリ分類のためのフィードフォワード完全連結ニューラルネットワークの正の過剰リスクに対するサンプル複雑性の低減について検討する。
これらの下限を,二元出力に基づいて入力が生成され,隠れ層に対する重みパラメータによってネットワークがパラメトリ化される逆データ生成プロセスによって特徴付けられる生成ネットワークの存在によって証明する。
パラメータの正確な回復のためのサンプルの複雑さは$\omega(d r \log(r) + p )$であり、正の過剰なリスクは$\omega(r \log(r) + p )$であり、ここで$p$は入力の次元、$r$は重み行列のランクを反映し、$d$は隠れた層の数である。
我々の知る限りでは、私たちの結果は最初の情報理論の下限である。
関連論文リスト
- Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳(メタデータ) (2024-03-08T18:50:19Z) - From Complexity to Clarity: Analytical Expressions of Deep Neural
Network Weights via Clifford's Geometric Algebra and Convexity [54.01594785269913]
我々は,標準正規化損失のトレーニングにおいて,深部ReLUニューラルネットワークの最適重みがトレーニングサンプルのウェッジ積によって与えられることを示した。
トレーニング問題は、トレーニングデータセットの幾何学的構造をエンコードするウェッジ製品機能よりも凸最適化に還元される。
論文 参考訳(メタデータ) (2023-09-28T15:19:30Z) - Effective Minkowski Dimension of Deep Nonparametric Regression: Function
Approximation and Statistical Theories [70.90012822736988]
ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。
本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
論文 参考訳(メタデータ) (2023-06-26T17:13:31Z) - High-Dimensional Smoothed Entropy Estimation via Dimensionality
Reduction [14.53979700025531]
微分エントロピー$h(X+Z)$を独立に$n$で推定し、同じ分散サンプルを$X$とする。
絶対誤差損失では、上記の問題はパラメータ推定率$fraccDsqrtn$である。
我々は、エントロピー推定の前に主成分分析(PCA)を通して低次元空間に$X$を投影することで、この指数的なサンプル複雑性を克服する。
論文 参考訳(メタデータ) (2023-05-08T13:51:48Z) - Finite Sample Identification of Wide Shallow Neural Networks with Biases [12.622813055808411]
入力-出力対の有限標本からネットワークのパラメータを同定することは、しばしばエンプテラー-学生モデル(enmphteacher-student model)と呼ばれる。
本稿では,このような幅の広い浅層ネットワークに対して,構成的手法と有限標本同定の理論的保証を提供することにより,そのギャップを埋める。
論文 参考訳(メタデータ) (2022-11-08T22:10:32Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳(メタデータ) (2022-05-18T16:57:10Z) - Distributed Sparse Feature Selection in Communication-Restricted
Networks [6.9257380648471765]
疎線形回帰と特徴選択のための新しい分散スキームを提案し,理論的に解析する。
データセット全体から因果次元を推定するために,ネットワーク内の情報共有をシンプルかつ効果的に行う手法を提案する。
論文 参考訳(メタデータ) (2021-11-02T05:02:24Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳(メタデータ) (2021-06-06T19:08:53Z) - Self-Regularity of Non-Negative Output Weights for Overparameterized
Two-Layer Neural Networks [16.64116123743938]
我々は、Sigmoid, rectified linear unit (ReLU) を用いた2層ニューラルネットワークの探索問題を考える。
そして、その境界を利用して、Emphfat-shattering dimensionを通じてそのようなネットワークの保証を確立する。
特に、我々の境界はサンプルの複雑さも良い(低次数$$d$のポリノミアル)。
論文 参考訳(メタデータ) (2021-03-02T17:36:03Z) - Stable Recovery of Entangled Weights: Towards Robust Identification of
Deep Neural Networks from Minimal Samples [0.0]
連続した層の重みを、活性化関数とそのシフトに応じて適切な対角行列と反転行列と絡み合ういわゆる絡み合い重みを紹介します。
エンタングル重みは効率的でロバストなアルゴリズムによって完全かつ安定に近似することが証明される。
本研究は,入力出力情報をネットワークパラメータに一意かつ安定的に関連付けることができ,説明可能性の一形態を提供する。
論文 参考訳(メタデータ) (2021-01-18T16:31:19Z) - Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。
正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。
ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
論文 参考訳(メタデータ) (2020-02-22T21:13:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。