論文の概要: Local Linear Recovery Guarantee of Deep Neural Networks at Overparameterization

• arxiv url: http://arxiv.org/abs/2406.18035v1
• Date: Wed, 26 Jun 2024 03:08:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 14:48:10.422754
• Title: Local Linear Recovery Guarantee of Deep Neural Networks at Overparameterization
• Title（参考訳）: 過パラメータ化におけるディープニューラルネットワークの局所線形回復保証
• Authors: Yaoyu Zhang, Leyang Zhang, Zhongwang Zhang, Zhiwei Bai,
• Abstract要約: 局所線形リカバリ (LLR) は, 目標関数リカバリの弱い形式である。 より狭いDNNで表現可能な関数は、モデルパラメータよりも少ないサンプルから復元可能であることを証明した。
• 参考スコア（独自算出の注目度）: 3.3998740964877463
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Determining whether deep neural network (DNN) models can reliably recover target functions at overparameterization is a critical yet complex issue in the theory of deep learning. To advance understanding in this area, we introduce a concept we term "local linear recovery" (LLR), a weaker form of target function recovery that renders the problem more amenable to theoretical analysis. In the sense of LLR, we prove that functions expressible by narrower DNNs are guaranteed to be recoverable from fewer samples than model parameters. Specifically, we establish upper limits on the optimistic sample sizes, defined as the smallest sample size necessary to guarantee LLR, for functions in the space of a given DNN. Furthermore, we prove that these upper bounds are achieved in the case of two-layer tanh neural networks. Our research lays a solid groundwork for future investigations into the recovery capabilities of DNNs in overparameterized scenarios.
• Abstract（参考訳）: 深層ニューラルネットワーク(DNN)モデルが過パラメータ化時にターゲット関数を確実に回復できるかどうかを判断することは、ディープラーニング理論において重要で複雑な問題である。 この領域の理解を深めるために、我々は「局所線形回復(LLR)」という概念を導入する。 LLRの意味では、より狭いDNNで表現可能な関数は、モデルパラメータよりも少ないサンプルから復元可能であることが保証されている。 具体的には、与えられたDNN空間の関数に対して、LLRを保証するのに必要な最小のサンプルサイズとして定義される楽観的なサンプルサイズに上限を確立する。 さらに,2層タンニューラルネットの場合,これらの上限が達成されることを示す。 本研究は, 過パラメータ化シナリオにおけるDNNの回復能力に関する今後の研究の基盤を固めるものである。

関連論文リスト

• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Model-Agnostic Reachability Analysis on Deep Neural Networks [25.54542656637704]
  我々はDeepAgnと呼ばれるモデルに依存しない検証フレームワークを開発した。 FNN、リカレントニューラルネットワーク(RNN)、あるいは両者の混合に適用することができる。 レイヤやパラメータといったネットワークの内部構造にアクセスする必要はない。
  論文  参考訳（メタデータ） (2023-04-03T09:01:59Z)
• Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
  制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。 この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
  論文  参考訳（メタデータ） (2022-12-25T15:40:05Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。