論文の概要: Vector-Valued Variation Spaces and Width Bounds for DNNs: Insights on
Weight Decay Regularization
- arxiv url: http://arxiv.org/abs/2305.16534v1
- Date: Thu, 25 May 2023 23:32:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 17:49:07.198705
- Title: Vector-Valued Variation Spaces and Width Bounds for DNNs: Insights on
Weight Decay Regularization
- Title（参考訳）: ベクトル値変動空間とDNNの幅境界:重み減衰規則化に関する考察
- Authors: Joseph Shenouda, Rahul Parhi, Kangwook Lee, Robert D. Nowak
- Abstract要約: 損失項の最小化と勾配勾配勾配による2乗重みの和を訓練するディープニューラルネットワーク(DNN)は、重量減衰を伴うトレーニングの一般的なアプローチに対応する。
マルチアウトプット(ベクトル値)ReLUニューラルネットワークの重み付けによるトレーニングによって学習される関数の種類を特徴付ける。
- 参考スコア（独自算出の注目度）: 24.862334574786658
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) trained to minimize a loss term plus the sum of
squared weights via gradient descent corresponds to the common approach of
training with weight decay. This paper provides new insights into this common
learning framework. We characterize the kinds of functions learned by training
with weight decay for multi-output (vector-valued) ReLU neural networks. This
extends previous characterizations that were limited to single-output
(scalar-valued) networks. This characterization requires the definition of a
new class of neural function spaces that we call vector-valued variation (VV)
spaces. We prove that neural networks (NNs) are optimal solutions to learning
problems posed over VV spaces via a novel representer theorem. This new
representer theorem shows that solutions to these learning problems exist as
vector-valued neural networks with widths bounded in terms of the number of
training data. Next, via a novel connection to the multi-task lasso problem, we
derive new and tighter bounds on the widths of homogeneous layers in DNNs. The
bounds are determined by the effective dimensions of the training data
embeddings in/out of the layers. This result sheds new light on the
architectural requirements for DNNs. Finally, the connection to the multi-task
lasso problem suggests a new approach to compressing pre-trained networks.
- Abstract（参考訳）: 損失項の最小化と勾配勾配勾配による2乗重みの和を訓練するディープニューラルネットワーク(DNN)は、重量減衰を伴うトレーニングの一般的なアプローチに対応する。
本稿では,この共通学習フレームワークに関する新たな知見を提供する。
マルチアウトプット(ベクトル値)ReLUニューラルネットワークの重み付けによるトレーニングによって学習される関数の種類を特徴付ける。
これにより、単一出力(スカラー値)ネットワークに制限された以前の特性が拡張される。
この特徴付けには、ベクトル値変動(VV)空間と呼ばれる新しい神経機能空間の定義が必要である。
ニューラルネットワーク(NN)が,VV空間上の学習問題に対する新しい表現定理による最適解であることを示す。
この新しいrepresenter定理は、これらの学習問題の解が、トレーニングデータ数で区切られた幅を持つベクトル値ニューラルネットワークとして存在することを示している。
次に、マルチタスクラッソ問題への新たな接続を通じて、DNNにおける同質層の幅に、より厳密な境界を導出する。
境界は、トレーニングデータの層内/層内への埋め込みの有効次元によって決定される。
この結果、DNNのアーキテクチャ要件に新たな光を当てることになる。
最後に、マルチタスクラッソ問題への接続は、事前訓練されたネットワークを圧縮する新しいアプローチを示唆している。
関連論文リスト
- Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。
いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
論文 参考訳（メタデータ） (2024-02-21T18:35:27Z) - Task structure and nonlinearity jointly determine learned
representational geometry [0.0]
本稿では,Tanhネットワークが対象出力の構造を反映した表現を学習する傾向を示し,ReLUネットワークは生入力の構造についてより多くの情報を保持することを示した。
我々の研究結果は、入力出力幾何学、非線形性、ニューラルネットワークにおける学習表現との相互作用に光を当てた。
論文 参考訳（メタデータ） (2024-01-24T16:14:38Z) - From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity [54.01594785269913]
我々は,標準正規化損失のトレーニングにおいて,深部ReLUニューラルネットワークの最適重みがトレーニングサンプルのウェッジ積によって与えられることを示した。
トレーニング問題は、トレーニングデータセットの幾何学的構造をエンコードするウェッジ製品機能よりも凸最適化に還元される。
論文 参考訳（メタデータ） (2023-09-28T15:19:30Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。
我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
論文 参考訳（メタデータ） (2023-05-24T22:10:12Z) - When Deep Learning Meets Polyhedral Theory: A Survey [6.899761345257773]
過去10年間で、ディープ・ニューラル・ラーニングの顕著な精度のおかげで、ディープは予測モデリングの一般的な方法論となった。
一方、ニューラルネットワークの構造はより単純で線形な関数に収束した。
論文 参考訳（メタデータ） (2023-04-29T11:46:53Z) - Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。
線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。
また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文 参考訳（メタデータ） (2022-12-29T20:57:46Z) - What Kinds of Functions do Deep Neural Networks Learn? Insights from
Variational Spline Theory [19.216784367141972]
本研究では,ReLUアクティベーション機能を用いた深層ニューラルネットワークが学習する関数の特性を理解するための変分フレームワークを開発する。
我々は、深層 relu ネットワークが、この関数空間における正規化データ適合問題の解であることを示す表現子定理を導出する。
論文 参考訳（メタデータ） (2021-05-07T16:18:22Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳（メタデータ） (2021-01-12T00:40:45Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。