論文の概要: Variation Spaces for Multi-Output Neural Networks: Insights on Multi-Task Learning and Network Compression
- arxiv url: http://arxiv.org/abs/2305.16534v3
- Date: Wed, 24 Jul 2024 15:45:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-25 19:59:51.032967
- Title: Variation Spaces for Multi-Output Neural Networks: Insights on Multi-Task Learning and Network Compression
- Title（参考訳）: 多出力ニューラルネットワークの変動空間:マルチタスク学習とネットワーク圧縮に関する考察
- Authors: Joseph Shenouda, Rahul Parhi, Kangwook Lee, Robert D. Nowak,
- Abstract要約: 本稿では,ベクトル値ニューラルネットワークの解析のための新しい理論的枠組みを提案する。
この研究の重要な貢献は、ベクトル値変動空間に対する表現定理の開発である。
これらのベクトル値変動空間に関連するノルムは、複数のタスクに有用な特徴の学習を促進する。
- 参考スコア（独自算出の注目度）: 28.851519959657466
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces a novel theoretical framework for the analysis of vector-valued neural networks through the development of vector-valued variation spaces, a new class of reproducing kernel Banach spaces. These spaces emerge from studying the regularization effect of weight decay in training networks with activations like the rectified linear unit (ReLU). This framework offers a deeper understanding of multi-output networks and their function-space characteristics. A key contribution of this work is the development of a representer theorem for the vector-valued variation spaces. This representer theorem establishes that shallow vector-valued neural networks are the solutions to data-fitting problems over these infinite-dimensional spaces, where the network widths are bounded by the square of the number of training data. This observation reveals that the norm associated with these vector-valued variation spaces encourages the learning of features that are useful for multiple tasks, shedding new light on multi-task learning with neural networks. Finally, this paper develops a connection between weight-decay regularization and the multi-task lasso problem. This connection leads to novel bounds for layer widths in deep networks that depend on the intrinsic dimensions of the training data representations. This insight not only deepens the understanding of the deep network architectural requirements, but also yields a simple convex optimization method for deep neural network compression. The performance of this compression procedure is evaluated on various architectures.
- Abstract（参考訳）: 本稿では,ベクトル値変動空間,新しい再生カーネルバナッハ空間の開発を通じて,ベクトル値ニューラルネットワークの解析のための新しい理論的枠組みを提案する。
これらの空間は、正規化線形単位(ReLU)のような活性化を伴うトレーニングネットワークにおける重み劣化の正規化効果の研究から生まれる。
このフレームワークは、マルチアウトプットネットワークとその関数空間特性のより深い理解を提供する。
この研究の重要な貢献は、ベクトル値変動空間に対する表現定理の開発である。
この代表者定理は、浅いベクトル値ニューラルネットワークがこれらの無限次元空間上のデータ適合問題の解であり、ネットワーク幅はトレーニングデータの2乗によって制限されていることを証明している。
この観察により、ベクトル値の変動空間に関連するノルムが、複数のタスクに有用な特徴の学習を促進し、ニューラルネットワークによるマルチタスク学習に新たな光を放つことが明らかとなった。
最後に,重み付きデカイ正則化とマルチタスクラッソ問題との関係について述べる。
この接続は、トレーニングデータ表現の本質的な次元に依存するディープネットワークにおける層幅の新たな境界をもたらす。
この洞察は、ディープネットワークアーキテクチャ要求の理解を深めるだけでなく、ディープニューラルネットワーク圧縮のための単純な凸最適化手法も提供する。
この圧縮処理の性能は様々なアーキテクチャで評価される。
関連論文リスト
- Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。
いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
論文 参考訳（メタデータ） (2024-02-21T18:35:27Z) - Task structure and nonlinearity jointly determine learned
representational geometry [0.0]
本稿では,Tanhネットワークが対象出力の構造を反映した表現を学習する傾向を示し,ReLUネットワークは生入力の構造についてより多くの情報を保持することを示した。
我々の研究結果は、入力出力幾何学、非線形性、ニューラルネットワークにおける学習表現との相互作用に光を当てた。
論文 参考訳（メタデータ） (2024-01-24T16:14:38Z) - From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity [54.01594785269913]
我々は,標準正規化損失のトレーニングにおいて,深部ReLUニューラルネットワークの最適重みがトレーニングサンプルのウェッジ積によって与えられることを示した。
トレーニング問題は、トレーニングデータセットの幾何学的構造をエンコードするウェッジ製品機能よりも凸最適化に還元される。
論文 参考訳（メタデータ） (2023-09-28T15:19:30Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。
我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
論文 参考訳（メタデータ） (2023-05-24T22:10:12Z) - When Deep Learning Meets Polyhedral Theory: A Survey [6.899761345257773]
過去10年間で、ディープ・ニューラル・ラーニングの顕著な精度のおかげで、ディープは予測モデリングの一般的な方法論となった。
一方、ニューラルネットワークの構造はより単純で線形な関数に収束した。
論文 参考訳（メタデータ） (2023-04-29T11:46:53Z) - Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。
線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。
また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文 参考訳（メタデータ） (2022-12-29T20:57:46Z) - What Kinds of Functions do Deep Neural Networks Learn? Insights from
Variational Spline Theory [19.216784367141972]
本研究では,ReLUアクティベーション機能を用いた深層ニューラルネットワークが学習する関数の特性を理解するための変分フレームワークを開発する。
我々は、深層 relu ネットワークが、この関数空間における正規化データ適合問題の解であることを示す表現子定理を導出する。
論文 参考訳（メタデータ） (2021-05-07T16:18:22Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳（メタデータ） (2021-01-12T00:40:45Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。