Fugu-MT 論文翻訳(概要): Infinite wide (finite depth) Neural Networks benefit from multi-task learning unlike shallow Gaussian Processes -- an exact quantitative macroscopic characterization

論文の概要: Infinite wide (finite depth) Neural Networks benefit from multi-task learning unlike shallow Gaussian Processes -- an exact quantitative macroscopic characterization

arxiv url: http://arxiv.org/abs/2112.15577v1
Date: Fri, 31 Dec 2021 18:03:46 GMT
ステータス: 処理完了
システム内更新日: 2022-01-03 13:51:01.316803
Title: Infinite wide (finite depth) Neural Networks benefit from multi-task learning unlike shallow Gaussian Processes -- an exact quantitative macroscopic characterization
Title（参考訳）: 無限幅(有限深さ)のニューラルネットワークは、浅いガウス過程とは異なり、マルチタスク学習の恩恵を受ける -- 正確な定量的マクロキャラクタリゼーション
Authors: Jakob Heiss, Josef Teichmann, Hanna Wutte
Abstract要約: パラメータのl2正規化に最適化された少なくとも1つの隠蔽層を持つReLUニューラルネットワーク(NN)は、表現学習によるマルチタスク学習を強制する。これは、ワイド(ReLU)-NNが制限幅から無限の範囲でマルチタスク学習の恩恵を受ける能力を緩めるという文献で議論された他の複数の理想的な設定とは対照的である。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We prove in this paper that wide ReLU neural networks (NNs) with at least one hidden layer optimized with l2-regularization on the parameters enforces multi-task learning due to representation-learning - also in the limit width to infinity. This is in contrast to multiple other idealized settings discussed in the literature where wide (ReLU)-NNs loose their ability to benefit from multi-task learning in the limit width to infinity. We deduce the multi-task learning ability from proving an exact quantitative macroscopic characterization of the learned NN in function space.
Abstract（参考訳）: 本稿では、パラメータのl2正規化に最適化された少なくとも1つの隠蔽層を持つReLUニューラルネットワーク(NN)が、表現学習によるマルチタスク学習を強制することを示す。これは、ワイド(ReLU)-NNが制限幅から無限の範囲でマルチタスク学習の恩恵を受ける能力を緩めるという文献で議論された他の複数の理想的な設定とは対照的である。関数空間における学習NNの正確な量的マクロ的特徴を証明し,マルチタスク学習能力を推定する。

関連論文リスト

Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文参考訳（メタデータ） (2024-06-14T13:12:07Z)
Tensor Programs VI: Feature Learning in Infinite-Depth Neural Networks [42.14352997147652]
深い残留ネットワーク(resnets)の*depthwise parametrization*の類似分類について検討する。各ブロックが1つの層しか持たないresnetでは、Depth-$mu$Pと呼ばれる一意な最適パラメトリゼーションを同定する。 We found that Depth-$mu$P can be characterized as maximize feature learning and feature diversity。
論文参考訳（メタデータ） (2023-10-03T17:50:40Z)
Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
論文参考訳（メタデータ） (2023-07-13T16:39:08Z)
Memorization and Optimization in Deep Neural Networks with Minimum Over-parameterization [14.186776881154127]
Neural Tangent Kernel(NTK)は、ディープニューラルネットワークにおける記憶、最適化、一般化の保証を提供する強力なツールとして登場した。 NTKは、挑戦的なサブ線形設定においてよく条件付けされていることを示す。我々の重要な技術的貢献は、ディープネットワークにおける最小のNTK固有値の低い境界である。
論文参考訳（メタデータ） (2022-05-20T14:50:24Z)
On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文参考訳（メタデータ） (2022-04-22T15:56:43Z)
Learning distinct features helps, provably [98.78384185493624]
最小二乗損失で訓練された2層ニューラルネットワークによって学習された特徴の多様性について検討する。隠蔽層の特徴間の平均的な$L$-distanceで多様性を測定する。
論文参考訳（メタデータ） (2021-06-10T19:14:45Z)
Tight Bounds on the Smallest Eigenvalue of the Neural Tangent Kernel for Deep ReLU Networks [21.13299067136635]
深部ReLUネットワークに対するNTK行列の最小固有値に厳密な境界を与える。有限幅設定では、我々が考えるネットワークアーキテクチャは非常に一般的である。
論文参考訳（メタデータ） (2020-12-21T19:32:17Z)
Feature Learning in Infinite-Width Neural Networks [17.309380337367536]
ニューラルネットワークの標準およびNTKパラメトリゼーションは、特徴を学習できる無限幅制限を認めないことを示す。本稿では,標準パラメトリゼーションの簡易な修正を提案し,その限界における特徴学習を実現する。
論文参考訳（メタデータ） (2020-11-30T03:21:05Z)
Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文参考訳（メタデータ） (2020-07-31T01:57:47Z)
Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文参考訳（メタデータ） (2020-07-24T14:44:46Z)
A Shooting Formulation of Deep Learning [19.51427735087011]
本稿では,ネットワーク層ごとのパラメータ化から,最適ネットワーク上でのパラメータ化へと視点を転換するシューティング定式化を提案する。拡張性のために,連続深度ニューラルネットワークの最適重み軌跡を同定する新しい粒子アンサンブルパラメトリゼーションを提案する。
論文参考訳（メタデータ） (2020-06-18T07:36:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。