論文の概要: The Effects of Multi-Task Learning on ReLU Neural Network Functions

• arxiv url: http://arxiv.org/abs/2410.21696v2
• Date: Tue, 05 Nov 2024 22:03:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:21:29.680138
• Title: The Effects of Multi-Task Learning on ReLU Neural Network Functions
• Title（参考訳）: マルチタスク学習がReLUニューラルネットワーク機能に及ぼす影響
• Authors: Julia Nakhleh, Joseph Shenouda, Robert D. Nowak,
• Abstract要約: 多数の多様なタスクを持つニューラルネットワーク学習問題は、最適ニューロンによって決定される固定されたカーネル上の$ell2$(ヒルベルト空間)問題とほぼ同値であることを示す。
• 参考スコア（独自算出の注目度）: 17.786058035763254
• License:
• Abstract: This paper studies the properties of solutions to multi-task shallow ReLU neural network learning problems, wherein the network is trained to fit a dataset with minimal sum of squared weights. Remarkably, the solutions learned for each individual task resemble those obtained by solving a kernel method, revealing a novel connection between neural networks and kernel methods. It is known that single-task neural network training problems are equivalent to minimum norm interpolation problem in a non-Hilbertian Banach space, and that the solutions of such problems are generally non-unique. In contrast, we prove that the solutions to univariate-input, multi-task neural network interpolation problems are almost always unique, and coincide with the solution to a minimum-norm interpolation problem in a Sobolev (Reproducing Kernel) Hilbert Space. We also demonstrate a similar phenomenon in the multivariate-input case; specifically, we show that neural network learning problems with large numbers of diverse tasks are approximately equivalent to an $\ell^2$ (Hilbert space) minimization problem over a fixed kernel determined by the optimal neurons.
• Abstract（参考訳）: 本稿では,マルチタスク浅層ReLUニューラルネットワーク学習問題の解法について検討し,最小2乗重みのデータセットに適合するようにネットワークを訓練する。 注目すべきは、個々のタスクで学んだソリューションは、ニューラルネットワークとカーネルメソッドの間の新しい接続を明らかにするために、カーネルメソッドを解くことで得られるものに似ていることである。 単一タスクのニューラルネットワークトレーニング問題は、非ヒルベルト的バナッハ空間における最小ノルム補間問題と等価であり、そのような問題の解は一般には一般的ではないことが知られている。 対照的に、単変量入力型マルチタスクニューラルネットワーク補間問題の解は、ほぼ常に一意であり、ソボレフ・ヒルベルト空間における最小ノルム補間問題の解と一致することを証明している。 また,多変量入力の場合においても同様の現象が示されており,特に,多数の多様なタスクを持つニューラルネットワーク学習問題は,最適ニューロンによって決定される固定カーネル上の$\ell^2$(ヒルベルト空間)最小化問題とほぼ同値であることを示す。

関連論文リスト

• Newton Informed Neural Operator for Computing Multiple Solutions of Nonlinear Partials Differential Equations [3.8916312075738273]
  非線形性に対処するNewton Informed Neural Operatorを提案する。 提案手法は,古典的ニュートン法を組み合わせ,適切な問題に対処し,一つの学習過程において複数の解を効率的に学習する。
  論文  参考訳（メタデータ） (2024-05-23T01:52:54Z)
• Deep multitask neural networks for solving some stochastic optimal control problems [0.0]
  本稿では,最適制御問題のクラスについて考察し,ニューラルネットワークを用いた効果的な解法を提案する。 マルチタスクニューラルネットワークをトレーニングするために,タスク間の学習を動的にバランスさせる新しいスキームを導入する。 実世界のデリバティブ価格問題に関する数値実験を通じて,本手法が最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-23T17:20:48Z)
• Zonotope Domains for Lagrangian Neural Network Verification [102.13346781220383]
  我々は、ディープニューラルネットワークを多くの2層ニューラルネットワークの検証に分解する。 我々の手法は線形プログラミングとラグランジアンに基づく検証技術の両方により改善された境界を与える。
  論文  参考訳（メタデータ） (2022-10-14T19:31:39Z)
• Improved Training of Physics-Informed Neural Networks with Model Ensembles [81.38804205212425]
  我々は、PINNを正しい解に収束させるため、解区間を徐々に拡大することを提案する。 すべてのアンサンブルのメンバーは、観測されたデータの近くで同じ解に収束する。 提案手法は, 得られた解の精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-04-11T14:05:34Z)
• Physics informed neural networks for continuum micromechanics [68.8204255655161]
  近年,応用数学や工学における多種多様な問題に対して,物理情報ニューラルネットワークの適用が成功している。 グローバルな近似のため、物理情報ニューラルネットワークは、最適化によって局所的な効果と強い非線形解を表示するのに困難である。 実世界の$mu$CT-Scansから得られた不均一構造における非線形応力, 変位, エネルギー場を, 正確に解くことができる。
  論文  参考訳（メタデータ） (2021-10-14T14:05:19Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Finite Basis Physics-Informed Neural Networks (FBPINNs): a scalable domain decomposition approach for solving differential equations [20.277873724720987]
  我々はFBPINN(Finite Basis PINNs)と呼ばれる微分方程式に関連する大きな問題を解くための新しいスケーラブルなアプローチを提案する。 FBPINNは古典的有限要素法に着想を得ており、微分方程式の解はコンパクトな支持を持つ基底関数の有限集合の和として表される。 FBPINNでは、ニューラルネットワークを使ってこれらの基底関数を学習する。
  論文  参考訳（メタデータ） (2021-07-16T13:03:47Z)
• Achieving Small Test Error in Mildly Overparameterized Neural Networks [30.664282759625948]
  時間内にこれらの点の1つを見つけるアルゴリズムを示す。 さらに、我々は、完全に接続されたニューラルネットワークのために、データ分布に追加の仮定で、時間アルゴリズムがあることを証明します。
  論文  参考訳（メタデータ） (2021-04-24T06:47:20Z)
• Conditional physics informed neural networks [85.48030573849712]
  固有値問題のクラス解を推定するための条件付きPINN(物理情報ニューラルネットワーク)を紹介します。 一つのディープニューラルネットワークが、問題全体に対する偏微分方程式の解を学習できることが示される。
  論文  参考訳（メタデータ） (2021-04-06T18:29:14Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Banach Space Representer Theorems for Neural Networks and Ridge Splines [17.12783792226575]
  データに適合するニューラルネットワークで学習した関数の性質を理解するための変分フレームワークを開発する。 有限幅単層ニューラルネットワークが逆問題に対する解であることを示す代表者定理を導出する。
  論文  参考訳（メタデータ） (2020-06-10T02:57:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。