論文の概要: Deep Layer-wise Networks Have Closed-Form Weights

• arxiv url: http://arxiv.org/abs/2006.08539v6
• Date: Wed, 9 Feb 2022 17:42:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 03:15:22.816313
• Title: Deep Layer-wise Networks Have Closed-Form Weights
• Title（参考訳）: 層状深層ネットワークは閉じた重みを持つ
• Authors: Chieh Wu, Aria Masoomi, Arthur Gretton, Jennifer Dy
• Abstract要約: カーネルのMean Embeddingは,ネットワークのグローバルな最適化を実現するクローズドフォームウェイトであることを示す。 この研究は、カーネル平均埋め込みがネットワークのグローバルな最適化を実現する閉形式重みであることを証明している。
• 参考スコア（独自算出の注目度）: 20.36811499812429
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There is currently a debate within the neuroscience community over the likelihood of the brain performing backpropagation (BP). To better mimic the brain, training a network $\textit{one layer at a time}$ with only a "single forward pass" has been proposed as an alternative to bypass BP; we refer to these networks as "layer-wise" networks. We continue the work on layer-wise networks by answering two outstanding questions. First, $\textit{do they have a closed-form solution?}$ Second, $\textit{how do we know when to stop adding more layers?}$ This work proves that the kernel Mean Embedding is the closed-form weight that achieves the network global optimum while driving these networks to converge towards a highly desirable kernel for classification; we call it the $\textit{Neural Indicator Kernel}$.
• Abstract（参考訳）: 現在、脳がバックプロパゲーション(BP)を行う可能性について神経科学コミュニティ内で議論がある。 脳をよりよく模倣するために、ネットワーク$\textit{one layer at a time}$を"シングルフォワードパス"のみでトレーニングすることは、BPをバイパスする代替として提案されている。 我々は,2つの優れた質問に答えることで,階層型ネットワークの研究を継続する。 まず、$\textit{彼らはクローズドフォームソリューションを持っていますか? 次に、なぜレイヤーを追加するのをやめるタイミングを知っていますか? この研究は、カーネルのMean Embeddingがネットワーク全体の最適性を達成し、ネットワークを分類するために非常に望ましいカーネルへと収束させるクローズドフォームウェイトであることを証明している。

関連論文リスト

• All Nodes are created Not Equal: Node-Specific Layer Aggregation and Filtration for GNN [61.28174338723467]
  グラフニューラルネットワークのためのNode-Specific Layer Aggregation and filtration Architecture(NoSAF)を提案する。 NoSAFは各レイヤのノードに対して信頼性の高い情報フィルタを提供し、その後のレイヤに有益な情報を抽出する。 NoSAFはまた、モデルのすべての層で情報を補充する補償機構も組み込まれており、非常に深い層でも意味のある計算を行うことができる。
  論文  参考訳（メタデータ） (2024-05-13T16:27:12Z)
• Rates of Approximation by ReLU Shallow Neural Networks [8.22379888383833]
  隠れたニューロンが$m$のReLU浅部ニューラルネットワークは、H"古い空間からの関数を均一に近似できることを示す。 そのようなレートは$O(m-fracrd)$に非常に近いが、$fracd+2d+4d+4$は、$d$が大きければ1ドルに近いという意味では$O(m-fracrd)$である。
  論文  参考訳（メタデータ） (2023-07-24T00:16:50Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student Settings and its Superiority to Kernel Methods [58.44819696433327]
  教師回帰モデルにおける2層ReLUニューラルネットワークのリスクについて検討する。 学生ネットワークは、どの解法よりも確実に優れていることがわかった。
  論文  参考訳（メタデータ） (2022-05-30T02:51:36Z)
• Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers [83.74380713308605]
  我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。 実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
  論文  参考訳（メタデータ） (2022-03-15T17:49:08Z)
• Deep Layer-wise Networks Have Closed-Form Weights [20.36811499812429]
  Kernel Mean Embedding はネットワークのグローバルな最適化を実現するクローズドフォームの重みであることを示す。 この研究は、カーネル平均埋め込みが、ネットワークのグローバルな最適化を達成する閉形式重みであることを証明している。
  論文  参考訳（メタデータ） (2022-02-01T20:30:43Z)
• Non-deep Networks [122.77755088736865]
  我々は、高性能な「非深度」ニューラルネットワークを構築することができることを示す。 並列サブストラクチャを利用することで、深さが12のネットワークが80%以上のトップ1の精度を達成できることを示す。 我々は、低遅延認識システムを構築するために、非ディープネットワークをどのように使用できるかという概念の証明を提供する。
  論文  参考訳（メタデータ） (2021-10-14T18:03:56Z)
• Kernelized Classification in Deep Networks [49.47339560731506]
  本稿では,ディープネットワークのためのカーネル分類層を提案する。 訓練中のSoftmaxクロスエントロピー損失関数のカーネルトリックを用いて非線形分類層を提唱する。 提案する非線形分類層は,複数のデータセットやタスクに対して有用であることを示す。
  論文  参考訳（メタデータ） (2020-12-08T21:43:19Z)
• Is the Skip Connection Provable to Reform the Neural Network Loss Landscape? [14.387975042485847]
  残余ネットワークは、現在、ディープラーニングにおいて最も効果的な構造の1つである。 スキップ接続が学習能力を向上させるかどうかは不明である。 これらのローカルミニマの深さは最大$O(meta-1)/n)$であり、$n$は入力、$eta1$である。 これは、ディープラーニングにおけるスキップ接続の有効性に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-06-10T16:46:19Z)
• Global Convergence of Deep Networks with One Wide Layer Followed by Pyramidal Topology [28.49901662584467]
  深層ネットワークの場合、入力層に従えば1層$N$の幅が確保され、同様の保証が保証される。 残りの層は全て一定の幅を持つことができ、ピラミッドの位相を形成する。
  論文  参考訳（メタデータ） (2020-02-18T20:21:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。