論文の概要: On the Power of Shallow Learning

• arxiv url: http://arxiv.org/abs/2106.03186v1
• Date: Sun, 6 Jun 2021 17:25:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-13 10:38:56.573330
• Title: On the Power of Shallow Learning
• Title（参考訳）: 浅層学習の力について
• Authors: James B. Simon, Sajant Anand, Michael R. DeWeese
• Abstract要約: カーネルが与えられたら、それを実現するネットワークを見つけることができますか? 我々は、完全に接続されたアーキテクチャに対して、この質問に答え、達成可能なカーネルの空間を完全に特徴づける。 提案手法を実験的に検証し,アクティベーション関数を選択するだけで,広帯域で完全接続されたネットワークの一般化性能を模倣した幅の浅いネットワークを設計できることを実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A deluge of recent work has explored equivalences between wide neural networks and kernel methods. A central theme is that one can analytically find the kernel corresponding to a given wide network architecture, but despite major implications for architecture design, no work to date has asked the converse question: given a kernel, can one find a network that realizes it? We affirmatively answer this question for fully-connected architectures, completely characterizing the space of achievable kernels. Furthermore, we give a surprising constructive proof that any kernel of any wide, deep, fully-connected net can also be achieved with a network with just one hidden layer and a specially-designed pointwise activation function. We experimentally verify our construction and demonstrate that, by just choosing the activation function, we can design a wide shallow network that mimics the generalization performance of any wide, deep, fully-connected network.
• Abstract（参考訳）: 最近の研究の成果は、幅広いニューラルネットワークとカーネルメソッドの等価性を探求している。 中心的なテーマは、与えられた広いネットワークアーキテクチャに対応するカーネルを解析的に見つけることができることであるが、アーキテクチャ設計に大きな影響があるにもかかわらず、これまでは、カーネルがそれを実現するネットワークを見つけることができるのか? 我々は、完全に接続されたアーキテクチャに対して、この質問に答え、達成可能なカーネルの空間を完全に特徴づける。 さらに,隠れた層と特別に設計されたポイントワイド・アクティベーション機能を持つネットワークでも,広く,深く,完全に接続されたネットワークの任意のカーネルが達成可能であることを示す。 我々は本手法を実験的に検証し,アクティベーション関数を選択するだけで,広範かつ深いネットワークの一般化性能を模倣した,広い浅層ネットワークを設計できることを実証する。

関連論文リスト

• Local Kernel Renormalization as a mechanism for feature learning in overparametrized Convolutional Neural Networks [0.0]
  実験的な証拠は、無限幅限界における完全連結ニューラルネットワークが最終的に有限幅限界よりも優れていることを示している。 畳み込み層を持つ最先端アーキテクチャは、有限幅構造において最適な性能を達成する。 有限幅FCネットワークの一般化性能は,ガウス事前選択に適した無限幅ネットワークで得られることを示す。
  論文  参考訳（メタデータ） (2023-07-21T17:22:04Z)
• Deep Maxout Network Gaussian Process [1.9292807030801753]
  我々は、深い無限幅の最大出力ネットワークとガウス過程(GP)の等価性を導出する。 私たちは、ディープマックスアウトネットワークカーネルとディープニューラルネットワークカーネルの接続を構築します。
  論文  参考訳（メタデータ） (2022-08-08T23:52:26Z)
• The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
  本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。 正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。 我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-07-21T12:01:03Z)
• Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
  firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。 ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。 特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
  論文  参考訳（メタデータ） (2021-02-17T04:47:18Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• Inductive Graph Embeddings through Locality Encodings [0.42970700836450487]
  ドメイン依存のノード/エッジ属性を使わずに,大規模ネットワークにインダクティブネットワークを組み込むことの問題点を考察する。 本稿では,学習アルゴリズムの基盤として,基本的定義済みの局所符号化を用いることを提案する。 本手法は,役割検出,リンク予測,ノード分類などのタスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-09-26T13:09:11Z)
• Automated Search for Resource-Efficient Branched Multi-Task Networks [81.48051635183916]
  我々は,多タスクニューラルネットワークにおける分岐構造を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。 本手法は,限られた資源予算内で高い性能の分岐構造を見いだすことができる。
  論文  参考訳（メタデータ） (2020-08-24T09:49:19Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Recursive Multi-model Complementary Deep Fusion forRobust Salient Object Detection via Parallel Sub Networks [62.26677215668959]
  完全畳み込みネットワークは、正体検出(SOD)分野において優れた性能を示している。 本稿では,全く異なるネットワークアーキテクチャを持つ並列サブネットワークからなる,より広いネットワークアーキテクチャを提案する。 いくつかの有名なベンチマークの実験では、提案されたより広範なフレームワークの優れた性能、優れた一般化、強力な学習能力が明らかに示されている。
  論文  参考訳（メタデータ） (2020-08-07T10:39:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。