Fugu-MT 論文翻訳(概要): Computational Separation Between Convolutional and Fully-Connected Networks

論文の概要: Computational Separation Between Convolutional and Fully-Connected Networks

arxiv url: http://arxiv.org/abs/2010.01369v1
Date: Sat, 3 Oct 2020 14:24:59 GMT
ステータス: 処理完了
システム内更新日: 2022-10-11 08:54:08.552506
Title: Computational Separation Between Convolutional and Fully-Connected Networks
Title（参考訳）: 畳み込みネットワークと完全接続ネットワークの計算的分離
Authors: Eran Malach, Shai Shalev-Shwartz
Abstract要約: 我々は、畳み込みネットワークがデータの局所性をどのように活用し、完全に接続されたネットワークに対して計算上の優位性を実現するかを示す。具体的には,勾配差を学習した畳み込みネットワークを用いて,効率よく解ける問題群を示す。
参考スコア（独自算出の注目度）: 35.39956227364153
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Convolutional neural networks (CNN) exhibit unmatched performance in a multitude of computer vision tasks. However, the advantage of using convolutional networks over fully-connected networks is not understood from a theoretical perspective. In this work, we show how convolutional networks can leverage locality in the data, and thus achieve a computational advantage over fully-connected networks. Specifically, we show a class of problems that can be efficiently solved using convolutional networks trained with gradient-descent, but at the same time is hard to learn using a polynomial-size fully-connected network.
Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、多数のコンピュータビジョンタスクにおいて不整合性能を示す。しかし、完全接続ネットワーク上で畳み込みネットワークを使用することの利点は理論的には理解されていない。本研究では,畳み込みネットワークがデータの局所性をどのように活用し,完全に接続されたネットワークに対して計算上の優位性を実現するかを示す。具体的には, 勾配descentで学習した畳み込みネットワークを用いて効率的に解くことができるが, 多項式サイズの完全連結ネットワークでは学習が困難である問題の種類を示す。

関連論文リスト

Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。ネットワークが強力なデータ依存機能を取得することを示す。驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文参考訳（メタデータ） (2024-06-24T14:50:05Z)
A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
論文参考訳（メタデータ） (2023-08-28T14:19:13Z)
Local Kernel Renormalization as a mechanism for feature learning in overparametrized Convolutional Neural Networks [0.0]
実験的な証拠は、無限幅限界における完全連結ニューラルネットワークが最終的に有限幅限界よりも優れていることを示している。畳み込み層を持つ最先端アーキテクチャは、有限幅構造において最適な性能を達成する。有限幅FCネットワークの一般化性能は,ガウス事前選択に適した無限幅ネットワークで得られることを示す。
論文参考訳（メタデータ） (2023-07-21T17:22:04Z)
Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
大規模空間問題に対する学習効率を向上させるために移動学習を用いる。畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
論文参考訳（メタデータ） (2023-06-14T01:24:42Z)
Multirate Training of Neural Networks [0.0]
視覚およびNLPにおける様々な伝達学習アプリケーションに対して、ほぼ半分の時間でディープニューラルネットワークを微調整できることを示す。本稿では,異なる時間スケールで全ネットワークをトレーニングすることで,データに存在するさまざまな特徴を同時に学習するマルチレート手法を提案する。
論文参考訳（メタデータ） (2021-06-20T22:44:55Z)
The Principles of Deep Learning Theory [19.33681537640272]
この本は、実践的妥当性の深いニューラルネットワークを理解するための効果的な理論アプローチを開発する。これらのネットワークがトレーニングから非自明な表現を効果的に学習する方法について説明する。トレーニングネットワークのアンサンブルの有効モデル複雑性を,奥行き比が支配していることを示す。
論文参考訳（メタデータ） (2021-06-18T15:00:00Z)
Learning Autonomy in Management of Wireless Random Networks [102.02142856863563]
本稿では,任意の数のランダム接続ノードを持つ無線ネットワークにおいて,分散最適化タスクに取り組む機械学習戦略を提案する。我々は,ネットワークトポロジとは無関係に,前方および後方に計算を行う分散メッセージパスニューラルネットワーク(DMPNN)と呼ばれる,柔軟な深層ニューラルネットワーク形式を開発した。
論文参考訳（メタデータ） (2021-06-15T09:03:28Z)
Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文参考訳（メタデータ） (2020-10-02T16:50:26Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)
Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
論文参考訳（メタデータ） (2020-06-22T12:46:44Z)
Disentangling Trainability and Generalization in Deep Neural Networks [45.15453323967438]
我々は,ニューラルネットワークのトレーニング性と一般化のために,NTK(Neural Tangent Kernel)のスペクトルを分析した。グローバル平均プールのないCNNはFCNとほぼ同じ挙動を示すが、プールを持つCNNは著しく異なり、しばしば一般化性能が向上している。
論文参考訳（メタデータ） (2019-12-30T18:53:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。