論文の概要: End-To-End Data-Dependent Routing in Multi-Path Neural Networks
- arxiv url: http://arxiv.org/abs/2107.02450v1
- Date: Tue, 6 Jul 2021 07:58:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2021-07-07 13:47:43.029805
- Title: End-To-End Data-Dependent Routing in Multi-Path Neural Networks
- Title（参考訳）: マルチパスニューラルネットワークにおけるエンドツーエンドデータ依存ルーティング
- Authors: Dumindu Tissera, Kasun Vithanage, Rukshan Wijessinghe, Subha Fernando,
Ranga Rodrigo
- Abstract要約: 本稿では,レイヤ内の並列計算におけるデータ依存資源割り当てを用いたマルチパスニューラルネットワークを提案する。
我々のネットワークは、画像認識タスクにおいて、既存の拡張および適応的な特徴抽出、さらにはアンサンブルやより深いネットワークよりも優れた性能を示す。
- 参考スコア（独自算出の注目度）: 0.9507070656654633
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks are known to give better performance with increased depth due
to their ability to learn more abstract features. Although the deepening of
networks has been well established, there is still room for efficient feature
extraction within a layer which would reduce the need for mere parameter
increment. The conventional widening of networks by having more filters in each
layer introduces a quadratic increment of parameters. Having multiple parallel
convolutional/dense operations in each layer solves this problem, but without
any context-dependent allocation of resources among these operations: the
parallel computations tend to learn similar features making the widening
process less effective. Therefore, we propose the use of multi-path neural
networks with data-dependent resource allocation among parallel computations
within layers, which also lets an input to be routed end-to-end through these
parallel paths. To do this, we first introduce a cross-prediction based
algorithm between parallel tensors of subsequent layers. Second, we further
reduce the routing overhead by introducing feature-dependent cross-connections
between parallel tensors of successive layers. Our multi-path networks show
superior performance to existing widening and adaptive feature extraction, and
even ensembles, and deeper networks at similar complexity in the image
recognition task.
- Abstract（参考訳）: ニューラルネットワークは、より抽象的な特徴を学習する能力により、より深度の高いパフォーマンスを提供することが知られている。
ネットワークの深化は十分に確立されているが、単にパラメータインクリメントの必要性を減少させるような、レイヤ内の効率的な特徴抽出の余地はまだ残っている。
従来のネットワークの幅拡大は、各層により多くのフィルタを持ち、パラメータの二次的な増分を導入する。
複数の並列畳み込み/密度演算を各層に持つことでこの問題は解決されるが、これらの演算にリソースのコンテキスト依存的な割り当てがなければ、並列計算は同様の特徴を学習する傾向にあり、拡張処理の効率が低下する。
そこで本研究では,層内の並列計算間でデータ依存のリソース割り当てを行うマルチパスニューラルネットワークの利用を提案する。
これを実現するために,まず,後続層の並列テンソル間のクロス予測に基づくアルゴリズムを導入する。
第2に,並列テンソル間の機能依存的な相互接続を導入することで,ルーティングのオーバーヘッドをさらに削減する。
我々のマルチパスネットワークは、画像認識タスクにおいて、既存の拡張および適応的な特徴抽出、さらにはアンサンブルやより深いネットワークよりも優れた性能を示す。
関連論文リスト
- Layer Collaboration in the Forward-Forward Algorithm [28.856139738073626]
フォワードフォワードアルゴリズムにおける層間協調について検討する。
ネットワーク内の情報の流れを考慮した場合, フォワードアルゴリズムの現在のバージョンが最適であることを示す。
ネットワーク構造をよりよく活用するために,レイヤコラボレーションをサポートする改良版を提案する。
論文 参考訳（メタデータ） (2023-05-21T08:12:54Z) - Sparse Interaction Additive Networks via Feature Interaction Detection
and Sparse Selection [10.191597755296163]
我々は,必要な特徴の組み合わせを効率的に識別する,抽出可能な選択アルゴリズムを開発した。
提案するスパース・インタラクション・アダプティブ・ネットワーク(SIAN)は,単純かつ解釈可能なモデルから完全に接続されたニューラルネットワークへのブリッジを構築する。
論文 参考訳（メタデータ） (2022-09-19T19:57:17Z) - LayerPipe: Accelerating Deep Neural Network Training by Intra-Layer and
Inter-Layer Gradient Pipelining and Multiprocessor Scheduling [6.549125450209931]
バックプロパゲーションによるモデルパラメータのトレーニングは、本質的にフィードバックループを生成する。
提案システムはLayerPipeと呼ばれ、トレーニングに必要なクロックサイクルの数を削減している。
論文 参考訳（メタデータ） (2021-08-14T23:51:00Z) - Layer Folding: Neural Network Depth Reduction using Activation
Linearization [0.0]
現代のデバイスは高いレベルの並列性を示すが、リアルタイムレイテンシはネットワークの深さに大きく依存している。
線形でない活性化を除去できるかどうかを学習し、連続的な線形層を1つに折り畳む方法を提案する。
我々は, CIFAR-10 と CIFAR-100 で事前訓練されたネットワークに適用し, それら全てを同様の深さの浅い形に変換できることを示す。
論文 参考訳（メタデータ） (2021-06-17T08:22:46Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Solving Sparse Linear Inverse Problems in Communication Systems: A Deep
Learning Approach With Adaptive Depth [51.40441097625201]
疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。
提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
論文 参考訳（メタデータ） (2020-10-29T06:32:53Z) - Recursive Multi-model Complementary Deep Fusion forRobust Salient Object
Detection via Parallel Sub Networks [62.26677215668959]
完全畳み込みネットワークは、正体検出(SOD)分野において優れた性能を示している。
本稿では,全く異なるネットワークアーキテクチャを持つ並列サブネットワークからなる,より広いネットワークアーキテクチャを提案する。
いくつかの有名なベンチマークの実験では、提案されたより広範なフレームワークの優れた性能、優れた一般化、強力な学習能力が明らかに示されている。
論文 参考訳（メタデータ） (2020-08-07T10:39:11Z) - Feature-Dependent Cross-Connections in Multi-Path Neural Networks [7.230526683545722]
マルチパスネットワークは冗長な特徴を学習する傾向がある。
このような経路に対して,入ってくる特徴写像をインテリジェントに割り当てる機構を導入する。
従来手法や最先端手法と比較して,画像認識精度が向上した。
論文 参考訳（メタデータ） (2020-06-24T17:38:03Z) - Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。
また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
論文 参考訳（メタデータ） (2020-04-17T20:21:47Z) - DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。
遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。
画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
論文 参考訳（メタデータ） (2020-03-30T17:59:18Z) - Convolutional Networks with Dense Connectivity [59.30634544498946]
Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。
各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。
提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
論文 参考訳（メタデータ） (2020-01-08T06:54:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。