論文の概要: Feature-Dependent Cross-Connections in Multi-Path Neural Networks

• arxiv url: http://arxiv.org/abs/2006.13904v2
• Date: Fri, 1 Jan 2021 16:49:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 12:43:08.286384
• Title: Feature-Dependent Cross-Connections in Multi-Path Neural Networks
• Title（参考訳）: マルチパスニューラルネットワークにおける特徴依存的相互接続
• Authors: Dumindu Tissera, Kasun Vithanage, Rukshan Wijesinghe, Kumara Kahatapitiya, Subha Fernando, Ranga Rodrigo
• Abstract要約: マルチパスネットワークは冗長な特徴を学習する傾向がある。 このような経路に対して,入ってくる特徴写像をインテリジェントに割り当てる機構を導入する。 従来手法や最先端手法と比較して,画像認識精度が向上した。
• 参考スコア（独自算出の注目度）: 7.230526683545722
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning a particular task from a dataset, samples in which originate from diverse contexts, is challenging, and usually addressed by deepening or widening standard neural networks. As opposed to conventional network widening, multi-path architectures restrict the quadratic increment of complexity to a linear scale. However, existing multi-column/path networks or model ensembling methods do not consider any feature-dependent allocation of parallel resources, and therefore, tend to learn redundant features. Given a layer in a multi-path network, if we restrict each path to learn a context-specific set of features and introduce a mechanism to intelligently allocate incoming feature maps to such paths, each path can specialize in a certain context, reducing the redundancy and improving the quality of extracted features. This eventually leads to better-optimized usage of parallel resources. To do this, we propose inserting feature-dependent cross-connections between parallel sets of feature maps in successive layers. The weighting coefficients of these cross-connections are computed from the input features of the particular layer. Our multi-path networks show improved image recognition accuracy at a similar complexity compared to conventional and state-of-the-art methods for deepening, widening and adaptive feature extracting, in both small and large scale datasets.
• Abstract（参考訳）: さまざまなコンテキストから派生したサンプルであるデータセットから特定のタスクを学習することは困難であり、通常は標準的なニューラルネットワークの深化や拡張によって対処される。 従来のネットワーク拡張とは対照的に、マルチパスアーキテクチャは複雑性の2次増分を線形スケールに制限する。 しかし、既存のマルチカラム/パスネットワークやモデルアンサンブル手法は並列リソースの特徴依存的な割り当てを考慮せず、冗長な特徴を学習する傾向がある。 マルチパスネットワークのレイヤが与えられると、各パスにコンテキスト固有の特徴セットを学習させ、入ってくる特徴マップをこれらのパスにインテリジェントにアロケートするメカニズムを導入することで、各パスは特定のコンテキストを専門化し、冗長性を低減し、抽出された特徴の品質を向上させることができる。 これにより、並列リソースの最適化が実現される。 そこで本研究では,特徴マップの並列集合間の特徴依存的相互接続を連続層に挿入する手法を提案する。 これらの交差接続の重み付け係数は、特定の層の入力特徴から計算される。 マルチパスネットワークでは,従来法や最先端法に比べて画像認識精度が向上し,大規模データセットの深層化,拡張化,適応的特徴抽出が可能となった。

関連論文リスト

• SDA-$x$Net: Selective Depth Attention Networks for Adaptive Multi-scale Feature Representation [14.7929472540577]
  既存のマルチスケールの解は、小さな受容場を無視しながら、受容場のサイズを増大させるリスクをもたらす。 我々は,チャネル,空間,分岐などの既存の注意次元に加えて,新しい注意次元,すなわち深さを導入する。 本稿では,様々な視覚タスクにおいて,マルチスケールオブジェクトを対称に扱うための,新しい選択的な奥行き注意ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-21T12:49:55Z)
• SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and Residual Connections for Structure Preserving Object Classification [28.02302915971059]
  本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。 提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。 提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
  論文  参考訳（メタデータ） (2021-10-06T13:54:49Z)
• Multi-scale Matching Networks for Semantic Correspondence [38.904735120815346]
  提案手法は,高い計算効率を有する3つの一般的なベンチマークに対して,最先端の性能を実現する。 我々のマルチスケールマッチングネットワークは、学習可能なパラメータをほとんど必要とせずに、エンドツーエンドで簡単に訓練できる。
  論文  参考訳（メタデータ） (2021-07-31T10:57:24Z)
• End-To-End Data-Dependent Routing in Multi-Path Neural Networks [0.9507070656654633]
  本稿では,レイヤ内の並列計算におけるデータ依存資源割り当てを用いたマルチパスニューラルネットワークを提案する。 我々のネットワークは、画像認識タスクにおいて、既存の拡張および適応的な特徴抽出、さらにはアンサンブルやより深いネットワークよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2021-07-06T07:58:07Z)
• All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
  オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。 具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。 知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
  論文  参考訳（メタデータ） (2021-03-02T03:09:03Z)
• Automated Search for Resource-Efficient Branched Multi-Task Networks [81.48051635183916]
  我々は,多タスクニューラルネットワークにおける分岐構造を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。 本手法は,限られた資源予算内で高い性能の分岐構造を見いだすことができる。
  論文  参考訳（メタデータ） (2020-08-24T09:49:19Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Recursive Multi-model Complementary Deep Fusion forRobust Salient Object Detection via Parallel Sub Networks [62.26677215668959]
  完全畳み込みネットワークは、正体検出(SOD)分野において優れた性能を示している。 本稿では,全く異なるネットワークアーキテクチャを持つ並列サブネットワークからなる,より広いネットワークアーキテクチャを提案する。 いくつかの有名なベンチマークの実験では、提案されたより広範なフレームワークの優れた性能、優れた一般化、強力な学習能力が明らかに示されている。
  論文  参考訳（メタデータ） (2020-08-07T10:39:11Z)
• Sequential Hierarchical Learning with Distribution Transformation for Image Super-Resolution [83.70890515772456]
  画像SRのための逐次階層学習型超解像ネットワーク(SHSR)を構築した。 特徴のスケール間相関を考察し、階層的情報を段階的に探索するシーケンシャルなマルチスケールブロック(SMB)を考案する。 実験結果から,SHSRは最先端手法に優れた定量的性能と視覚的品質が得られることが示された。
  論文  参考訳（メタデータ） (2020-07-19T01:35:53Z)
• Learning Dynamic Routing for Semantic Segmentation [86.56049245100084]
  本稿では,動的ルーティングと呼ばれる意味表現のスケール分散を緩和する概念的に新しい手法を提案する。 提案フレームワークは,各画像のスケール分布に適応して,データ依存経路を生成する。 この目的のために、ハエのスケール変換経路を選択するために、ソフトコンディショナルゲートと呼ばれる微分可能なゲーティング関数を提案する。
  論文  参考訳（メタデータ） (2020-03-23T17:22:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。