論文の概要: Spatial Bias for Attention-free Non-local Neural Networks

• arxiv url: http://arxiv.org/abs/2302.12505v1
• Date: Fri, 24 Feb 2023 08:16:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-27 14:14:47.569761
• Title: Spatial Bias for Attention-free Non-local Neural Networks
• Title（参考訳）: 無注意非局所ニューラルネットワークのための空間バイアス
• Authors: Junhyung Go, Jongbin Ryu
• Abstract要約: 畳み込みニューラルネットワークにおいて,自己注意なしでグローバルな知識を学ぶために空間バイアスを導入する。 画像Net-1Kおよびcifar100データセットにおいて,空間バイアスは,分類精度を+0.79%,+1.5%向上する競争性能を実現する。
• 参考スコア（独自算出の注目度）: 11.320414512937946
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we introduce the spatial bias to learn global knowledge without self-attention in convolutional neural networks. Owing to the limited receptive field, conventional convolutional neural networks suffer from learning long-range dependencies. Non-local neural networks have struggled to learn global knowledge, but unavoidably have too heavy a network design due to the self-attention operation. Therefore, we propose a fast and lightweight spatial bias that efficiently encodes global knowledge without self-attention on convolutional neural networks. Spatial bias is stacked on the feature map and convolved together to adjust the spatial structure of the convolutional features. Therefore, we learn the global knowledge on the convolution layer directly with very few additional resources. Our method is very fast and lightweight due to the attention-free non-local method while improving the performance of neural networks considerably. Compared to non-local neural networks, the spatial bias use about 10 times fewer parameters while achieving comparable performance with 1.6 ~ 3.3 times more throughput on a very little budget. Furthermore, the spatial bias can be used with conventional non-local neural networks to further improve the performance of the backbone model. We show that the spatial bias achieves competitive performance that improves the classification accuracy by +0.79% and +1.5% on ImageNet-1K and cifar100 datasets. Additionally, we validate our method on the MS-COCO and ADE20K datasets for downstream tasks involving object detection and semantic segmentation.
• Abstract（参考訳）: 本稿では,畳み込みニューラルネットワークにおける自己注意なしにグローバル知識を学ぶための空間バイアスを紹介する。 受容領域が限られているため、従来の畳み込みニューラルネットワークは長距離依存の学習に苦しむ。 非ローカルニューラルネットワークは、グローバルな知識を学ぶのに苦労しているが、自己注意操作のためにネットワーク設計が重すぎることは避けられない。 そこで本研究では,畳み込みニューラルネットワークに自着することなく,グローバル知識を効率的にエンコードする,高速で軽量な空間バイアスを提案する。 空間バイアスは特徴マップ上に積み上げられ、畳み込み特徴の空間構造を調整するために結合される。 したがって、コンボリューション層のグローバルな知識を、ごくわずかなリソースで直接学習する。 本手法は非常に高速かつ軽量であり,非局所的注意法とニューラルネットワークの性能向上に寄与する。 非局所ニューラルネットワークと比較して、空間バイアスは約10倍のパラメータを使用し、非常に少ない予算で1.6～3.3倍のスループットで同等のパフォーマンスを達成する。 さらに、従来の非局所ニューラルネットワークで空間バイアスを用いることで、バックボーンモデルの性能をさらに向上することができる。 空間バイアスは,imagenet-1kおよびcifar100データセットの分類精度を+0.79%,+1.5%向上させる競争的性能を達成する。 さらに,オブジェクト検出とセマンティックセグメンテーションを含む下流タスクに対して,MS-COCOおよびADE20Kデータセット上で本手法を検証する。

関連論文リスト

• Efficient and Flexible Method for Reducing Moderate-size Deep Neural Networks with Condensation [36.41451383422967]
  科学的応用において、ニューラルネットワークのスケールは概して中規模であり、主に推論の速度を保証する。 既存の研究によると、ニューラルネットワークの強力な能力は、主に非線形性に起因する。 本稿では,本手法の有効性を検証するための凝縮低減アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-02T06:53:40Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• SAR Despeckling Using Overcomplete Convolutional Networks [53.99620005035804]
  スペックルはSAR画像を劣化させるため、リモートセンシングにおいて重要な問題である。 近年の研究では、畳み込みニューラルネットワーク(CNN)が古典的解法よりも優れていることが示されている。 本研究は、受容場を制限することで低レベルの特徴を学習することに集中するために、過剰なCNNアーキテクチャを用いる。 本稿では,合成および実SAR画像の非特定化手法と比較して,提案手法により非特定化性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-31T15:55:37Z)
• HyBNN and FedHyBNN: (Federated) Hybrid Binary Neural Networks [0.0]
  新しいハイブリッドニューラルネットワークアーキテクチャHybrid Binary Neural Network (Hybrid Binary Neural Network, HyBNN)を導入する。 HyBNNは、タスク非依存、一般、完全精度の変動型オートエンコーダと、タスク固有のバイナリニューラルネットワークで構成されている。 提案システムは,入力バイナライゼーションにより,バニラバイナリニューラルネットワークを著しく上回る性能を有することを示す。
  論文  参考訳（メタデータ） (2022-05-19T20:27:01Z)
• CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded Systems [0.0]
  畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。 本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
  論文  参考訳（メタデータ） (2021-12-01T18:20:52Z)
• Mining the Weights Knowledge for Optimizing Neural Network Structures [1.995792341399967]
  タスク固有のニューラルネットワーク(略してTNN)の重みを入力として使用するスイッチャーニューラルネットワーク(SNN)を導入する。 重みに含まれる知識をマイニングすることで、SNNはTNNのニューロンをオフにするスケーリング因子を出力する。 精度の面では,ベースラインネットワークやその他の構造学習手法を安定的に,かつ著しく上回っている。
  論文  参考訳（メタデータ） (2021-10-11T05:20:56Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Improving Neural Network with Uniform Sparse Connectivity [0.0]
  本研究では,各層に均一かつ疎結合な一様スパースネットワーク(USN)を提案する。 USNは、予測精度、速度、堅牢性において最先端のスパースネットワークモデルより一貫して、実質的に優れている。
  論文  参考訳（メタデータ） (2020-11-29T19:00:05Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。