論文の概要: Neural Architecture Search for Lightweight Non-Local Networks
- arxiv url: http://arxiv.org/abs/2004.01961v1
- Date: Sat, 4 Apr 2020 15:46:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-16 23:19:28.986189
- Title: Neural Architecture Search for Lightweight Non-Local Networks
- Title（参考訳）: 軽量非局所ネットワークのためのニューラルアーキテクチャ探索
- Authors: Yingwei Li, Xiaojie Jin, Jieru Mei, Xiaochen Lian, Linjie Yang, Cihang
Xie, Qihang Yu, Yuyin Zhou, Song Bai, Alan Yuille
- Abstract要約: 非局所ブロック(NL)は様々な視覚タスクで広く研究されている。
変換操作をスキューズし,コンパクトな特徴を取り入れた軽量ノンローカ(LightNL)ブロックを提案する。
また,LightNLブロックの最適構成をエンドツーエンドに学習するための効率的なニューラルネットワーク探索アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 66.49621237326959
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Non-Local (NL) blocks have been widely studied in various vision tasks.
However, it has been rarely explored to embed the NL blocks in mobile neural
networks, mainly due to the following challenges: 1) NL blocks generally have
heavy computation cost which makes it difficult to be applied in applications
where computational resources are limited, and 2) it is an open problem to
discover an optimal configuration to embed NL blocks into mobile neural
networks. We propose AutoNL to overcome the above two obstacles. Firstly, we
propose a Lightweight Non-Local (LightNL) block by squeezing the transformation
operations and incorporating compact features. With the novel design choices,
the proposed LightNL block is 400x computationally cheaper} than its
conventional counterpart without sacrificing the performance. Secondly, by
relaxing the structure of the LightNL block to be differentiable during
training, we propose an efficient neural architecture search algorithm to learn
an optimal configuration of LightNL blocks in an end-to-end manner. Notably,
using only 32 GPU hours, the searched AutoNL model achieves 77.7% top-1
accuracy on ImageNet under a typical mobile setting (350M FLOPs), significantly
outperforming previous mobile models including MobileNetV2 (+5.7%), FBNet
(+2.8%) and MnasNet (+2.1%). Code and models are available at
https://github.com/LiYingwei/AutoNL.
- Abstract（参考訳）: 非局所ブロック(NL)は様々な視覚タスクで広く研究されている。
しかしながら,nlブロックをモバイルニューラルネットに組み込むことは,次のような課題から,ほとんど検討されていない。
1) NLブロックは一般に計算コストが高く、計算資源が限られているアプリケーションでは適用が困難である。
2) nlブロックを移動型ニューラルネットワークに組み込むための最適な構成を見つけることはオープンな問題である。
上記の2つの障害を克服するためにAutoNLを提案する。
まず、変換操作をスキューズし、コンパクトな特徴を取り入れた軽量ノンローカ(LightNL)ブロックを提案する。
新しい設計選択により、提案するlightnlブロックは性能を犠牲にすることなく従来のlightnlブロックよりも400倍安価である。
次に,LightNLブロックの構造を学習中に微分可能なように緩和することにより,最適構成のLightNLブロックをエンドツーエンドで学習する効率的なニューラルネットワーク探索アルゴリズムを提案する。
特に、32GPU時間のみを使用して、検索されたAutoNLモデルは、典型的なモバイル設定(350M FLOPs)の下で、ImageNet上で77.7%のトップ1の精度を達成し、MobileNetV2(+5.7%)、FBNet(+2.8%)、MnasNet(+2.1%)など、これまでのモバイルモデルよりも大幅に優れていた。
コードとモデルはhttps://github.com/liyingwei/autonlで入手できる。
関連論文リスト
- Energy-Aware FPGA Implementation of Spiking Neural Network with LIF Neurons [0.5243460995467893]
スパイキングニューラルネットワーク(SNN)は、TinyMLの最先端ソリューションとして際立っている。
本稿では,第1次Leaky Integrate-and-Fire(LIF)ニューロンモデルに基づく新しいSNNアーキテクチャを提案する。
ハードウェアフレンドリーなLIF設計も提案され、Xilinx Artix-7 FPGA上で実装されている。
論文 参考訳（メタデータ） (2024-11-03T16:42:10Z) - Unlocking FedNL: Self-Contained Compute-Optimized Implementation [56.16884466478886]
Federated Learning(FL)は、インテリジェントエージェントが機械学習(ML)モデルを分散的にトレーニングすることを可能にする、新たなパラダイムである。
最近の研究はフェデレートニュートン学習(FedNL)アルゴリズムのファミリを導入し、FLと大規模最適化に二階法を適用するための重要なステップを示している。
本稿では,単一ノードおよび複数ノード設定のためのFedNL,FedNL-LS,FedNL-PPの自己完結実装を提案する。
論文 参考訳（メタデータ） (2024-10-11T12:19:18Z) - A foundation for exact binarized morphological neural networks [2.8925699537310137]
ディープニューラルネットワーク(NN)のトレーニングと実行は、多くの計算とエネルギー集約的な特別なハードウェアを必要とすることが多い。
計算量と消費電力を減らす方法の1つは二重NNを使うことであるが、これは符号関数が非滑らかな勾配を持つため訓練が困難である。
本研究では,特定の条件下での性能を損なうことなく,ConvNetを二項化できる数学的形態(MM)に基づくモデルを提案する。
論文 参考訳（メタデータ） (2024-01-08T11:37:44Z) - Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。
3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。
これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
論文 参考訳（メタデータ） (2023-08-30T10:57:41Z) - Rethinking Efficacy of Softmax for Lightweight Non-Local Neural Networks [22.240253892754932]
非ローカル(NL)ブロックは、グローバルコンテキストをモデル化する機能を示す人気のあるモジュールである。
入力特徴ベクトルの大きさと方向がベクトル間の注意に適切に影響を及ぼすかどうかを経験的に分析する。
ソフトマックス操作をスケーリング係数に置き換えることで,CIFAR-10,CIFAR-100,Tiny-ImageNetの性能向上を実証した。
論文 参考訳（メタデータ） (2022-07-27T10:04:23Z) - Neural network relief: a pruning algorithm based on neural activity [47.57448823030151]
重要でない接続を非活性化する簡易な重要スコア計量を提案する。
MNIST上でのLeNetアーキテクチャの性能に匹敵する性能を実現する。
このアルゴリズムは、現在のハードウェアとソフトウェアの実装を考えるとき、FLOPを最小化するように設計されていない。
論文 参考訳（メタデータ） (2021-09-22T15:33:49Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。
現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。
提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文 参考訳（メタデータ） (2021-03-08T03:09:37Z) - LRNNet: A Light-Weighted Network with Efficient Reduced Non-Local
Operation for Real-Time Semantic Segmentation [15.010572800399057]
本稿では,高効率かつリアルタイムなセマンティックセマンティックセグメンテーションを実現するために,LRNNetを用いた軽量ネットワークを提案する。
実験では、軽量、スピード、計算、精度のトレードオフが優れています。
論文 参考訳（メタデータ） (2020-06-04T08:55:15Z) - MeliusNet: Can Binary Neural Networks Achieve MobileNet-level Accuracy? [12.050205584630922]
バイナリニューラルネットワーク(BNN)は、典型的な32ビット浮動小数点値の代わりに2重みとアクティベーションを使用するニューラルネットワークである。
本稿では,特徴量を増加させるDenseBlockと,特徴量を増加させるAdvancedBlockというアーキテクチャアプローチを提案する。
論文 参考訳（メタデータ） (2020-01-16T16:56:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。