論文の概要: Rethinking Mobile Block for Efficient Attention-based Models

• arxiv url: http://arxiv.org/abs/2301.01146v3
• Date: Tue, 4 Apr 2023 05:55:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 18:08:59.103757
• Title: Rethinking Mobile Block for Efficient Attention-based Models
• Title（参考訳）: 効果的な注意モデルのための移動ブロックの再考
• Authors: Jiangning Zhang, Xiangtai Li, Jian Li, Liang Liu, Zhucun Xue, Boshen Zhang, Zhengkai Jiang, Tianxin Huang, Yabiao Wang, and Chengjie Wang
• Abstract要約: 本稿では、パラメータ、FLOP、性能をトレードオフしながら、高密度予測のための現代的で効率的で軽量なモデルを開発することに焦点を当てる。 Inverted Residual Block (IRB) は軽量CNNの基盤として機能するが、注目に基づく研究ではその存在は認められていない。 我々はCNNベースのIRBをアテンションベースモデルに拡張し、軽量モデル設計のためのMMB(One-Residual Meta Mobile Block)を抽象化する。
• 参考スコア（独自算出の注目度）: 31.09956206054009
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper focuses on developing modern, efficient, lightweight models for dense predictions while trading off parameters, FLOPs, and performance. Inverted Residual Block (IRB) serves as the infrastructure for lightweight CNNs, but no counterpart has been recognized by attention-based studies. This work rethinks lightweight infrastructure from efficient IRB and effective components of Transformer from a unified perspective, extending CNN-based IRB to attention-based models and abstracting a one-residual Meta Mobile Block (MMB) for lightweight model design. Following simple but effective design criterion, we deduce a modern Inverted Residual Mobile Block (iRMB) and build a ResNet-like Efficient MOdel (EMO) with only iRMB for down-stream tasks. Extensive experiments on ImageNet-1K, COCO2017, and ADE20K benchmarks demonstrate the superiority of our EMO over state-of-the-art methods, e.g., EMO-1M/2M/5M achieve 71.5, 75.1, and 78.4 Top-1 that surpass equal-order CNN-/Attention-based models, while trading-off the parameter, efficiency, and accuracy well: running 2.8-4.0 faster than EdgeNeXt on iPhone14. Code is available.
• Abstract（参考訳）: 本稿では,パラメータやフラップ,パフォーマンスをトレードオフしながら,高密度予測のための現代的な,効率的で軽量なモデルを開発することに焦点を当てる。 Inverted Residual Block (IRB) は軽量CNNの基盤として機能するが、注目に基づく研究ではその存在は認められていない。 この作業では、効率的なIRBとTransformerの効率的なコンポーネントから軽量インフラストラクチャを再考し、CNNベースのIRBを注目モデルに拡張し、軽量モデル設計のための1つの残留Meta Mobile Block(MMB)を抽象化する。 単純かつ効果的な設計基準に従うと、現代の逆Residual Mobile Block (iRMB) を推論し、下流タスクにのみiRMBを組み込んだResNetライクなEMO(Efficient MOdel)を構築する。 imagenet-1k、coco2017、ade20kベンチマークに関する広範な実験では、iphone14でedgenextよりも2.8-4.0高速で実行しながら、同等のcnn/attentionベースのモデルを上回る71.5、75.1、78.4 top-1を達成しています。 コードは利用可能。

関連論文リスト

• LeYOLO, New Scalable and Efficient CNN Architecture for Object Detection [0.0]
  FLOPに基づく効率的な物体検出のためのニューラルネットワークアーキテクチャの設計選択に着目する。 そこで本研究では,YOLOモデルの有効性を高めるために,いくつかの最適化手法を提案する。 本稿では、オブジェクト検出のための新しいスケーリングパラダイムと、LeYOLOと呼ばれるYOLO中心のモデルに寄与する。
  論文  参考訳（メタデータ） (2024-06-20T12:08:24Z)
• Efficient Modulation for Vision Networks [122.1051910402034]
  我々は、効率的なビジョンネットワークのための新しい設計である効率的な変調を提案する。 変調機構が特に効率的なネットワークに適していることを実証する。 私たちのネットワークは、精度と効率のトレードオフをうまく達成できます。
  論文  参考訳（メタデータ） (2024-03-29T03:48:35Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• CODEBench: A Neural Architecture and Hardware Accelerator Co-Design Framework [4.5259990830344075]
  この研究は、CODEBenchと呼ばれる新しいニューラルアーキテクチャとハードウェアアクセラレーターの共同設計フレームワークを提案する。 CNNBenchとAccelBenchという2つの新しいベンチマークサブフレームワークで構成されており、畳み込みニューラルネットワーク(CNN)とCNNアクセラレーターの拡張設計空間を探索している。
  論文  参考訳（メタデータ） (2022-12-07T21:38:03Z)
• MOAT: Alternating Mobile Convolution and Attention Brings Strong Vision Models [40.40784209977589]
  本稿では、モビレ畳み込み(すなわち逆残差ブロック)とアテンションの上に構築されるニューラルネットワークのファミリーであるMOATについて述べる。 我々は、標準のTransformerブロックを移動式畳み込みブロックに置き換え、自己注意操作の前にさらに並べ替える。 概念的には単純なMOATネットワークは驚くほど有効であり、ImageNet-22KプリトレーニングでImageNet-1Kで89.1%の精度を実現している。
  論文  参考訳（メタデータ） (2022-10-04T18:00:06Z)
• Faster Attention Is What You Need: A Fast Self-Attention Neural Network Backbone Architecture for the Edge via Double-Condensing Attention Condensers [71.40595908386477]
  本稿では,2重対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向 結果のバックボーン(AttendNeXtと呼ぶ)は、組み込みARMプロセッサ上で大幅に高い推論スループットを実現する。 これらの有望な結果は、さまざまな効率的なアーキテクチャ設計と自己アテンション機構の探索が、TinyMLアプリケーションのための興味深い新しいビルディングブロックにつながることを実証している。
  論文  参考訳（メタデータ） (2022-08-15T02:47:33Z)
• A Two-Stage Efficient 3-D CNN Framework for EEG Based Emotion Recognition [3.147603836269998]
  フレームワークは2つのステージで構成されており、最初の段階はEEGNetと呼ばれる効率的なモデルの構築である。 第2段階では、これらのモデルをバイナライズしてさらに圧縮し、エッジデバイスに容易にデプロイする。 提案したバイナライズされたEEGNetモデルは、それぞれ0.11Mbits、0.28Mbits、0.46Mbitsのストレージコストで81%、95%、99%の精度を達成する。
  論文  参考訳（メタデータ） (2022-07-26T05:33:08Z)
• EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for Mobile Vision Applications [68.35683849098105]
  入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。 1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。 パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
  論文  参考訳（メタデータ） (2022-06-21T17:59:56Z)
• Bottleneck Transformers for Visual Recognition [97.16013761605254]
  視覚タスクに自己注意を組み込んだ強力なバックボーンアーキテクチャであるBoTNetを提案する。 我々は、ImageNetベンチマークにおいて84.7%のトップ1の精度で高いパフォーマンスを達成するモデルを提案する。 私たちのシンプルで効果的なアプローチが、将来のビジョンのための自己注意モデル研究の強力なベースラインになることを期待しています。
  論文  参考訳（メタデータ） (2021-01-27T18:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。