論文の概要: iFormer: Integrating ConvNet and Transformer for Mobile Application

• arxiv url: http://arxiv.org/abs/2501.15369v1
• Date: Sun, 26 Jan 2025 02:34:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:59:13.784595
• Title: iFormer: Integrating ConvNet and Transformer for Mobile Application
• Title（参考訳）: iFormer: モバイルアプリケーション用のConvNetとTransformerの統合
• Authors: Chuanyang Zheng,
• Abstract要約: iFormerは、畳み込みの高速局所表現能力と、自己意図の効率的なグローバルモデリング能力を統合する。 我々は、iFormerが様々なタスクで既存の軽量ネットワークより優れていることを示す包括的な実験を行う。
• 参考スコア（独自算出の注目度）: 0.6798775532273751
• License:
• Abstract: We present a new family of mobile hybrid vision networks, called iFormer, with a focus on optimizing latency and accuracy on mobile applications. iFormer effectively integrates the fast local representation capacity of convolution with the efficient global modeling ability of self-attention. The local interactions are derived from transforming a standard convolutional network, \textit{i.e.}, ConvNeXt, to design a more lightweight mobile network. Our newly introduced mobile modulation attention removes memory-intensive operations in MHA and employs an efficient modulation mechanism to boost dynamic global representational capacity. We conduct comprehensive experiments demonstrating that iFormer outperforms existing lightweight networks across various tasks. Notably, iFormer achieves an impressive Top-1 accuracy of 80.4\% on ImageNet-1k with a latency of only 1.10 ms on an iPhone 13, surpassing the recently proposed MobileNetV4 under similar latency constraints. Additionally, our method shows significant improvements in downstream tasks, including COCO object detection, instance segmentation, and ADE20k semantic segmentation, while still maintaining low latency on mobile devices for high-resolution inputs in these scenarios.
• Abstract（参考訳）: 我々は、モバイルアプリケーションにおけるレイテンシと精度の最適化に焦点を当てた、iFormerと呼ばれる新しいモバイルハイブリッドビジョンネットワークのファミリーを提示する。 iFormerは、畳み込みの高速局所表現能力と、自己意図の効率的なグローバルモデリング能力を効果的に統合する。 ローカルなインタラクションは、標準の畳み込みネットワークであるtextit{i.e.}、ConvNeXtを変換して、より軽量なモバイルネットワークを設計することに由来する。 新たに導入した移動変調アテンションは、MHAにおけるメモリ集約的な操作を除去し、動的グローバルな表現能力を高めるために効率的な変調機構を用いる。 我々は、iFormerが様々なタスクで既存の軽量ネットワークより優れていることを示す包括的な実験を行う。 特に、iFormerは、ImageNet-1kで80.4\%という印象的なTop-1精度を達成し、iPhone 13では1.10ミリ秒のレイテンシで、同様のレイテンシ制約の下で最近提案されたMobileNetV4を上回った。 さらに,本手法では,COCOオブジェクトの検出,インスタンスセグメンテーション,ADE20kセマンティックセグメンテーションなど,ダウンストリームタスクの大幅な改善が図られている。

関連論文リスト

• MobileMamba: Lightweight Multi-Receptive Visual Mamba Network [51.33486891724516]
  従来の軽量モデルの研究は、主にCNNとTransformerベースの設計に重点を置いてきた。 効率と性能のバランスをとるMobileMambaフレームワークを提案する。 MobileMambaはTop-1で83.6%を達成し、既存の最先端の手法を上回っている。
  論文  参考訳（メタデータ） (2024-11-24T18:01:05Z)
• CAS-ViT: Convolutional Additive Self-attention Vision Transformers for Efficient Mobile Applications [73.80247057590519]
  ビジョントランスフォーマー(ViT)は、トークンミキサーの強力なグローバルコンテキスト能力によって、ニューラルネットワークの革命的な進歩を示す。 CAS-ViT: Convolutional Additive Self-attention Vision Transformerを導入し、モバイルアプリケーションにおける効率と性能のバランスを実現する。 ImageNet-1Kのパラメータは12M/21Mで83.0%/84.1%である。
  論文  参考訳（メタデータ） (2024-08-07T11:33:46Z)
• Dynamic Mobile-Former: Strengthening Dynamic Convolution with Attention and Residual Connection in Kernel Space [4.111899441919165]
  Dynamic Mobile-Formerは、効率的な演算子と調和させることで動的畳み込みの能力を最大化する。 PVT.A Transformer in Dynamic Mobile-Formerは、グローバルな機能をランダムに計算するだけである。 Dynamic MobileNetとTransformerのブリッジは、ローカル機能とグローバル機能の双方向統合を可能にする。
  論文  参考訳（メタデータ） (2023-04-13T05:22:24Z)
• SwiftFormer: Efficient Additive Attention for Transformer-based Real-time Mobile Vision Applications [98.90623605283564]
  本稿では,2次行列乗算演算を線形要素乗算に効果的に置き換える,新しい効率的な付加的注意機構を提案する。 我々は"SwiftFormer"と呼ばれる一連のモデルを構築し、精度とモバイル推論速度の両面で最先端のパフォーマンスを達成する。 私たちの小さなバージョンでは、iPhone 14で8.5%のImageNet-1Kの精度が達成され、そのレイテンシは0.8msで、MobileViT-v2より2倍速くなります。
  論文  参考訳（メタデータ） (2023-03-27T17:59:58Z)
• Rethinking Vision Transformers for MobileNet Size and Speed [58.01406896628446]
  本稿では,低レイテンシでパラメータ効率の高い新しいスーパーネットを提案する。 また,変圧器モデルに対して,よりきめ細かな共同探索戦略を導入する。 この研究は、MobileNetレベルのサイズと速度であっても、適切に設計され、最適化されたビジョントランスフォーマーがハイパフォーマンスを実現することを実証している。
  論文  参考訳（メタデータ） (2022-12-15T18:59:12Z)
• MobileOne: An Improved One millisecond Mobile Backbone [14.041480018494394]
  モバイルデバイス上に複数のモバイルフレンドリーなネットワークを配置することで、さまざまなメトリクスを分析します。 我々は,iPhone12で1ミリ秒未満の推論時間を実現した,効率的なバックボーンMobileOneを設計する。 我々はMobileOneが,モバイル上での処理速度を何倍にも向上しつつ,効率的なアーキテクチャ内での最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-06-08T17:55:11Z)
• EfficientFormer: Vision Transformers at MobileNet Speed [43.93223983817965]
  Vision Transformers (ViT) はコンピュータビジョンタスクの急速な進歩を示し、様々なベンチマークで有望な結果を得た。 ViTベースのモデルは一般的に、軽量な畳み込みネットワークの倍遅い。 近年,ネットワークアーキテクチャ検索やMobileNetブロックによるハイブリッド設計によるViTの複雑さの低減が試みられているが,推論速度はまだ不十分である。
  論文  参考訳（メタデータ） (2022-06-02T17:51:03Z)
• EdgeViTs: Competing Light-weight CNNs on Mobile Devices with Vision Transformers [88.52500757894119]
  自己注意に基づく視覚変換器(ViT)は、コンピュータビジョンにおける畳み込みニューラルネットワーク(CNN)に代わる、非常に競争力のあるアーキテクチャとして登場した。 われわれはEdgeViTsを紹介した。これは新しい軽量ViTのファミリーで、注目に基づく視覚モデルが初めて、最高の軽量CNNと競合することを可能にする。
  論文  参考訳（メタデータ） (2022-05-06T18:17:19Z)
• MicroNet: Improving Image Recognition with Extremely Low FLOPs [82.54764264255505]
  疎結合性と動的アクティベーション関数の2つの要因が,精度向上に有効であることがわかった。 非線形性を改善するために動的シフトマックスと呼ばれる新しい動的アクティベーション関数を提案する。 私たちはMicroNetというネットワークのファミリに到達し、低FLOP体制下での最先端技術に対して大きなパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2021-08-12T17:59:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。