論文の概要: Image Recognition with Online Lightweight Vision Transformer: A Survey
- arxiv url: http://arxiv.org/abs/2505.03113v2
- Date: Sun, 11 May 2025 02:36:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-13 12:10:05.930587
- Title: Image Recognition with Online Lightweight Vision Transformer: A Survey
- Title（参考訳）: オンライン軽視変換器を用いた画像認識:サーベイ
- Authors: Zherui Zhang, Rongtao Xu, Jie Zhou, Changwei Wang, Xingtian Pei, Wenhao Xu, Jiguang Zhang, Li Guo, Longxiang Gao, Wenbo Xu, Shibiao Xu,
- Abstract要約: 本稿では、画像認識のための軽量な視覚変換器を作成するための様々なオンライン戦略について調査する。
我々は、ImageNet-1Kベンチマークにおいて、各トピックに関する関連する探索を評価した。
視覚変換器の軽量化における今後の研究の方向性と今後の課題を提案する。
- 参考スコア（独自算出の注目度）: 31.281613961724165
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Transformer architecture has achieved significant success in natural language processing, motivating its adaptation to computer vision tasks. Unlike convolutional neural networks, vision transformers inherently capture long-range dependencies and enable parallel processing, yet lack inductive biases and efficiency benefits, facing significant computational and memory challenges that limit its real-world applicability. This paper surveys various online strategies for generating lightweight vision transformers for image recognition, focusing on three key areas: Efficient Component Design, Dynamic Network, and Knowledge Distillation. We evaluate the relevant exploration for each topic on the ImageNet-1K benchmark, analyzing trade-offs among precision, parameters, throughput, and more to highlight their respective advantages, disadvantages, and flexibility. Finally, we propose future research directions and potential challenges in the lightweighting of vision transformers with the aim of inspiring further exploration and providing practical guidance for the community. Project Page: https://github.com/ajxklo/Lightweight-VIT
- Abstract（参考訳）: Transformerアーキテクチャは自然言語処理において大きな成功を収め、コンピュータビジョンタスクへの適応を動機付けている。
畳み込みニューラルネットワークとは異なり、視覚変換器は本質的に長距離の依存関係をキャプチャし、並列処理を可能にする。
本稿では、画像認識のための軽量な視覚変換器を作成するための様々なオンライン戦略を、効率的なコンポーネント設計、動的ネットワーク、知識蒸留の3つの重要な領域に焦点を当てて調査する。
我々は、ImageNet-1Kベンチマークで各トピックについて関連する探索を評価し、精度、パラメータ、スループットなどのトレードオフを分析し、それぞれの利点、デメリット、柔軟性を強調した。
最後に,今後のビジョントランスフォーマーの軽量化に向けた研究の方向性と課題を提案する。
Project Page: https://github.com/ajxklo/Lightweight-VIT
関連論文リスト
- A Review of Transformer-Based Models for Computer Vision Tasks: Capturing Global Context and Spatial Relationships [0.5639904484784127]
トランスフォーマーモデルによる自然言語処理(NLP)の展望の変化
これらのモデルは、長距離依存やコンテキスト情報をキャプチャする能力で有名である。
コンピュータビジョンにおけるトランスフォーマーモデルの研究の方向性と応用について論じる。
論文 参考訳（メタデータ） (2024-08-27T16:22:18Z) - Three things everyone should know about Vision Transformers [67.30250766591405]
トランスフォーマーアーキテクチャは コンピュータビジョンにおいて 急速に勢いを増しています
視覚変換器の変種をシンプルかつ容易に実装できる3つの洞察を提供する。
我々は、ImageNet-1kデータセットを用いて、これらの設計選択の影響を評価し、ImageNet-v2テストセットにおける結果を確認した。
論文 参考訳（メタデータ） (2022-03-18T08:23:03Z) - Visualizing and Understanding Patch Interactions in Vision Transformer [96.70401478061076]
Vision Transformer (ViT) は様々なコンピュータビジョンタスクにおいて主要なツールとなっている。
本稿では,視覚変換器のパッチ間の重要な注意相互作用を分析し,解釈するための,説明可能な新しい可視化手法を提案する。
論文 参考訳（メタデータ） (2022-03-11T13:48:11Z) - AdaViT: Adaptive Vision Transformers for Efficient Image Recognition [78.07924262215181]
AdaViTは、パッチ、セルフアテンションヘッド、およびトランスフォーマーブロックを使用するための利用ポリシーを導出する適応フレームワークである。
本手法は,0.8%の精度で,最先端のビジョントランスに比べて2倍以上の効率向上を実現している。
論文 参考訳（メタデータ） (2021-11-30T18:57:02Z) - A Survey of Visual Transformers [30.082304742571598]
注意に基づくエンコーダデコーダアーキテクチャであるTransformerは、自然言語処理の分野に革命をもたらした。
コンピュータビジョン(CV)分野へのトランスフォーマーアーキテクチャの適用に関する先駆的な研究が最近行われている。
我々は,3つの基本的なCVタスクに対して,100以上の異なる視覚変換器の総合的なレビューを行った。
論文 参考訳（メタデータ） (2021-11-11T07:56:04Z) - Transformers in Vision: A Survey [101.07348618962111]
トランスフォーマーは、入力シーケンス要素間の長い依存関係をモデリングし、シーケンスの並列処理をサポートします。
変圧器は設計に最小限の誘導バイアスを必要とし、自然にセット関数として適しています。
本調査は,コンピュータビジョン分野におけるトランスフォーマーモデルの概要を概観することを目的としている。
論文 参考訳（メタデータ） (2021-01-04T18:57:24Z) - A Survey on Visual Transformer [126.56860258176324]
Transformerは、主に自己認識機構に基づくディープニューラルネットワークの一種である。
本稿では、これらの視覚変換器モデルについて、異なるタスクで分類し、それらの利点と欠点を分析することでレビューする。
論文 参考訳（メタデータ） (2020-12-23T09:37:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。