論文の概要: LeMeViT: Efficient Vision Transformer with Learnable Meta Tokens for Remote Sensing Image Interpretation

• arxiv url: http://arxiv.org/abs/2405.09789v1
• Date: Thu, 16 May 2024 03:26:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-17 15:30:35.775625
• Title: LeMeViT: Efficient Vision Transformer with Learnable Meta Tokens for Remote Sensing Image Interpretation
• Title（参考訳）: LeMeViT:リモートセンシング画像解釈のための学習可能なメタトークンを用いた高能率視覚変換器
• Authors: Wentao Jiang, Jing Zhang, Di Wang, Qiming Zhang, Zengmao Wang, Bo Du,
• Abstract要約: 本稿では,学習可能なメタトークンを用いてスパーストークンを定式化し,キー情報を効果的に学習し,推論速度を向上させることを提案する。 視覚トークンが密集した早期にデュアル・クロス・アテンション(DCA)を用いることで,様々な大きさの階層型アーキテクチャLeMeViTが得られる。 分類と密接な予測タスクの実験結果は、LeMeViTがベースラインモデルと比較して1.7倍のスピードアップ、少ないパラメータ、競争性能を持っていることを示している。
• 参考スコア（独自算出の注目度）: 37.72775203647514
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to spatial redundancy in remote sensing images, sparse tokens containing rich information are usually involved in self-attention (SA) to reduce the overall token numbers within the calculation, avoiding the high computational cost issue in Vision Transformers. However, such methods usually obtain sparse tokens by hand-crafted or parallel-unfriendly designs, posing a challenge to reach a better balance between efficiency and performance. Different from them, this paper proposes to use learnable meta tokens to formulate sparse tokens, which effectively learn key information meanwhile improving the inference speed. Technically, the meta tokens are first initialized from image tokens via cross-attention. Then, we propose Dual Cross-Attention (DCA) to promote information exchange between image tokens and meta tokens, where they serve as query and key (value) tokens alternatively in a dual-branch structure, significantly reducing the computational complexity compared to self-attention. By employing DCA in the early stages with dense visual tokens, we obtain the hierarchical architecture LeMeViT with various sizes. Experimental results in classification and dense prediction tasks show that LeMeViT has a significant $1.7 \times$ speedup, fewer parameters, and competitive performance compared to the baseline models, and achieves a better trade-off between efficiency and performance.
• Abstract（参考訳）: リモートセンシング画像の空間的冗長性のため、豊富な情報を含むスパーストークンは、通常は自己注意(SA)にかかわって計算全体のトークン数を減らし、ビジョントランスフォーマーの計算コストの高さを避ける。 しかし、このような手法は通常手作りまたは平行にない設計でスパーストークンを入手し、効率と性能のバランスを良くすることの難しさを浮き彫りにしている。 そこで本研究では,学習可能なメタトークンを用いてスパーストークンを定式化する手法を提案する。 技術的には、メタトークンは、クロスアテンションを介して画像トークンから最初に初期化される。 次に、画像トークンとメタトークン間の情報交換を促進するために、デュアルブランチ構造でクエリとキー(値)トークンとして機能し、自己アテンションと比較して計算複雑性を著しく低減するデュアルクロスアテンション(DCA)を提案する。 DCAを高密度な視覚トークンで初期的に利用することにより、様々な大きさの階層型アーキテクチャLeMeViTが得られる。 分類と密集した予測タスクの実験結果から、LeMeViTはベースラインモデルと比較して1.7 \times$スピードアップ、少ないパラメータ、競争性能を有しており、効率と性能のトレードオフがより優れていることが示されている。

関連論文リスト

• LookupViT: Compressing visual information to a limited number of tokens [36.83826969693139]
  ビジョントランスフォーマー (ViT) は、多くの業界グレードのビジョンソリューションのデファクト選択として登場した。 しかし、それらの推論コストは、トークン数の複雑さに悩まされる各レイヤにおける自己注意を計算するため、多くの設定で禁止される可能性がある。 本研究では、この情報空間を利用してViT推論コストを削減するLookupViTを紹介する。
  論文  参考訳（メタデータ） (2024-07-17T17:22:43Z)
• ToSA: Token Selective Attention for Efficient Vision Transformers [50.13756218204456]
  ToSAはトークン選択型アテンションアプローチで、コンバータ層をスキップできるトークンだけでなく、参加する必要のあるトークンも識別できる。 ToSAは,ImageNet分類ベンチマークの精度を維持しながら,計算コストを大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2024-06-13T05:17:21Z)
• Accelerating Transformers with Spectrum-Preserving Token Merging [43.463808781808645]
  PiToMeは、エネルギースコアと呼ばれる追加のメトリックを使用して、情報トークンの保存を優先する。 実験の結果,PiToMeはベースモデルの40～60%のFLOPから保存されていた。
  論文  参考訳（メタデータ） (2024-05-25T09:37:01Z)
• GTP-ViT: Efficient Vision Transformers via Graph-based Token Propagation [30.343504537684755]
  ビジョントランスフォーマー(ViT)はコンピュータビジョンの分野に革命をもたらしたが、リソースに制約のあるデバイスへの展開は依然として困難である。 ViTを高速化するために、トークンのプルーニングとトークンのマージアプローチが開発され、計算に関わるトークンの数を減らすことを目的としている。 本稿では,効率的なViTのためのモデル効率と情報保存のバランスをとることの課題を解決するために,グラフベースの新しいToken Propagation(GTP)手法を提案する。
  論文  参考訳（メタデータ） (2023-11-06T11:14:19Z)
• Multi-Scale And Token Mergence: Make Your ViT More Efficient [3.087140219508349]
  Vision Transformer (ViT) はコンピュータビジョン領域において一般的なモデルとして登場した。 より重要なトークンとマージすることで,非機密トークンからの情報を保持できる新しいトークンプルーニング手法を提案する。 提案手法は,DeiT-Sの精度は0.1%しか低下せず,計算コストの33%の大幅な削減を実現している。
  論文  参考訳（メタデータ） (2023-06-08T02:58:15Z)
• CrossGET: Cross-Guided Ensemble of Tokens for Accelerating Vision-Language Transformers [53.224004166460254]
  本稿では,視覚言語変換のための一般的なアクセラレーションフレームワークであるクロスガイド・アンサンブル・オブ・トークン(CrossGET)を紹介する。 CrossGETは推論中にリアルタイムでトークンを適応的に結合し、計算コストを大幅に削減する。 画像テキスト検索、視覚的推論、画像キャプション、視覚的質問応答など、様々な視覚言語タスクの実験が行われている。
  論文  参考訳（メタデータ） (2023-05-27T12:07:21Z)
• CageViT: Convolutional Activation Guided Efficient Vision Transformer [90.69578999760206]
  本稿では,CageViTと呼ばれる効率的な視覚変換器を提案する。 私たちのCageViTは、現在のTransformersとは違って、新しいエンコーダを使用して、再配置されたトークンを処理する。 実験の結果,提案したCageViTは最新の最先端のバックボーンよりも効率の面で大きな差があることがわかった。
  論文  参考訳（メタデータ） (2023-05-17T03:19:18Z)
• Token-Label Alignment for Vision Transformers [93.58540411138164]
  データ混合戦略(例えば、CutMix)は、畳み込みニューラルネットワーク(CNN)の性能を大幅に改善する能力を示している。 我々は,データ混合戦略の可能性を抑制するトークン変動現象を同定する。 本稿では,各トークンのラベルを保持するために,変換されたトークンと元のトークンとの対応をトレースするトークンラベルアライメント(TL-Align)手法を提案する。
  論文  参考訳（メタデータ） (2022-10-12T17:54:32Z)
• Adaptive Sparse ViT: Towards Learnable Adaptive Token Pruning by Fully Exploiting Self-Attention [36.90363317158731]
  最小限のコストで適応的なスパーストークンプルーニングフレームワークを提案する。 提案手法では,DeiT-Sのスループットを50%向上し,トップ1の精度は0.2%低下した。
  論文  参考訳（メタデータ） (2022-09-28T03:07:32Z)
• DynamicViT: Efficient Vision Transformers with Dynamic Token Sparsification [134.9393799043401]
  入力に基づいて冗長なトークンを抽出する動的トークンスペーシフィケーションフレームワークを提案する。 入力トークンの66%を階層的にプルーニングすることで,FLOPの31%37%を大幅に削減し,スループットを40%以上向上する。 DynamicViTモデルは、ImageNetの最先端CNNやビジョントランスフォーマーと比較して、非常に競争力のある複雑性/精度のトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。