Fugu-MT 論文翻訳(概要): ViT-FOD: A Vision Transformer based Fine-grained Object Discriminator

論文の概要: ViT-FOD: A Vision Transformer based Fine-grained Object Discriminator

arxiv url: http://arxiv.org/abs/2203.12816v1
Date: Thu, 24 Mar 2022 02:34:57 GMT
ステータス: 処理完了
システム内更新日: 2022-03-25 13:49:33.870292
Title: ViT-FOD: A Vision Transformer based Fine-grained Object Discriminator
Title（参考訳）: ViT-FOD:視覚変換器を用いた微細物体識別器
Authors: Zi-Chao Zhang, Zhen-Duo Chen, Yongxin Wang, Xin Luo, Xin-Shun Xu
Abstract要約: 細粒度画像分類(FGVC)タスクのための新しいViTに基づく細粒度物体識別器を提案する。 ViTバックボーンの他に、APC(Attention Patch Combination)、CRF(Critical Regions Filter)、CTI(Complementary Tokens Integration)という3つの新しいコンポーネントが導入されている。我々は広く使われているデータセットに関する包括的な実験を行い、その結果、ViT-FODが最先端のパフォーマンスを達成できることを実証した。
参考スコア（独自算出の注目度）: 21.351034332423374
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently, several Vision Transformer (ViT) based methods have been proposed for Fine-Grained Visual Classification (FGVC).These methods significantly surpass existing CNN-based ones, demonstrating the effectiveness of ViT in FGVC tasks.However, there are some limitations when applying ViT directly to FGVC.First, ViT needs to split images into patches and calculate the attention of every pair, which may result in heavy redundant calculation and unsatisfying performance when handling fine-grained images with complex background and small objects.Second, a standard ViT only utilizes the class token in the final layer for classification, which is not enough to extract comprehensive fine-grained information. To address these issues, we propose a novel ViT based fine-grained object discriminator for FGVC tasks, ViT-FOD for short. Specifically, besides a ViT backbone, it further introduces three novel components, i.e, Attention Patch Combination (APC), Critical Regions Filter (CRF), and Complementary Tokens Integration (CTI). Thereinto, APC pieces informative patches from two images to generate a new image so that the redundant calculation can be reduced. CRF emphasizes tokens corresponding to discriminative regions to generate a new class token for subtle feature learning. To extract comprehensive information, CTI integrates complementary information captured by class tokens in different ViT layers. We conduct comprehensive experiments on widely used datasets and the results demonstrate that ViT-FOD is able to achieve state-of-the-art performance.
Abstract（参考訳）: 近年、ファイングラインドビジュアル分類(FGVC)において、視覚変換器(ViT)に基づくいくつかの手法が提案されている。 These methods significantly surpass existing CNN-based ones, demonstrating the effectiveness of ViT in FGVC tasks.However, there are some limitations when applying ViT directly to FGVC.First, ViT needs to split images into patches and calculate the attention of every pair, which may result in heavy redundant calculation and unsatisfying performance when handling fine-grained images with complex background and small objects.Second, a standard ViT only utilizes the class token in the final layer for classification, which is not enough to extract comprehensive fine-grained information. これらの課題に対処するため、我々はFGVCタスクのための新しいViTベースの細粒度オブジェクト識別器、略してViT-FODを提案する。具体的には、ViTバックボーンの他に、APC(Attention Patch Combination)、CRF(Critical Regions Filter)、CTI(Complementary Tokens Integration)の3つの新しいコンポーネントが導入されている。そこで、apcは2つの画像から情報パッチを分割し、冗長な計算を減らすために新しい画像を生成する。 CRFは識別領域に対応するトークンを強調し、微妙な特徴学習のための新しいクラストークンを生成する。包括的な情報を抽出するため、ctiは異なるvit層でクラストークンが取得する補完情報を統合する。我々は,広範に使用されるデータセットについて総合的な実験を行い,vit-fodが最先端の性能を達成できることを実証する。

関連論文リスト

LookupViT: Compressing visual information to a limited number of tokens [36.83826969693139]
ビジョントランスフォーマー (ViT) は、多くの業界グレードのビジョンソリューションのデファクト選択として登場した。しかし、それらの推論コストは、トークン数の複雑さに悩まされる各レイヤにおける自己注意を計算するため、多くの設定で禁止される可能性がある。本研究では、この情報空間を利用してViT推論コストを削減するLookupViTを紹介する。
論文参考訳（メタデータ） (2024-07-17T17:22:43Z)
DeiT-LT Distillation Strikes Back for Vision Transformer Training on Long-Tailed Datasets [30.178427266135756]
Vision Transformer (ViT) は様々なコンピュータビジョンタスクの顕著なアーキテクチャとして登場した。 ViTは事前トレーニングに大量のデータを必要とする。 DeiT-LTを導入し、長い尾のデータセットのスクラッチからViTをトレーニングする問題に対処する。
論文参考訳（メタデータ） (2024-04-03T17:58:21Z)
Denoising Vision Transformers [43.03068202384091]
本稿では、DVT(Denoising Vision Transformers)と呼ばれる2段階のDenoisingアプローチを提案する。第1段階では、画像ごとのニューラルネットワークとの横断的な特徴整合を強制することにより、位置的アーティファクトによって汚染されたものからクリーンな特徴を分離する。第2段階では、クリーンな特徴を生のViT出力から予測するために軽量なトランスフォーマーブロックを訓練し、クリーンな特徴の導出推定を監督として活用する。
論文参考訳（メタデータ） (2024-01-05T18:59:52Z)
Making Vision Transformers Efficient from A Token Sparsification View [26.42498120556985]
本稿では,グローバル・ローカル・ビジョン・トランスフォーマのための新しいセマンティック・トークンViT(STViT)を提案する。提案手法は,対象検出やインスタンスセグメンテーションにおける元のネットワークと比較して,30%以上のFLOPを削減できる。さらに,STViTに基づいて詳細な空間情報を復元するためのSTViT-R(ecover)ネットワークを設計し,下流タスクに有効である。
論文参考訳（メタデータ） (2023-03-15T15:12:36Z)
Exploring Efficient Few-shot Adaptation for Vision Transformers [70.91692521825405]
そこで本稿では,Few-shot LearningタスクにおけるVTの微調整を容易にするトランスフォーマーチューニング(eTT)手法を提案する。新しく発表されたAttentive Prefix Tuning(APT)とDomain Residual Adapter(DRA)の主な新機能我々は,我々のモデルの有効性を示す広範囲な実験を行った。
論文参考訳（メタデータ） (2023-01-06T08:42:05Z)
Self-Promoted Supervision for Few-Shot Transformer [178.52948452353834]
SUN(Self-promoted sUpervisioN)は視覚変換器(ViT)のための数発の学習フレームワークである SUNは、数ショットの学習データセットでViTを事前トレーニングし、各パッチトークンを導くために、個別のロケーション固有の監視を生成する。実験によると、ViTを使ったSUNは、ViTを使った他の数発の学習フレームワークを大幅に上回っており、CNNの最先端技術よりも高いパフォーマンスを実現している。
論文参考訳（メタデータ） (2022-03-14T12:53:27Z)
Anti-Oversmoothing in Deep Vision Transformers via the Fourier Domain Analysis: From Theory to Practice [111.47461527901318]
Vision Transformer (ViT) は先日,コンピュータビジョン問題における有望性を実証した。 ViTは観察された注意崩壊やパッチの均一性のために、深さが増加するにつれて急速に飽和する。所望の低域制限を緩和する2つの手法を提案する。
論文参考訳（メタデータ） (2022-03-09T23:55:24Z)
Coarse-to-Fine Vision Transformer [83.45020063642235]
性能を維持しながら計算負担を軽減するための粗視変換器(CF-ViT)を提案する。提案するCF-ViTは,近代的なViTモデルにおける2つの重要な観測によって動機付けられている。 CF-ViTはLV-ViTのFLOPを53%削減し,スループットも2.01倍に向上した。
論文参考訳（メタデータ） (2022-03-08T02:57:49Z)
On Improving Adversarial Transferability of Vision Transformers [97.17154635766578]
視覚変換器(ViT)は、入力画像を、自己注意によるパッチのシーケンスとして処理する。本稿では,ViTモデルの対角的特徴空間とその伝達性について検討する。本稿では,ViTモデルのアーキテクチャに特有な2つの新しい戦略を紹介する。
論文参考訳（メタデータ） (2021-06-08T08:20:38Z)
So-ViT: Mind Visual Tokens for Vision Transformer [27.243241133304785]
本稿では,視覚トークンの2次相互分散プールとクラストークンを組み合わせ,最終分類を行う新しい分類パラダイムを提案する。我々は,視覚トークン埋め込みのためのオフ・ザ・棚畳み込みに基づく軽量階層モジュールを開発した。その結果、我々のモデルは、スクラッチからトレーニングされた場合、競合するViTモデルよりも優れ、最先端のCNNモデルと同等かそれ以上であることがわかった。
論文参考訳（メタデータ） (2021-04-22T09:05:09Z)
Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet [128.96032932640364]
視覚課題を解決するために,新しいTokens-To-Token Vision Transformer (T2T-ViT)を提案する。 T2T-ViTは、バニラViTのパラメータ数とMACを200%削減し、ImageNetでスクラッチからトレーニングすると2.5%以上の改善を実現している。例えば、ResNet50に匹敵するサイズを持つT2T-ViTは、ImageNet上で80.7%のトップ1の精度を達成できる。
論文参考訳（メタデータ） (2021-01-28T13:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。