論文の概要: Wavelet-Based Image Tokenizer for Vision Transformers

• arxiv url: http://arxiv.org/abs/2405.18616v1
• Date: Tue, 28 May 2024 21:45:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 21:33:21.050979
• Title: Wavelet-Based Image Tokenizer for Vision Transformers
• Title（参考訳）: ウェーブレットを用いた視覚変換器用画像トケナイザ
• Authors: Zhenhai Zhu, Radu Soricut,
• Abstract要約: 非重複パッチワイド畳み込みはビジョントランスフォーマー(ViT)モデルのデフォルト画像トークンである。 本稿ではウェーブレット変換に基づく新しい画像トークン化手法を提案する。 新たなトークン機構を備えたViTモデルは,ImageNet検証セットのトレーニングスループットの向上とトップ1精度の向上を実現する。
• 参考スコア（独自算出の注目度）: 14.346214923088855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Non-overlapping patch-wise convolution is the default image tokenizer for all state-of-the-art vision Transformer (ViT) models. Even though many ViT variants have been proposed to improve its efficiency and accuracy, little research on improving the image tokenizer itself has been reported in the literature. In this paper, we propose a new image tokenizer based on wavelet transformation. We show that ViT models with the new tokenizer achieve both higher training throughput and better top-1 precision for the ImageNet validation set. We present a theoretical analysis on why the proposed tokenizer improves the training throughput without any change to ViT model architecture. Our analysis suggests that the new tokenizer can effectively handle high-resolution images and is naturally resistant to adversarial attack. Furthermore, the proposed image tokenizer offers a fresh perspective on important new research directions for ViT-based model design, such as image tokens on a non-uniform grid for image understanding.
• Abstract（参考訳）: 非重複パッチワイドコンボリューションは、すべての最先端ビジョントランスフォーマー(ViT)モデルのデフォルトの画像トークンである。 多くのViT変異体が効率と精度を改善するために提案されているが、画像トークン化装置自体の改善に関する研究はほとんど報告されていない。 本稿ではウェーブレット変換に基づく新しい画像トークン化手法を提案する。 新たなトークン機構を備えたViTモデルは,ImageNet検証セットのトレーニングスループットの向上とトップ1精度の向上を実現する。 本稿では,ViTモデルアーキテクチャの変更を伴わずに,トークン化器がトレーニングスループットを向上する理由に関する理論的解析を行う。 分析の結果,新しいトークンーザは高解像度画像を効果的に処理でき,対向攻撃に対して自然に耐性があることが示唆された。 さらに、画像理解のための一様でないグリッド上の画像トークンなど、ViTベースのモデル設計のための重要な研究方向について、新たな視点を提供する。

関連論文リスト

• Make A Long Image Short: Adaptive Token Length for Vision Transformers [5.723085628967456]
  本稿では、長い画像の短縮によるViTモデルを高速化するための革新的なアプローチを提案する。 具体的には、テスト時に各画像に対してトークン長を適応的に割り当て、推論速度を高速化する手法を提案する。
  論文  参考訳（メタデータ） (2023-07-05T08:10:17Z)
• Visual Prompt Tuning for Generative Transfer Learning [26.895321693202284]
  生成的知識伝達による視覚変換器の学習法を提案する。 我々は,映像を自己回帰的あるいは非自己回帰的変換器への視覚トークンのシーケンスとして表現する最先端の生成的視覚変換器を基盤とする。 新しい領域に適応するために、画像トークンシーケンスへのプロンプトと呼ばれる学習可能なトークンを優先するプロンプトチューニングを用いる。
  論文  参考訳（メタデータ） (2022-10-03T14:56:05Z)
• Image and Model Transformation with Secret Key for Vision Transformer [16.055655429920993]
  普通の画像で訓練されたモデルを直接、暗号化された画像で訓練されたモデルに変換することができることを示す。 変換されたモデルの性能は、キーで暗号化されたテスト画像を使用する場合、平易なイメージで訓練されたモデルと同じである。
  論文  参考訳（メタデータ） (2022-07-12T08:02:47Z)
• Modeling Image Composition for Complex Scene Generation [77.10533862854706]
  本稿では,レイアウト・ツー・イメージ生成タスクにおける最先端結果を実現する手法を提案する。 本稿では,RGB画像をパッチトークンに圧縮した後,オブジェクト・トゥ・オブジェクト,オブジェクト・トゥ・パッチ,パッチ・トゥ・パッチの依存関係を探索するTransformer with Focal Attention (TwFA)を提案する。
  論文  参考訳（メタデータ） (2022-06-02T08:34:25Z)
• MAT: Mask-Aware Transformer for Large Hole Image Inpainting [79.67039090195527]
  本稿では, 変圧器と畳み込みの利点を統一する, 大穴塗装の新しいモデルを提案する。 実験では、複数のベンチマークデータセット上で、新しいモデルの最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-03-29T06:36:17Z)
• Towards a Unified Foundation Model: Jointly Pre-Training Transformers on Unpaired Images and Text [93.11954811297652]
  我々は、モダリティ固有のトークン化器、共有トランスフォーマーエンコーダ、タスク固有の出力ヘッドからなる統一型トランスフォーマーを設計する。 我々は、個別に訓練されたBERTモデルとViTモデルを教師として採用し、知識蒸留を適用して、より正確な監視信号を提供する。 実験の結果、統合基盤変換器は視覚のみのタスクとテキストのみのタスクの両方で驚くほどうまく機能することがわかった。
  論文  参考訳（メタデータ） (2021-12-14T00:20:55Z)
• Vector-quantized Image Modeling with Improved VQGAN [93.8443646643864]
  本稿では,自動回帰的に画像トークンを予測するためにトランスフォーマーを事前訓練するベクトル量子化画像モデリング手法を提案する。 まず,バニラVQGANに対して,アーキテクチャからコードブック学習までの複数の改良を提案する。 ImageNetで256x256解像度でトレーニングすると、175.1のインセプションスコア(IS)と4.17のFrechet Inception Distance(FID)を達成する。
  論文  参考訳（メタデータ） (2021-10-09T18:36:00Z)
• Visual Saliency Transformer [127.33678448761599]
  RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。 イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。 実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
  論文  参考訳（メタデータ） (2021-04-25T08:24:06Z)
• So-ViT: Mind Visual Tokens for Vision Transformer [27.243241133304785]
  本稿では,視覚トークンの2次相互分散プールとクラストークンを組み合わせ,最終分類を行う新しい分類パラダイムを提案する。 我々は,視覚トークン埋め込みのためのオフ・ザ・棚畳み込みに基づく軽量階層モジュールを開発した。 その結果、我々のモデルは、スクラッチからトレーニングされた場合、競合するViTモデルよりも優れ、最先端のCNNモデルと同等かそれ以上であることがわかった。
  論文  参考訳（メタデータ） (2021-04-22T09:05:09Z)
• Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet [128.96032932640364]
  視覚課題を解決するために,新しいTokens-To-Token Vision Transformer (T2T-ViT)を提案する。 T2T-ViTは、バニラViTのパラメータ数とMACを200%削減し、ImageNetでスクラッチからトレーニングすると2.5%以上の改善を実現している。 例えば、ResNet50に匹敵するサイズを持つT2T-ViTは、ImageNet上で80.7%のトップ1の精度を達成できる。
  論文  参考訳（メタデータ） (2021-01-28T13:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。