論文の概要: Compress image to patches for Vision Transformer

• arxiv url: http://arxiv.org/abs/2502.10120v2
• Date: Mon, 17 Feb 2025 07:35:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:11:42.771797
• Title: Compress image to patches for Vision Transformer
• Title（参考訳）: Vision Transformer 用パッチへの画像圧縮
• Authors: Xinfeng Zhao, Yaoru Sun,
• Abstract要約: 本稿では、CI2P-ViTというCNNとVision Transformerに基づくハイブリッドモデルを提案する。 このモデルにはCI2Pと呼ばれるモジュールが組み込まれており、CompressAIエンコーダを使って画像を圧縮し、一連の畳み込みを通じてパッチのシーケンスを生成する。 アニマルズ-10データセットの地上訓練で、CI2P-ViTは92.37%の精度を達成し、ViT-B/16ベースラインよりも3.3%改善した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The Vision Transformer (ViT) has made significant strides in the field of computer vision. However, as the depth of the model and the resolution of the input images increase, the computational cost associated with training and running ViT models has surged dramatically. This paper proposes a hybrid model based on CNN and Vision Transformer, named CI2P-ViT. The model incorporates a module called CI2P, which utilizes the CompressAI encoder to compress images and subsequently generates a sequence of patches through a series of convolutions. CI2P can replace the Patch Embedding component in the ViT model, enabling seamless integration into existing ViT models. Compared to ViT-B/16, CI2P-ViT has the number of patches input to the self-attention layer reduced to a quarter of the original. This design not only significantly reduces the computational cost of the ViT model but also effectively enhances the model's accuracy by introducing the inductive bias properties of CNN. The ViT model's precision is markedly enhanced. When trained from the ground up on the Animals-10 dataset, CI2P-ViT achieved an accuracy rate of 92.37%, representing a 3.3% improvement over the ViT-B/16 baseline. Additionally, the model's computational operations, measured in floating-point operations per second (FLOPs), were diminished by 63.35%, and it exhibited a 2-fold increase in training velocity on identical hardware configurations.
• Abstract（参考訳）: Vision Transformer (ViT) はコンピュータビジョンの分野で大きな進歩を遂げた。 しかし、モデル深度と入力画像の解像度が増大するにつれて、トレーニングやViTモデルの実行に伴う計算コストが劇的に上昇している。 本稿では、CI2P-ViTというCNNとVision Transformerに基づくハイブリッドモデルを提案する。 このモデルにはCI2Pと呼ばれるモジュールが組み込まれており、CompressAIエンコーダを使って画像を圧縮し、一連の畳み込みを通じてパッチのシーケンスを生成する。 CI2Pは、既存のViTモデルへのシームレスな統合を可能にするために、ViTモデルのPatch Embeddingコンポーネントを置き換えることができる。 ViT-B/16と比較すると、CI2P-ViTは自己保持層に入力されるパッチの数を元の4分の1に減らしている。 この設計は、ViTモデルの計算コストを大幅に削減するだけでなく、CNNの帰納バイアス特性を導入することにより、モデルの精度を効果的に向上させる。 ViTモデルの精度は著しく向上している。 アニマルズ-10データセットの地上訓練で、CI2P-ViTは92.37%の精度を達成し、ViT-B/16ベースラインよりも3.3%改善した。 さらに、1秒あたりの浮動小数点演算(FLOP)で測定されたモデルの計算処理は63.35%減少し、同じハードウェア構成でトレーニング速度が2倍に向上した。

関連論文リスト

• DeViT: Decomposing Vision Transformers for Collaborative Inference in Edge Devices [42.89175608336226]
  ビジョントランス (ViT) は、複数のコンピュータビジョンベンチマークで最先端のパフォーマンスを達成した。 ViTモデルは膨大なパラメータと高い計算コストに悩まされ、リソース制約されたエッジデバイスへのデプロイが困難になる。 本稿では,大規模なViTを分解してエッジ展開を容易にするために,DeViTと呼ばれる協調推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-10T12:26:17Z)
• Getting ViT in Shape: Scaling Laws for Compute-Optimal Model Design [84.34416126115732]
  スケーリング法則は、最近、与えられた計算時間に最適なモデルサイズ(パラメータの数)を導出するために用いられる。 我々は、幅や深さなどの計算最適モデル形状を推測する手法を進化させ、改良し、視覚変換器でこれを実装した。 我々の形状最適化型視覚変換器SoViTは、同等の計算量で事前訓練されているにもかかわらず、サイズが2倍以上のモデルと競合する結果を得る。
  論文  参考訳（メタデータ） (2023-05-22T13:39:28Z)
• HeatViT: Hardware-Efficient Adaptive Token Pruning for Vision Transformers [35.92244135055901]
  HeatViTは、組み込みFPGA上の視覚変換器(ViT)のための画像適応型トークンプルーニングフレームワークである。 HeatViTは既存のViTプルーニング研究と比較して0.7%$sim$8.9%高い精度を達成できる。 HeatViTは28.4%以上のコスト削減を実現している。
  論文  参考訳（メタデータ） (2022-11-15T13:00:43Z)
• MiniViT: Compressing Vision Transformers with Weight Multiplexing [88.54212027516755]
  ビジョントランスフォーマー(ViT)モデルは近年、高いモデル能力のためにコンピュータビジョンに多くの注目を集めている。 MiniViTは新しい圧縮フレームワークで、同じ性能を維持しながらビジョントランスフォーマーのパラメータ削減を実現する。
  論文  参考訳（メタデータ） (2022-04-14T17:59:05Z)
• Improving Vision Transformers by Revisiting High-frequency Components [106.7140968644414]
  視覚変換器(ViT)モデルは,CNNモデルよりも画像の高周波成分の捕捉に効果が低いことを示す。 本稿では,画像の高周波成分を直接補うHATを提案する。 HAT は様々な ViT モデルの性能を継続的に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-04-03T05:16:51Z)
• Coarse-to-Fine Vision Transformer [83.45020063642235]
  性能を維持しながら計算負担を軽減するための粗視変換器(CF-ViT)を提案する。 提案するCF-ViTは,近代的なViTモデルにおける2つの重要な観測によって動機付けられている。 CF-ViTはLV-ViTのFLOPを53%削減し,スループットも2.01倍に向上した。
  論文  参考訳（メタデータ） (2022-03-08T02:57:49Z)
• SPViT: Enabling Faster Vision Transformers via Soft Token Pruning [38.10083471492964]
  ハードウェア効率の伝統的なモデル圧縮パラダイムであるPruningは、様々なDNN構造に広く応用されている。 平板およびCNN型構造のバニラ変圧器に設定できる計算対応ソフトプルーニングフレームワークを提案する。 我々のフレームワークは、画像分類に匹敵する性能を維持しながら、ViTの計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2021-12-27T20:15:25Z)
• A Unified Pruning Framework for Vision Transformers [40.7622551128182]
  ビジョントランス(ViT)とその変種は様々なコンピュータビジョンタスクにおいて有望な性能を達成した。 本稿では, UP-ViT と UP-ViT の両方の構造解析のための統一的な枠組みを提案する。 本手法は,モデル構造の整合性を維持しつつ,すべてのViTsコンポーネントのプルーニングに重点を置いている。
  論文  参考訳（メタデータ） (2021-11-30T05:01:02Z)
• Early Convolutions Help Transformers See Better [63.21712652156238]
  視覚変換器(ViT)モデルは準標準最適化性を示す。 現代の畳み込みニューラルネットワークは、最適化がはるかに容易である。 畳み込みステムをViTで使用すると、最適化の安定性が劇的に向上し、ピーク性能も向上する。
  論文  参考訳（メタデータ） (2021-06-28T17:59:33Z)
• PVT v2: Improved Baselines with Pyramid Vision Transformer [112.0139637538858]
  原型ピラミドビジョントランス(PVT v1)の改良 PVT v2は、PVT v1の計算複雑性を線形に減少させる。 分類、検出、セグメンテーションといった基本的なビジョンタスクにおいて、大幅な改善が達成されている。
  論文  参考訳（メタデータ） (2021-06-25T17:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。