論文の概要: TiC: Exploring Vision Transformer in Convolution

• arxiv url: http://arxiv.org/abs/2310.04134v2
• Date: Mon, 27 May 2024 14:37:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 11:49:02.009499
• Title: TiC: Exploring Vision Transformer in Convolution
• Title（参考訳）: TiC: コンボリューションにおけるビジョントランスフォーマーの探索
• Authors: Song Zhang, Qingzhong Wang, Jiang Bian, Haoyi Xiong,
• Abstract要約: マルチヘッド・セルフアテンション・コンボリューション(MSA-Conv)を提案する。 MSA-Convは、標準、拡張された、深みのあるものを含む一般的な畳み込みの中に自己認識を組み込んでいる。 本稿では,MSA-Convを用いた画像分類の概念実証として,TiC(Vision Transformer in Convolution)を提案する。
• 参考スコア（独自算出の注目度）: 37.50285921899263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While models derived from Vision Transformers (ViTs) have been phonemically surging, pre-trained models cannot seamlessly adapt to arbitrary resolution images without altering the architecture and configuration, such as sampling the positional encoding, limiting their flexibility for various vision tasks. For instance, the Segment Anything Model (SAM) based on ViT-Huge requires all input images to be resized to 1024$\times$1024. To overcome this limitation, we propose the Multi-Head Self-Attention Convolution (MSA-Conv) that incorporates Self-Attention within generalized convolutions, including standard, dilated, and depthwise ones. Enabling transformers to handle images of varying sizes without retraining or rescaling, the use of MSA-Conv further reduces computational costs compared to global attention in ViT, which grows costly as image size increases. Later, we present the Vision Transformer in Convolution (TiC) as a proof of concept for image classification with MSA-Conv, where two capacity enhancing strategies, namely Multi-Directional Cyclic Shifted Mechanism and Inter-Pooling Mechanism, have been proposed, through establishing long-distance connections between tokens and enlarging the effective receptive field. Extensive experiments have been carried out to validate the overall effectiveness of TiC. Additionally, ablation studies confirm the performance improvement made by MSA-Conv and the two capacity enhancing strategies separately. Note that our proposal aims at studying an alternative to the global attention used in ViT, while MSA-Conv meets our goal by making TiC comparable to state-of-the-art on ImageNet-1K. Code will be released at https://github.com/zs670980918/MSA-Conv.
• Abstract（参考訳）: 視覚変換器(ViT)から派生したモデルは音素的に急増しているが、事前訓練されたモデルは、位置エンコーディングのサンプリングや様々な視覚タスクの柔軟性の制限など、アーキテクチャや構成を変更することなく、任意の解像度画像にシームレスに適応することはできない。 例えば、ViT-Hugeに基づくSegment Anything Model (SAM)では、すべての入力イメージを1024$\times$1024にリサイズする必要がある。 この制限を克服するため、我々は、標準、拡張、奥行きを含む一般化した畳み込みの中に自己認識を組み込んだマルチヘッド自己認識畳み込み(MSA-Conv)を提案する。 MSA-Convの使用により、画像サイズが大きくなるにつれてコストが増大するViTのグローバルな注目よりも計算コストが削減される。 その後,MSA-Convを用いた画像分類の概念実証として,多方向サイクルシフト機構とインターポーリング機構という2つのキャパシティ強化戦略が提案されている。 TiCの全体的な有効性を検証するため、広範囲な実験が実施されている。 さらに,MSA-Convによる性能改善と2つの能力強化戦略を別々に検討した。 MSA-Convは、ImageNet-1Kの最先端技術に匹敵するTiCを実現することで、私たちの目標を達成しています。 コードはhttps://github.com/zs670980918/MSA-Conv.comでリリースされる。

関連論文リスト

• CT-MVSNet: Efficient Multi-View Stereo with Cross-scale Transformer [8.962657021133925]
  クロススケールトランス(CT)プロセスは、追加計算なしで異なる段階の表現を特徴付ける。 複数のスケールで異なる対話型アテンションの組み合わせを利用する適応型マッチング認識変換器(AMT)を導入する。 また、より細かなコストボリューム構成に大まかにグローバルな意味情報を埋め込む2機能ガイドアグリゲーション(DFGA)も提案する。
  論文  参考訳（メタデータ） (2023-12-14T01:33:18Z)
• HiViT: Hierarchical Vision Transformer Meets Masked Image Modeling [126.89573619301953]
  我々はHiViT(Hierarchical ViT)という階層型視覚変換器の新しい設計を提案する。 HiViTはMIMで高い効率と優れたパフォーマンスを享受する。 ImageNet-1K上でMAEを実行する場合、HiViT-BはViT-Bよりも0.6%精度が向上し、Swin-Bよりも1.9$times$スピードアップしたと報告している。
  論文  参考訳（メタデータ） (2022-05-30T09:34:44Z)
• ViTAEv2: Vision Transformer Advanced by Exploring Inductive Bias for Image Recognition and Beyond [76.35955924137986]
  我々は、内在性IBを畳み込み、すなわちViTAEから探索するビジョントランスフォーマーを提案する。 ViTAEはいくつかの空間ピラミッド縮小モジュールを備えており、入力イメージをリッチなマルチスケールコンテキストでトークンに埋め込む。 我々は、ImageNet検証セット上で88.5%のTop-1分類精度と、ImageNet実検証セット上で最高の91.2%のTop-1分類精度を得る。
  論文  参考訳（メタデータ） (2022-02-21T10:40:05Z)
• Plug-In Inversion: Model-Agnostic Inversion for Vision with Data Augmentations [61.95114821573875]
  単純な拡張セットに依存し、過剰なハイパーパラメータチューニングを必要としないPlug-In Inversionを導入する。 ImageNetデータセットでトレーニングされたビジョントランスフォーマー(ViT)とマルチ層パーセプトロン(MLP)を反転させることにより,我々のアプローチの実用性を説明する。
  論文  参考訳（メタデータ） (2022-01-31T02:12:45Z)
• Convolutional Xformers for Vision [2.7188347260210466]
  視覚変換器(ViT)は、特定のベンチマークにおける最先端の精度にもかかわらず、画像処理において限られた実用的利用しか見つからない。 限られた使用理由としては、畳み込みニューラルネットワーク(CNN)と比較して、より大きなトレーニングデータセットと計算リソースの必要性がある。 本稿では,これらの制約を克服するために,線形アテンション-畳み込みハイブリッドアーキテクチャーであるConvolutional X-formers for Vision (CXV)を提案する。 二次的注意をPerformer,Nystr"omformer,Linear Transformerなどの線形注意機構に置き換えてGPU使用量を削減する。
  論文  参考訳（メタデータ） (2022-01-25T12:32:09Z)
• Shunted Self-Attention via Multi-Scale Token Aggregation [124.16925784748601]
  最近のビジョン変換器(ViT)モデルは、様々なコンピュータビジョンタスクにまたがる励振結果を実証している。 注意層ごとのハイブリッドスケールでの注意をViTsでモデル化するShunted Self-attention(SSA)を提案する。 SSAベースの変換器は84.0%のTop-1精度を実現し、ImageNetの最先端のFocal Transformerより優れている。
  論文  参考訳（メタデータ） (2021-11-30T08:08:47Z)
• Multi-Scale Vision Longformer: A New Vision Transformer for High-Resolution Image Encoding [81.07894629034767]
  本稿では,新しいViTアーキテクチャであるMulti-Scale Vision Longformerを提案する。 これは、2つの技術を用いて高解像度画像をエンコードするためのquotionosovitskiy 2020 imageのvitを大幅に強化する。
  論文  参考訳（メタデータ） (2021-03-29T06:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。