論文の概要: Retina Vision Transformer (RetinaViT): Introducing Scaled Patches into Vision Transformers

• arxiv url: http://arxiv.org/abs/2403.13677v1
• Date: Wed, 20 Mar 2024 15:35:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 16:28:26.786297
• Title: Retina Vision Transformer (RetinaViT): Introducing Scaled Patches into Vision Transformers
• Title（参考訳）: Retina Vision Transformer (RetinaViT): 拡張パッチを視覚変換器に導入
• Authors: Yuyang Shu, Michael E. Bain,
• Abstract要約: このモデルをRetina Vision Transformer (RetinaViT) と呼ぶのは、人間の視覚系からのインスピレーションによるものである。 実験の結果,ImageNet-1Kデータセットを適度な構成でトレーニングすると,RetinaViTは元のViTよりも3.3%パフォーマンスが向上することがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans see low and high spatial frequency components at the same time, and combine the information from both to form a visual scene. Drawing on this neuroscientific inspiration, we propose an altered Vision Transformer architecture where patches from scaled down versions of the input image are added to the input of the first Transformer Encoder layer. We name this model Retina Vision Transformer (RetinaViT) due to its inspiration from the human visual system. Our experiments show that when trained on the ImageNet-1K dataset with a moderate configuration, RetinaViT achieves a 3.3% performance improvement over the original ViT. We hypothesize that this improvement can be attributed to the inclusion of low spatial frequency components in the input, which improves the ability to capture structural features, and to select and forward important features to deeper layers. RetinaViT thereby opens doors to further investigations into vertical pathways and attention patterns.
• Abstract（参考訳）: 人間は、低周波と高周波の成分を同時に見ると同時に、両方の情報を組み合わせて視覚的なシーンを形成する。 この神経科学的なインスピレーションに基づいて、第1のTransformer Encoder層の入力に、入力画像のスケールダウンバージョンからのパッチを付加する、改良されたVision Transformerアーキテクチャを提案する。 このモデルをRetina Vision Transformer (RetinaViT) と呼ぶのは、人間の視覚系からのインスピレーションによるものである。 実験の結果,ImageNet-1Kデータセットを適度な構成でトレーニングすると,RetinaViTは元のViTよりも3.3%パフォーマンスが向上することがわかった。 この改善は、入力に低空間周波数成分が組み込まれており、構造的特徴を捕捉し、重要な特徴をより深い層に選択し前進させる能力を向上させることができるという仮説を立てる。 これによりRetinaViTは、垂直経路と注意パターンのさらなる調査のための扉を開く。

関連論文リスト

• Denoising Vision Transformers [43.03068202384091]
  本稿では、DVT(Denoising Vision Transformers)と呼ばれる2段階のDenoisingアプローチを提案する。 第1段階では、画像ごとのニューラルネットワークとの横断的な特徴整合を強制することにより、位置的アーティファクトによって汚染されたものからクリーンな特徴を分離する。 第2段階では、クリーンな特徴を生のViT出力から予測するために軽量なトランスフォーマーブロックを訓練し、クリーンな特徴の導出推定を監督として活用する。
  論文  参考訳（メタデータ） (2024-01-05T18:59:52Z)
• HiViT: Hierarchical Vision Transformer Meets Masked Image Modeling [126.89573619301953]
  我々はHiViT(Hierarchical ViT)という階層型視覚変換器の新しい設計を提案する。 HiViTはMIMで高い効率と優れたパフォーマンスを享受する。 ImageNet-1K上でMAEを実行する場合、HiViT-BはViT-Bよりも0.6%精度が向上し、Swin-Bよりも1.9$times$スピードアップしたと報告している。
  論文  参考訳（メタデータ） (2022-05-30T09:34:44Z)
• Three things everyone should know about Vision Transformers [67.30250766591405]
  トランスフォーマーアーキテクチャは コンピュータビジョンにおいて 急速に勢いを増しています 視覚変換器の変種をシンプルかつ容易に実装できる3つの洞察を提供する。 我々は、ImageNet-1kデータセットを用いて、これらの設計選択の影響を評価し、ImageNet-v2テストセットにおける結果を確認した。
  論文  参考訳（メタデータ） (2022-03-18T08:23:03Z)
• Can Vision Transformers Perform Convolution? [78.42076260340869]
  画像パッチを入力とする単一のViT層が任意の畳み込み操作を構成的に実行可能であることを示す。 我々は、CNNを表現するビジョントランスフォーマーのヘッド数を低くする。
  論文  参考訳（メタデータ） (2021-11-02T03:30:17Z)
• Vision Transformer with Progressive Sampling [73.60630716500154]
  本稿では,識別領域を特定するための反復的・漸進的なサンプリング手法を提案する。 ImageNetでスクラッチからトレーニングされた場合、PS-ViTはトップ1の精度でバニラViTよりも3.8%高いパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-08-03T18:04:31Z)
• PVT v2: Improved Baselines with Pyramid Vision Transformer [112.0139637538858]
  原型ピラミドビジョントランス(PVT v1)の改良 PVT v2は、PVT v1の計算複雑性を線形に減少させる。 分類、検出、セグメンテーションといった基本的なビジョンタスクにおいて、大幅な改善が達成されている。
  論文  参考訳（メタデータ） (2021-06-25T17:51:09Z)
• Uformer: A General U-Shaped Transformer for Image Restoration [47.60420806106756]
  画像復元のためにTransformerブロックを用いた階層型エンコーダデコーダネットワークを構築した。 いくつかの画像復元タスクの実験は、Uformerの優位性を示している。
  論文  参考訳（メタデータ） (2021-06-06T12:33:22Z)
• CvT: Introducing Convolutions to Vision Transformers [44.74550305869089]
  畳み込み視覚変換器(CvT)は、視覚変換器(ViT)の性能と効率を向上する。 新しいアーキテクチャはViTに畳み込み、両方の設計で最高のものを生み出す。
  論文  参考訳（メタデータ） (2021-03-29T17:58:22Z)
• DeepViT: Towards Deeper Vision Transformer [92.04063170357426]
  近年,視覚変換器 (ViT) が画像分類タスクに応用されている。 より畳み込み層を積み重ねることで改善できる畳み込みニューラルネットワーク(CNN)とは異なり、ViTの性能はより深いスケールで飽和する。 本研究では,アテンションマップの多様性を高めるために,アテンションマップを再生成する手法であるre-attentionを提案する。
  論文  参考訳（メタデータ） (2021-03-22T14:32:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。