論文の概要: Do Vision Transformers See Like Convolutional Neural Networks?

• arxiv url: http://arxiv.org/abs/2108.08810v1
• Date: Thu, 19 Aug 2021 17:27:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-20 14:48:08.069938
• Title: Do Vision Transformers See Like Convolutional Neural Networks?
• Title（参考訳）: 視覚トランスフォーマーは畳み込みニューラルネットワークに見えるか?
• Authors: Maithra Raghu, Thomas Unterthiner, Simon Kornblith, Chiyuan Zhang, Alexey Dosovitskiy
• Abstract要約: 近年の研究では、画像分類タスクにおいて、(Vision) Transformer Model (ViT) が同等またはそれ以上の性能を達成できることが示されている。 畳み込みネットワークのように振る舞うのか、それとも全く異なる視覚表現を学ぶのか? 例えば、ViTはすべての層にわたってより均一な表現を持つ。
• 参考スコア（独自算出の注目度）: 45.69780772718875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks (CNNs) have so far been the de-facto model for visual data. Recent work has shown that (Vision) Transformer models (ViT) can achieve comparable or even superior performance on image classification tasks. This raises a central question: how are Vision Transformers solving these tasks? Are they acting like convolutional networks, or learning entirely different visual representations? Analyzing the internal representation structure of ViTs and CNNs on image classification benchmarks, we find striking differences between the two architectures, such as ViT having more uniform representations across all layers. We explore how these differences arise, finding crucial roles played by self-attention, which enables early aggregation of global information, and ViT residual connections, which strongly propagate features from lower to higher layers. We study the ramifications for spatial localization, demonstrating ViTs successfully preserve input spatial information, with noticeable effects from different classification methods. Finally, we study the effect of (pretraining) dataset scale on intermediate features and transfer learning, and conclude with a discussion on connections to new architectures such as the MLP-Mixer.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)はこれまでのところ、視覚データのデファクトモデルとなっている。 近年の研究では、画像分類タスクにおいて、(Vision) Transformer Model (ViT) が同等またはそれ以上の性能を達成できることが示されている。 視覚トランスフォーマーはどのようにこれらのタスクを解決しているのか? 畳み込みネットワークのように振る舞うか、まったく異なる視覚的表現を学ぶか? 画像分類ベンチマークでvitsとcnnの内部表現構造を分析すると、vitが全層にまたがってより均一な表現を持つなど、2つのアーキテクチャの大きな違いが分かる。 これらの違いがどのように生じ、グローバル情報の早期集約を可能にする自己注意と、下位層から上位層への特徴を強く伝達するViT残差接続によって、重要な役割が果たされるかを検討する。 空間的局所化の分岐について検討し,vitsが入力空間情報の保存に成功していることを示す。 最後に,中間的特徴と伝達学習に対するデータセットスケールの効果について検討し,MLP-Mixer などの新しいアーキテクチャとの関係について考察した。

関連論文リスト

• Heuristical Comparison of Vision Transformers Against Convolutional Neural Networks for Semantic Segmentation on Remote Sensing Imagery [0.0]
  ビジョントランスフォーマー(ViT)は最近、コンピュータビジョンの分野で新しい研究の波をもたらした。 本稿では、iSAID上のリモートセンシング空中画像のセマンティックセグメンテーションにViTを使用する(あるいは使用しない)3つの重要な要素の比較に焦点をあてる。
  論文  参考訳（メタデータ） (2024-11-14T00:18:04Z)
• What do Vision Transformers Learn? A Visual Exploration [68.50771218442776]
  視覚変換器(ViT)はコンピュータビジョンのデファクトアーキテクチャとして急速に普及しつつある。 本稿では、ViT上での可視化の障害に対処し、ViTとCNNの根本的な相違について検討する。 また、DeiT、CoaT、ConViT、PiT、Swin、Twinなど、さまざまなViT変種に対して大規模な可視化を行っています。
  論文  参考訳（メタデータ） (2022-12-13T16:55:12Z)
• Vision Transformers provably learn spatial structure [34.61885883486938]
  ビジョントランスフォーマー(ViT)は、コンピュータビジョンにおける畳み込みニューラルネットワーク(CNN)と同等または優れたパフォーマンスを達成した。 しかし、最近の研究によると、トレーニング損失を最小限に抑える一方で、ViTは特に空間的局所化パターンを学習している。
  論文  参考訳（メタデータ） (2022-10-13T19:53:56Z)
• Vision Transformers: From Semantic Segmentation to Dense Prediction [139.15562023284187]
  視覚的予測のための視覚変換器(ViT)のグローバルな文脈学習の可能性について検討する。 我々のモチベーションは、グローバルコンテキストを全受容界層で学習することで、ViTがより強力な長距離依存性情報を取得することである。 階層型ローカル・グローバル・トランスフォーマー (HLG) のファミリを定式化し, 窓内部の局所的な注意と, ピラミッド建築における窓全体のグローバルアテンションを特徴とする。
  論文  参考訳（メタデータ） (2022-07-19T15:49:35Z)
• Vision Transformer for Contrastive Clustering [48.476602271481674]
  Vision Transformer(ViT)は、畳み込みニューラルネットワーク(CNN)に対してその優位性を示している。 本稿では、VTCC(Vision Transformer for Contrastive Clustering)と呼ばれるエンドツーエンドのディープ・クラスタリング手法を提案する。
  論文  参考訳（メタデータ） (2022-06-26T17:00:35Z)
• Can Vision Transformers Perform Convolution? [78.42076260340869]
  画像パッチを入力とする単一のViT層が任意の畳み込み操作を構成的に実行可能であることを示す。 我々は、CNNを表現するビジョントランスフォーマーのヘッド数を低くする。
  論文  参考訳（メタデータ） (2021-11-02T03:30:17Z)
• Intriguing Properties of Vision Transformers [114.28522466830374]
  視覚変換器(ViT)は、様々なマシンビジョン問題にまたがって印象的な性能を誇示している。 我々は、この問題を広範囲の実験を通して体系的に研究し、高性能畳み込みニューラルネットワーク(CNN)との比較を行った。 ViTsの効果的な特徴は、自己認識機構によって可能なフレキシブルな受容と動的場によるものであることを示す。
  論文  参考訳（メタデータ） (2021-05-21T17:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。