論文の概要: From Colors to Classes: Emergence of Concepts in Vision Transformers

• arxiv url: http://arxiv.org/abs/2503.24071v1
• Date: Mon, 31 Mar 2025 13:28:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:37:38.598762
• Title: From Colors to Classes: Emergence of Concepts in Vision Transformers
• Title（参考訳）: 色からクラスへ:視覚変換器の概念の創出
• Authors: Teresa Dorszewski, Lenka Tětková, Robert Jenssen, Lars Kai Hansen, Kristoffer Knutsen Wickstrøm,
• Abstract要約: 視覚変換器(ViT)は、その強力な表現能力のために、様々なコンピュータビジョンタスクでますます活用されている。 本稿では、ニューロンラベリングを用いて、最先端のViTで符号化された概念を階層的に解析する。
• 参考スコア（独自算出の注目度）: 8.893890071904774
• License:
• Abstract: Vision Transformers (ViTs) are increasingly utilized in various computer vision tasks due to their powerful representation capabilities. However, it remains understudied how ViTs process information layer by layer. Numerous studies have shown that convolutional neural networks (CNNs) extract features of increasing complexity throughout their layers, which is crucial for tasks like domain adaptation and transfer learning. ViTs, lacking the same inductive biases as CNNs, can potentially learn global dependencies from the first layers due to their attention mechanisms. Given the increasing importance of ViTs in computer vision, there is a need to improve the layer-wise understanding of ViTs. In this work, we present a novel, layer-wise analysis of concepts encoded in state-of-the-art ViTs using neuron labeling. Our findings reveal that ViTs encode concepts with increasing complexity throughout the network. Early layers primarily encode basic features such as colors and textures, while later layers represent more specific classes, including objects and animals. As the complexity of encoded concepts increases, the number of concepts represented in each layer also rises, reflecting a more diverse and specific set of features. Additionally, different pretraining strategies influence the quantity and category of encoded concepts, with finetuning to specific downstream tasks generally reducing the number of encoded concepts and shifting the concepts to more relevant categories.
• Abstract（参考訳）: 視覚変換器(ViT)は、その強力な表現能力のために、様々なコンピュータビジョンタスクでますます活用されている。 しかし、ViTsが情報層を階層的にどのように処理するかはまだ検討されていない。 多くの研究が、畳み込みニューラルネットワーク(CNN)が、レイヤー全体の複雑さを増大させる特徴を抽出していることを示しており、これはドメイン適応やトランスファーラーニングといったタスクに不可欠である。 インダクティブバイアスがCNNと同じではないViTは、注意機構のため、最初のレイヤからグローバルな依存関係を学習する可能性がある。 コンピュータビジョンにおけるViTの重要性が高まる中、ViTの階層的理解を改善する必要がある。 本研究では、ニューロンラベリングを用いて、最先端のViTで符号化された概念を階層的に解析する。 以上の結果から,ネットワーク全体の複雑化に伴い,ViTが概念をエンコードしていることが判明した。 初期層は主に色やテクスチャなどの基本的な特徴をエンコードするが、後期層はオブジェクトや動物を含むより特定のクラスを表現する。 符号化された概念の複雑さが増大するにつれて、各層に表される概念の数が増加し、より多様な特定の特徴が反映される。 さらに、異なる事前学習戦略はエンコードされた概念の量とカテゴリに影響し、特定の下流のタスクに微調整することで、一般にエンコードされた概念の数を減らし、より関連するカテゴリにその概念をシフトする。

関連論文リスト

• Saliency Suppressed, Semantics Surfaced: Visual Transformations in Neural Networks and the Brain [0.0]
  私たちは神経科学からインスピレーションを得て、ニューラルネットワークが情報を低(視覚的満足度)で高(セマンティックな類似性)の抽象レベルでエンコードする方法について光を当てています。 ResNetsは、オブジェクト分類の目的によって訓練された場合、ViTsよりも唾液度情報に敏感であることが分かりました。 我々は、セマンティックエンコーディングがAIと人間の視覚知覚を協調させる重要な要素であることを示し、サリエンシ抑制は非脳的な戦略であることを示した。
  論文  参考訳（メタデータ） (2024-04-29T15:05:42Z)
• Convolution-enhanced Evolving Attention Networks [41.684265133316096]
  Evolving Attention-enhanced Dilated Convolutional (EA-DC-) Transformerは最先端のモデルを大幅に上回っている。 これは、アテンションマップのレイヤーワイド進化を明示的にモデル化する最初の作品である。
  論文  参考訳（メタデータ） (2022-12-16T08:14:04Z)
• What do Vision Transformers Learn? A Visual Exploration [68.50771218442776]
  視覚変換器(ViT)はコンピュータビジョンのデファクトアーキテクチャとして急速に普及しつつある。 本稿では、ViT上での可視化の障害に対処し、ViTとCNNの根本的な相違について検討する。 また、DeiT、CoaT、ConViT、PiT、Swin、Twinなど、さまざまなViT変種に対して大規模な可視化を行っています。
  論文  参考訳（メタデータ） (2022-12-13T16:55:12Z)
• Vision Transformers: From Semantic Segmentation to Dense Prediction [139.15562023284187]
  視覚的予測のための視覚変換器(ViT)のグローバルな文脈学習の可能性について検討する。 我々のモチベーションは、グローバルコンテキストを全受容界層で学習することで、ViTがより強力な長距離依存性情報を取得することである。 階層型ローカル・グローバル・トランスフォーマー (HLG) のファミリを定式化し, 窓内部の局所的な注意と, ピラミッド建築における窓全体のグローバルアテンションを特徴とする。
  論文  参考訳（メタデータ） (2022-07-19T15:49:35Z)
• Learning with Capsules: A Survey [73.31150426300198]
  カプセルネットワークは、オブジェクト中心の表現を学習するための畳み込みニューラルネットワーク(CNN)に代わるアプローチとして提案された。 CNNとは異なり、カプセルネットワークは部分的に階層的な関係を明示的にモデル化するように設計されている。
  論文  参考訳（メタデータ） (2022-06-06T15:05:36Z)
• Do Vision Transformers See Like Convolutional Neural Networks? [45.69780772718875]
  近年の研究では、画像分類タスクにおいて、(Vision) Transformer Model (ViT) が同等またはそれ以上の性能を達成できることが示されている。 畳み込みネットワークのように振る舞うのか、それとも全く異なる視覚表現を学ぶのか? 例えば、ViTはすべての層にわたってより均一な表現を持つ。
  論文  参考訳（メタデータ） (2021-08-19T17:27:03Z)
• Tensor Methods in Computer Vision and Deep Learning [120.3881619902096]
  テンソル(tensor)は、複数の次元の視覚データを自然に表現できるデータ構造である。 コンピュータビジョンにおけるディープラーニングパラダイムシフトの出現により、テンソルはさらに基本的なものになっている。 本稿では,表現学習と深層学習の文脈において,テンソルとテンソル法を深く,実践的に検討する。
  論文  参考訳（メタデータ） (2021-07-07T18:42:45Z)
• Less is More: Pay Less Attention in Vision Transformers [61.05787583247392]
  注意の少ないvIsion Transformerは、畳み込み、完全接続層、自己アテンションが、画像パッチシーケンスを処理するためにほぼ同等な数学的表現を持つという事実に基づいている。 提案したLITは、画像分類、オブジェクト検出、インスタンス分割を含む画像認識タスクにおいて有望な性能を達成する。
  論文  参考訳（メタデータ） (2021-05-29T05:26:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。