論文の概要: Do Vision Model See Like the Brain? A Comparison Across EEG Encoding Model

• arxiv url: http://arxiv.org/abs/2609.26512v1
• Date: Tue, 22 Sep 2026 14:41:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-24 01:05:39.705053
• Title: Do Vision Model See Like the Brain? A Comparison Across EEG Encoding Model
• Title（参考訳）: 視覚モデルは脳に見えるか? 脳波符号化モデルの比較
• Abstract要約: 畳み込みニューラルネットワーク(CNN)と視覚変換器はどちらも人間の視覚システムをモデル化するために使用される。 我々は、各モデルの予測値と測定値のPearson相関を計算することで、6つのCNNと2つの視覚変換器を比較した。 CNNは最初期の層で最強の対応を示し、特に後続の刺激反応ではより深い層で弱体化した。 トランスフォーマーは最深のブロックでは強い対応を保ったが、最初期のブロックでは実現しなかった。
• 参考スコア（独自算出の注目度）: 1.224954637705144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks (CNNs) and vision transformers are both used to model the human visual system, but whether the two architectures diverge at a specific point in network depth is unclear. We compared six CNNs and two vision transformers by computing the Pearson correlation (r) between each model's predicted and measured EEG response at every layer or block, in ten participants viewing 200 natural images. For the transformer models, we also tested four token representations, from the classification (CLS) token alone to CLS combined with all patch tokens. CNNs showed strongest correspondence at the earliest layers, weakening at deeper layers, particularly later in the post-stimulus response. Transformers instead sustained strong correspondence at their deepest blocks, though not at their earliest ones. This advantage depended on token representation: pooled representations gave weaker peak correlations (r approx 0.48-0.51) than representations retaining all patch tokens (r=0.640 for CLIP-ViT-B/32, r=0.656 for DINOv2-ViT-B/14). Controlled comparisons showed architecture, not training objective, drove this effect: MoCo-v1 and ResNet-50 (matched architecture) performed nearly identically (r=0.673, 0.670), whereas CLIP-RN50 and CLIP-ViT-B/32 (matched objective) diverged until patch tokens were preserved. We propose that CNN training's classification bottleneck compresses brain-relevant information at depth, unlike transformers' self-attention and non-classification objectives. A spatial topography analysis showed a common occipital-dominant pattern across all models, indicating these differences reflect signal strength and persistence rather than distinct brain regions. Patch-preserving transformer representations sustain brain-predictive correspondence where CNNs collapse.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)と視覚変換器はどちらも人間の視覚システムをモデル化するために使用されるが、2つのアーキテクチャがネットワーク深さの特定の点で分岐するかどうかは不明である。 我々は,各モデルが予測し,測定した脳波応答を各層やブロックで計算し,Pearson相関(r)を計算することで,CNNと2つの視覚変換器を比較した。 トランスモデルでは、CLSトークンのみから、すべてのパッチトークンと組み合わせたCLSまでの4つのトークン表現もテストした。 CNNは最初期の層で最強の対応を示し、特に後続の刺激反応ではより深い層で弱体化した。 トランスフォーマーは最深のブロックでは強い対応を保ったが、最初期のブロックでは実現しなかった。 プールされた表現はすべてのパッチトークンを保持する表現よりも弱いピーク相関(rapprox 0.48-0.51)を与えた(CLIP-ViT-B/32ではr=0.640、DINOv2-ViT-B/14ではr=0.656)。 MoCo-v1とResNet-50(マッチングアーキテクチャ)はほぼ同じ(r=0.673, 0.670)で、CLIP-RN50とCLIP-ViT-B/32(マッチング目的)はパッチトークンが保存されるまで分岐した。 CNNトレーニングの分類ボトルネックは、トランスフォーマーの自己注意や非分類の目的とは異なり、脳関連情報を深度で圧縮する。 空間的トポグラフィー解析では、すべてのモデルに共通する後頭葉支配パターンが示され、これらの違いは、異なる脳領域よりも信号強度と持続性を反映していることが示された。 パッチ保存型トランスフォーマー表現は、CNNが崩壊する脳-予測対応を維持する。

関連論文リスト

• Vision Transformers: From Semantic Segmentation to Dense Prediction [139.15562023284187]
  視覚的予測のための視覚変換器(ViT)のグローバルな文脈学習の可能性について検討する。 我々のモチベーションは、グローバルコンテキストを全受容界層で学習することで、ViTがより強力な長距離依存性情報を取得することである。 階層型ローカル・グローバル・トランスフォーマー (HLG) のファミリを定式化し, 窓内部の局所的な注意と, ピラミッド建築における窓全体のグローバルアテンションを特徴とする。
  論文  参考訳（メタデータ） (2022-07-19T15:49:35Z)
• UniFormer: Unifying Convolution and Self-attention for Visual Recognition [69.68907941116127]
  畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、ここ数年で主要なフレームワークである。 コンボリューションと自己注意の利点を簡潔なトランスフォーマー形式にシームレスに統合する新しいUnified TransFormer(UniFormer)を提案する。 我々のUniFormerはImageNet-1K分類において86.3トップ1の精度を実現している。
  論文  参考訳（メタデータ） (2022-01-24T04:39:39Z)
• Investigating Transfer Learning Capabilities of Vision Transformers and CNNs by Fine-Tuning a Single Trainable Block [0.0]
  トランスフォーマーベースのアーキテクチャは、CNNアーキテクチャによる最先端のセットを精度で上回っているが、スクラッチからトレーニングするには計算コストが非常に高い。 転送学習能力について検討し、CNNと比較し、小型データを用いた実世界の問題に適用した場合に、どのアーキテクチャが優れているかを理解する。 変換器をベースとしたアーキテクチャは,CNNよりも高い精度を実現するだけでなく,パラメータの約4倍の精度で実現している。
  論文  参考訳（メタデータ） (2021-10-11T13:43:03Z)
• A Battle of Network Structures: An Empirical Study of CNN, Transformer, and MLP [121.35904748477421]
  畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンのための支配的なディープニューラルネットワーク(DNN)アーキテクチャである。 トランスフォーマーとマルチ層パーセプトロン(MLP)ベースのモデル(Vision TransformerやVision-Mixer)が新しいトレンドを導い始めた。 本稿では,これらのDNN構造について実証的研究を行い,それぞれの長所と短所を理解しようとする。
  論文  参考訳（メタデータ） (2021-08-30T06:09:02Z)
• Do Vision Transformers See Like Convolutional Neural Networks? [45.69780772718875]
  近年の研究では、画像分類タスクにおいて、(Vision) Transformer Model (ViT) が同等またはそれ以上の性能を達成できることが示されている。 畳み込みネットワークのように振る舞うのか、それとも全く異なる視覚表現を学ぶのか? 例えば、ViTはすべての層にわたってより均一な表現を持つ。
  論文  参考訳（メタデータ） (2021-08-19T17:27:03Z)
• DynamicViT: Efficient Vision Transformers with Dynamic Token Sparsification [134.9393799043401]
  入力に基づいて冗長なトークンを抽出する動的トークンスペーシフィケーションフレームワークを提案する。 入力トークンの66%を階層的にプルーニングすることで,FLOPの31%37%を大幅に削減し,スループットを40%以上向上する。 DynamicViTモデルは、ImageNetの最先端CNNやビジョントランスフォーマーと比較して、非常に競争力のある複雑性/精度のトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:57:41Z)
• Container: Context Aggregation Network [83.12004501984043]
  最近の発見は、従来の畳み込みやトランスフォーマーコンポーネントを使わずに、シンプルなベースのソリューションが効果的な視覚表現を生成できることを示している。 マルチヘッドコンテキストアグリゲーションのための汎用ビルディングブロックCONText Ion NERtwokを提案する。 より大規模な入力画像解像度に依存する下流タスクにはスケールしないTransformerベースの手法とは対照的に、当社の効率的なネットワークであるModellightは、オブジェクト検出やインスタンスセグメンテーションネットワークに利用することができる。
  論文  参考訳（メタデータ） (2021-06-02T18:09:11Z)
• KVT: k-NN Attention for Boosting Vision Transformers [44.189475770152185]
  我々は、視力変換器の強化を目的とした、k-NNアテンションと呼ばれるスパースアテンション方式を提案する。 提案したk-NNアテンションは、畳み込み操作を導入することなくCNNの局所バイアスを自然に継承する。 理論的にも経験的にも、$k$-NNの注意力は入力トークンからのノイズの蒸留やトレーニングの高速化に有効である。
  論文  参考訳（メタデータ） (2021-05-28T06:49:10Z)
• TransfoRNN: Capturing the Sequential Information in Self-Attention Representations for Language Modeling [9.779600950401315]
  本稿では,TransfoRNNモデルと呼ばれるトランスフォーマーに繰り返し発生するニューラルネットワークをカスケードして,シーケンシャルな情報を取得することを提案する。 浅いTransformersスタックのみで構成されるTransfoRNNモデルは、比較可能な性能を提供するのに十分であることが分かりました。
  論文  参考訳（メタデータ） (2021-04-04T09:31:18Z)
• Vision Transformers for Dense Prediction [77.34726150561087]
  高密度予測タスクのバックボーンとして、畳み込みネットワークの代わりにビジョントランスを活用するアーキテクチャである高密度ビジョントランスを紹介します。 実験により,このアーキテクチャは高密度予測タスクにおいて大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-03-24T18:01:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。