論文の概要: Dissecting Representation Structure in Vision Transformers: A Rigorous Architectural Study
- arxiv url: http://arxiv.org/abs/2610.11205v2
- Date: Fri, 09 Oct 2026 15:22:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.189364
- Title: Dissecting Representation Structure in Vision Transformers: A Rigorous Architectural Study
- Title（参考訳）: 視覚変換器における表現構造の分離--厳密な建築学的研究
- Abstract要約: さまざまなアーキテクチャスケールにわたる特徴情報の厳密な分析を行う。
我々は、ViT表現と一般化行動の関係を経験的に明らかにした。
本稿では,ViT層内の線形部分加群が生成する特徴が一般化性能の予測に重要であることを示す。
- 参考スコア（独自算出の注目度）: 21.678309327219395
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Representation structure is crucial for understanding Vision Transformer (ViT) architectures and their generalization behavior. However, prior studies neither isolate nor analyze module-level features nor investigate how their interactions contribute to performance estimation. In this work, we conduct the first rigorous analysis of feature information across diverse architectural scales, empirically uncover the relationship between ViT representation and generalization behavior, and leverage these insights to guide efficient ViT design. Our contributions are fivefold: Across diverse architectural scales, 1) We identify feature collapse at initialization, which leads to redundancy, and propose a reduction scheme to mitigate this issue. 2) We quantify feature information using entropy and the minimum eigenvalue, demonstrating that these metrics serve as reliable indicators for generalization prediction. 3) We show that feature in the token space provides a more faithful representation than those in embedding space. 4) We discover an unexpected finding: features produced by linear submodules within ViT layers are critical for the prediction of generalization performance. 5) Our proposed proxy improves the correlation ranking by 18-48% over prior baselines and can effectively identify ViT architectures that achieve higher accuracy at lower or comparable computational cost.
- Abstract（参考訳）: 視覚変換器(ViT)アーキテクチャとその一般化動作を理解するためには,表現構造が不可欠である。
しかし、以前の研究では、モジュールレベルの特徴を分離したり、分析したりせず、それらの相互作用がパフォーマンス評価にどのように貢献するかを調査しなかった。
本研究では,様々な建築規模の特徴情報の厳密な分析を行い,ViT表現と一般化行動の関係を実証的に明らかにし,これらの知見を利用して効率的なViT設計を導出する。
私たちのコントリビューションは5倍です。
1) 初期化時の特徴崩壊を識別し, 冗長化を招き, この問題を軽減するための削減策を提案する。
2)エントロピーと最小固有値を用いて特徴情報を定量化し,これらの指標が一般化予測の信頼性指標となることを示す。
3) トークン空間の機能は埋め込み空間のそれよりも忠実な表現を提供することを示す。
4) 予想外の発見: ViT 層内の線形部分加群によって生成される特徴は一般化性能の予測に重要である。
5)提案するプロキシは,従来のベースラインよりも18～48%の相関ランキングを向上し,より低いあるいは同等の計算コストで精度の高いViTアーキテクチャを効果的に識別する。
関連論文リスト
- Large Vision-Language Models Get Lost in Attention [51.851592109135716]
本稿では,情報理論と幾何に基づく統合フレームワークを提案し,残差更新の幾何的およびエントロピー的性質を定量化する。
注意は再設定に焦点を当てたサブスペース言語演算子として機能し、FFNはセマンティックイノベーションを駆動するサブスペース言語演算子として機能します。
論文 参考訳（メタデータ） (2026-05-07T04:45:52Z) - StepVAR: Structure-Texture Guided Pruning for Visual Autoregressive Models [98.72926158261937]
本稿では,Visual AutoRegressive モデルのためのトレーニングフリートークン解析フレームワークを提案する。
我々は局所的なテクスチャの詳細を捉えるために軽量なハイパスフィルタを使用し、グローバルな構造情報を保存するために主成分分析(PCA)を活用している。
スパーストークンの下で有効な次世代の予測を維持するために,近接した特徴伝達戦略を導入する。
論文 参考訳（メタデータ） (2026-03-02T11:35:05Z) - Unlocking Out-of-Distribution Generalization in Transformers via Recursive Latent Space Reasoning [50.99796659680724]
本研究では,GSM8Kスタイルのモジュラー演算をテストベッドとして用いたTransformerネットワークにおけるアウト・オブ・ディストリビューション(OOD)の一般化について検討する。
我々は,OOD一般化の強化を目的とした4つのアーキテクチャ機構のセットを紹介し,検討する。
我々はこれらの実験結果を詳細な機械論的解釈可能性分析で補完し、これらのメカニズムがOOD一般化能力をいかに高めるかを明らかにする。
論文 参考訳（メタデータ） (2025-10-15T21:03:59Z) - CARL: Causality-guided Architecture Representation Learning for an Interpretable Performance Predictor [6.014777261874645]
ニューラルアーキテクチャサーチ(NAS)の評価段階を加速する有望な手法として、性能予測器が登場した。
本稿では,アーキテクチャのクリティカルな(因果的)特徴と冗長な(非因果的)特徴を分離し,一般化可能なアーキテクチャ性能予測を目的とした因果性誘導型アーキテクチャ表現学習(CARL)手法を提案する。
5つのNAS探索空間の実験は、CARLの最先端の精度と優れた解釈可能性を示している。
論文 参考訳（メタデータ） (2025-06-04T14:30:55Z) - The Coverage Principle: A Framework for Understanding Compositional Generalization [31.762330857169914]
合成タスクのパターンマッチングに主に依存するモデルは、同じコンテキストで使用した場合に同じ結果が得られるフラグメントを置換する以外には、確実に一般化できないことを示す。
我々は,このフレームワークがトランスフォーマーの一般化能力に強い予測力を持つことを実証した。
論文 参考訳（メタデータ） (2025-05-26T17:55:15Z) - "Principal Components" Enable A New Language of Images [79.45806370905775]
証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。
提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
論文 参考訳（メタデータ） (2025-03-11T17:59:41Z) - Learning and Evaluating Hierarchical Feature Representations [3.770103075126785]
我々は、直交部分空間の階層的構成(Hier-COS)という新しい枠組みを提案する。
Hier-COSは、与えられた分類木の構造と整合した設計により、深い特徴埋め込みをベクトル空間にマッピングすることを学ぶ。
Hier-COSはすべてのデータセットにまたがって最先端の階層的パフォーマンスを実現し,同時に1つのケースを除いてトップ1の精度を上回ります。
論文 参考訳（メタデータ） (2025-03-10T20:59:41Z) - ASCENT-ViT: Attention-based Scale-aware Concept Learning Framework for Enhanced Alignment in Vision Transformers [29.932706137805713]
ASCENT-ViTは、視覚変換器(ViT)のための注意に基づく概念学習フレームワークである。
マルチスケールの特徴ピラミッドとViTパッチの表現から、スケールと位置認識の表現をそれぞれ構成する。
標準的なViTバックボーンの上の分類ヘッドとして利用でき、予測性能を改善し、正確で堅牢な概念説明を行うことができる。
論文 参考訳（メタデータ） (2025-01-16T00:45:05Z) - SIM-Trans: Structure Information Modeling Transformer for Fine-grained
Visual Categorization [59.732036564862796]
本稿では,オブジェクト構造情報を変換器に組み込んだSIM-Trans(Structure Information Modeling Transformer)を提案する。
提案した2つのモジュールは軽量化されており、任意のトランスフォーマーネットワークにプラグインでき、エンドツーエンドで容易に訓練できる。
実験と解析により,提案したSIM-Transが細粒度視覚分類ベンチマークの最先端性能を達成することを示した。
論文 参考訳（メタデータ） (2022-08-31T03:00:07Z) - Semantic-aware Modular Capsule Routing for Visual Question Answering [55.03883681191765]
SuPER と呼ばれるセマンティック・アウェアな modUlar caPsulE フレームワークを提案する。
5つのベンチマークデータセットに対して提案した SUPER スキームの有効性と一般化能力を比較検討した。
論文 参考訳（メタデータ） (2022-07-21T10:48:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。