Fugu-MT 論文翻訳(概要): Stratified Knowledge-Density Super-Network for Scalable Vision Transformers

論文の概要: Stratified Knowledge-Density Super-Network for Scalable Vision Transformers

arxiv url: http://arxiv.org/abs/2511.11683v1
Date: Wed, 12 Nov 2025 07:12:08 GMT
ステータス: 翻訳完了
システム内更新日: 2025-11-18 14:36:22.985608
Title: Stratified Knowledge-Density Super-Network for Scalable Vision Transformers
Title（参考訳）: 拡張型視覚変換器のための階層型知識密度超ネットワーク
Authors: Longhua Li, Lei Qi, Xin Geng,
Abstract要約: 異なるリソース制約に対するビジョントランスフォーマー(ViT)モデルのトレーニングとデプロイは費用がかかり非効率である。本稿では,事前学習したViTを階層化された知識密度超ネットワークに変換することを提案する。 textbfWeighted textbfPCA for textbfAttention textbfContraction (WPAC) を導入する。
参考スコア（独自算出の注目度）: 39.917962639543696
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Training and deploying multiple vision transformer (ViT) models for different resource constraints is costly and inefficient. To address this, we propose transforming a pre-trained ViT into a stratified knowledge-density super-network, where knowledge is hierarchically organized across weights. This enables flexible extraction of sub-networks that retain maximal knowledge for varying model sizes. We introduce \textbf{W}eighted \textbf{P}CA for \textbf{A}ttention \textbf{C}ontraction (WPAC), which concentrates knowledge into a compact set of critical weights. WPAC applies token-wise weighted principal component analysis to intermediate features and injects the resulting transformation and inverse matrices into adjacent layers, preserving the original network function while enhancing knowledge compactness. To further promote stratified knowledge organization, we propose \textbf{P}rogressive \textbf{I}mportance-\textbf{A}ware \textbf{D}ropout (PIAD). PIAD progressively evaluates the importance of weight groups, updates an importance-aware dropout list, and trains the super-network under this dropout regime to promote knowledge stratification. Experiments demonstrate that WPAC outperforms existing pruning criteria in knowledge concentration, and the combination with PIAD offers a strong alternative to state-of-the-art model compression and model expansion methods.
Abstract（参考訳）: 異なるリソース制約に対するマルチビジョントランスフォーマー(ViT)モデルのトレーニングとデプロイは費用がかかり非効率である。そこで本研究では,事前学習したViTを階層化された知識密度超ネットワークに変換することを提案する。これにより、様々なモデルサイズに対する最大の知識を保持するサブネットワークの柔軟な抽出が可能になる。本稿では、知識を臨界重みのコンパクトな集合に集約する「textbf{W}eighted \textbf{P}CA for \textbf{A}ttention \textbf{C}ontraction (WPAC)」を紹介する。 WPACは、中間機能にトークンワイドの主成分分析を適用し、その結果の変換と逆行列を隣接層に注入し、知識のコンパクト性を高めながら元のネットワーク機能を保存する。階層化された知識組織をさらに促進するために, 階層化された知識組織である \textbf{P}rogressive \textbf{I}mportance-\textbf{A}ware \textbf{D}ropout (PIAD) を提案する。 PIADは、重み群の重要性を徐々に評価し、重要度を意識したドロップアウトリストを更新し、このドロップアウト体制の下でスーパーネットワークを訓練し、知識階層化を促進する。実験により、WPACは知識集中における既存のプルーニング基準よりも優れており、PIADと組み合わせることで、最先端のモデル圧縮とモデル拡張手法の強力な代替手段を提供する。

論文の概要: Stratified Knowledge-Density Super-Network for Scalable Vision Transformers

関連論文リスト