論文の概要: Copy the Same, Distill the Difference: Initializing Linear Vision Transformers

• arxiv url: http://arxiv.org/abs/2609.35745v1
• Date: Mon, 28 Sep 2026 17:55:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 19:10:41.59586
• Title: Copy the Same, Distill the Difference: Initializing Linear Vision Transformers
• Title（参考訳）: 同じ色をコピーして差分を縮める:リニア・ビジョン・トランスの初期化
• Abstract要約: 線形視覚変換器(ViTs)は、Softmax ViTの注意を線形複雑注意演算子に置き換えるように設計されている。 線形 ViT を効率よく、効果的に初期化する方法はまだ不明である。
• 参考スコア（独自算出の注目度）: 55.27955652489208
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linear Vision Transformers (ViTs) are designed to replace the attention in Softmax ViTs with the linear-complexity attention operator for more efficient token routing, but they require from-scratch pre-training and typically underperform the original Softmax version. How to initialize linear ViTs both efficiently and effectively still remains unclear. In this work, we explicitly ask: given that most foundation ViTs are built on the mainstream Softmax attention, can linear ViTs benefit from their pre-trained weights? Recent works on Attention Transfer show that attention is the effective transferable component between Softmax ViTs, suggesting attention alone suffices for such reuse. However, we find the opposite for Softmax-to-linear transfer. The attention weights are operator-specific: copying them barely helps, and is sometimes even worse than random initialization. Instead, the attention's token routing behavior can be recovered through distillation with a proper loss design, letting linear ViTs reduce the gap and even match Softmax ones. In contrast, the MLP weights, which carry the learned representation, are operator-agnostic: they can be transferred by simple direct copying, which already carries most of the benefit of the pre-trained weights. Thus, copying MLPs can serve as an effective foundation for Softmax-to-linear transfer: paired with the distilled attention, linear ViTs eventually close the remaining gap and even surpass Softmax ones. These findings hold consistently across various linear ViT variants, different model sizes, and diverse datasets. We hope this study deepens the understanding of reusing pre-trained weights across attention operators: copy what stays the same and distill what differs, to recover the benefit across the Softmax-to-linear boundary.
• Abstract（参考訳）: リニア・ビジョン・トランスフォーマー(ViT)は、より効率的なトークンルーティングのために、Softmax ViTの注意を線形複雑注意演算子に置き換えるように設計されている。 線形 ViT を効率よく、効果的に初期化する方法はまだ不明である。 今回の研究では、ほとんどのViTがSoftmaxのメインストリームに構築されていることを考えると、リニアViTはトレーニング済みの重量の恩恵を受けられるだろうか? 注意伝達に関する最近の研究は、注意がSoftmax ViT間の効果的な伝達可能成分であることを示し、そのような再利用にのみ注意が必要であることを示唆している。 しかし、Softmax-to-linear 転送の逆は明らかである。 注意重みは演算子固有のもので、コピーすることはほとんど役に立たない。 代わりに、注意のトークンルーティングの挙動は、適切な損失設計で蒸留によって回復することができ、線形ViTはギャップを減らし、ソフトマックスのものと一致させることができる。 対照的に、MLP重みは、学習された表現を持つが、演算子に依存しない。 したがって、MLPの複写はSoftmax-to-linear転送の有効な基礎となりうる:蒸留された注意と組み合わせて、線形ViTは最終的に残りのギャップを閉じ、Softmaxを超越する。 これらの発見は、様々な線形ViT変種、異なるモデルサイズ、多様なデータセットを一貫して保持する。 この研究は、注意演算子間でトレーニング済みの重量を再利用することの理解を深め、同じままのものをコピーして、異なるものを蒸留し、ソフトマックスと線形の境界を越えて利益を取り戻すことを願っている。

関連論文リスト

• ViT-AdaLA: Adapting Vision Transformers with Linear Attention [71.36851471416034]
  ビジョントランスフォーマー (ViT) ベースの視覚基礎モデル (VFM) は、様々な視覚タスクにおいて顕著な性能を達成している。 ViTの既存の線形アテンションアプローチは、通常、スクラッチから訓練され、かなりの計算資源を必要とする。 本稿では,VFMから線形注意への事前知識の適応と伝達を効果的に行う新しいフレームワークであるViT-AdaLAを提案する。
  論文  参考訳（メタデータ） (2026-03-17T02:15:48Z)
• Rethinking Hierarchicies in Pre-trained Plain Vision Transformer [76.35955924137986]
  マスク付き画像モデリング(MIM)による自己教師付き事前学習型視覚変換器(ViT)は非常に効果的であることが証明されている。 カスタマイズされたアルゴリズムは、平易なViTのためにバニラと単純なMAEを使用する代わりに、例えばGreenMIMのような階層的なViTのために慎重に設計されるべきである。 本稿では,自己指導型事前学習から階層型アーキテクチャ設計を遠ざける新しいアイデアを提案する。
  論文  参考訳（メタデータ） (2022-11-03T13:19:23Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• Sparse Attention with Linear Units [60.399814410157425]
  本稿では, ソフトマックスアクティベーションをReLUに置き換えることにより, 注目度を向上する新しい, 簡便な手法を提案する。 我々のモデルはRectified Linear Attention (ReLA)と呼ばれ、以前提案したスパースアテンション機構よりも実装が容易で効率的である。 分析の結果,RELAは高い空間性率と頭部の多様性を達成でき,ソース・ターゲット単語アライメントの精度が向上することがわかった。
  論文  参考訳（メタデータ） (2021-04-14T17:52:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。