論文の概要: Vision Transformer Finetuning Benefits from Non-Smooth Components

• arxiv url: http://arxiv.org/abs/2602.06883v1
• Date: Fri, 06 Feb 2026 17:12:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.501038
• Title: Vision Transformer Finetuning Benefits from Non-Smooth Components
• Title（参考訳）: 非滑らか成分からの視覚変換器微細化効果
• Authors: Ambroise Odonnat, Laetitia Chapel, Romain Tavenard, Ievgen Redko,
• Abstract要約: 視覚変換素子が出力を入力の変化に適応させる能力、つまり可塑性を解析する。 実践者にとって重要な点は、注意モジュールとフィードフォワード層の高可塑性が、常に優れた微調整性能をもたらすことである。
• 参考スコア（独自算出の注目度）: 13.900418575589134
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The smoothness of the transformer architecture has been extensively studied in the context of generalization, training stability, and adversarial robustness. However, its role in transfer learning remains poorly understood. In this paper, we analyze the ability of vision transformer components to adapt their outputs to changes in inputs, or, in other words, their plasticity. Defined as an average rate of change, it captures the sensitivity to input perturbation; in particular, a high plasticity implies low smoothness. We demonstrate through theoretical analysis and comprehensive experiments that this perspective provides principled guidance in choosing the components to prioritize during adaptation. A key takeaway for practitioners is that the high plasticity of the attention modules and feedforward layers consistently leads to better finetuning performance. Our findings depart from the prevailing assumption that smoothness is desirable, offering a novel perspective on the functional properties of transformers. The code is available at https://github.com/ambroiseodt/vit-plasticity.
• Abstract（参考訳）: 変圧器アーキテクチャの滑らかさは、一般化、訓練安定性、対向ロバスト性といった文脈で広く研究されている。 しかし、トランスファーラーニングにおけるその役割はいまだに理解されていない。 本稿では,視覚変換素子が出力を入力の変化に適応させる能力,すなわち可塑性を解析する。 平均的な変化率として定義され、入力摂動に対する感度を捉える。 我々は、理論分析と総合実験を通じて、この視点が適応時に優先順位付けするコンポーネントを選択するための原則的なガイダンスを提供することを示した。 実践者にとって重要な点は、注意モジュールとフィードフォワード層の高可塑性が、常に優れた微調整性能をもたらすことである。 本研究は,スムーズさが望ましいという仮定から逸脱し,変圧器の機能的特性の新たな視点を提供する。 コードはhttps://github.com/ambroiseodt/vit-plasticity.comで入手できる。

関連論文リスト

• Unveil Benign Overfitting for Transformer in Vision: Training Dynamics, Convergence, and Generalization [88.5582111768376]
  本研究では, ソフトマックスを用いた自己保持層と, 勾配勾配下での完全連結層からなるトランスフォーマーの最適化について検討した。 この結果から,データモデルにおける信号対雑音比に基づいて,小さなテストエラー位相と大規模なテストエラー状態とを区別できるシャープ条件を確立した。
  論文  参考訳（メタデータ） (2024-09-28T13:24:11Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Transformers Learn Low Sensitivity Functions: Investigations and Implications [18.77893015276986]
  トランスフォーマーは多くのタスクで最先端の精度と堅牢性を達成する。 入力におけるトークンのランダムな摂動に対するモデルの感度を統一計量として同定する。 我々は、CNN、CNN、ConvMixers、LSTMよりも、視覚と言語の両方のタスクにおいて、トランスフォーマーの感度が低いことを示す。
  論文  参考訳（メタデータ） (2024-03-11T17:12:09Z)
• ExpPoint-MAE: Better interpretability and performance for self-supervised point cloud transformers [7.725095281624494]
  マスク付き自動符号化の有効性を事前学習方式として評価し,代替手段としてMomentum Contrastを探索する。 我々は,トランスフォーマーが意味論的に意味のある領域への参加を学ぶことを観察し,事前学習が基礎となる幾何学の理解を深めることを示す。
  論文  参考訳（メタデータ） (2023-06-19T09:38:21Z)
• What Makes for Good Tokenizers in Vision Transformer? [62.44987486771936]
  変圧器は自己注意を用いて対関係を抽出することができる。 優れたトークンライザとなるものは、コンピュータビジョンではよく理解されていない。 Tokens (MoTo) を横断する変調は、正規化によるトークン間モデリング機能を備えている。 TokenPropの正規化対象は、標準トレーニング体制で採用されている。
  論文  参考訳（メタデータ） (2022-12-21T15:51:43Z)
• XAI for Transformers: Better Explanations through Conservative Propagation [60.67748036747221]
  変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。 我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-15T10:47:11Z)
• A Survey on Visual Transformer [126.56860258176324]
  Transformerは、主に自己認識機構に基づくディープニューラルネットワークの一種である。 本稿では、これらの視覚変換器モデルについて、異なるタスクで分類し、それらの利点と欠点を分析することでレビューする。
  論文  参考訳（メタデータ） (2020-12-23T09:37:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。