論文の概要: Growing to See: Efficient Pretraining of Self-Supervised Vision Transformers
- arxiv url: http://arxiv.org/abs/2610.16817v1
- Date: Mon, 12 Oct 2026 14:01:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.38193
- Title: Growing to See: Efficient Pretraining of Self-Supervised Vision Transformers
- Title（参考訳）: 成長する: 自己監督型視覚変換器の効率的な事前学習
- Abstract要約: 自己教師型視覚変換器において,成長が表現品質や計算パターンにどのような影響を及ぼすかを示す。
グローバルタスクと密集タスク全体で、成長は下流のパフォーマンスを改善し、トレーニングFLOPを13.9～24.8%削減することを示した。
- 参考スコア（独自算出の注目度）: 48.528219269020894
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Progressive depth growth builds large networks by starting with shallow models and inserting layers during training. Recent advances in large language models have renewed interest in this longstanding approach, demonstrating benefits for training efficiency and reasoning alongside changes in internal computations. However, how growing affects representation quality and computational patterns in self-supervised vision transformers remains unclear. In this work, we systematically investigate progressive depth growth in two popular self-supervised families, namely masked autoencoders (MAE) and DINOv3, and analyze how growing affects downstream performance, intermediate representations, and internal computations. Across global and dense tasks, we show that growing improves downstream performance while reducing training FLOPs by 13.9--24.8%, with ImageNet linear-probe accuracy gains of up to 3.36 percentage points. Growing also improves downstream performance at intermediate layers and reshapes internal computational patterns, introducing recurring alternations between global and localized attention in MAE and earlier local-to-global attention progression in self-distilled DINOv3. Together, these findings establish progressive depth growth as an effective and efficient pretraining strategy for improving downstream performance across global and dense visual tasks with less computation, and advance our understanding of how growing shapes visual computation.
- Abstract（参考訳）: プログレッシブ・ディープ・グロース(Progressive depth Growth)は、浅いモデルから始めてトレーニング中にレイヤーを挿入することによって、大きなネットワークを構築する。
大規模言語モデルの最近の進歩は、この長年のアプローチに新たな関心を抱き、内部計算の変化とともに、トレーニング効率と推論の利点を実証している。
しかし、自己監督型視覚変換器の表現品質や計算パターンにどの程度の影響を及ぼすかは、まだ不明である。
本研究では、マスク付きオートエンコーダ(MAE)とDINOv3(DINOv3)の2つの人気自己教師型ファミリーの進行深度成長を系統的に検討し、成長が下流の性能、中間表現、内部計算に与える影響を分析する。
グローバルタスクと高密度タスク全体では、FLOPのトレーニングを13.9～24.8%削減しつつ、ダウンストリームのパフォーマンスが向上し、ImageNetの線形プローブ精度は最大3.36ポイント向上した。
成長はまた、中間層での下流性能を改善し、内部計算パターンを再考し、MAEにおけるグローバル・ローカライズド・アテンションと、自己蒸留DINOv3における初期のローカル・グローバル・アテンションの進行を繰り返す。
これらの知見は、より少ない計算で、グローバルおよび高密度な視覚タスクの下流性能を改善するための効率的かつ効率的な事前学習戦略として、進行深度成長を確立させ、その成長が視覚計算をどのように成長させるかの理解を深めるものである。
関連論文リスト
- Scaling DRL for Decision Making: A Survey on Data, Network, and Training Budget Strategies [66.83950068218033]
スケーリング法則は、モデルのパラメータとトレーニングデータによって学習のパフォーマンスが向上することを示している。
性能向上の可能性にもかかわらず、スケーリング法則を深層強化学習に統合することは、完全には実現されていない。
本稿では,データ,ネットワーク,トレーニング予算という3次元のスケーリング戦略を体系的に分析することによって,このギャップに対処する。
論文 参考訳（メタデータ） (2025-08-05T08:03:12Z) - iFlame: Interleaving Full and Linear Attention for Efficient Mesh Generation [49.8026360054331]
iFlameはメッシュ生成のためのトランスフォーマーベースの新しいネットワークアーキテクチャである。
本稿では,線形アテンションの効率とフルアテンション機構の表現力を組み合わせたインターリービング自己回帰メッシュ生成フレームワークを提案する。
提案するインターリービングフレームワークは,計算効率と生成性能を効果的にバランスさせることが示唆された。
論文 参考訳（メタデータ） (2025-03-20T19:10:37Z) - Point Transformer V3: Simpler, Faster, Stronger [88.80496333515325]
本稿では,ポイントクラウド処理における精度と効率のトレードオフを克服することに焦点を当てる。
本稿では,特定のメカニズムの精度よりもシンプルさと効率を優先するポイントトランスフォーマーV3(PTv3)を提案する。
PTv3は、屋内と屋外の両方のシナリオにまたがる20以上の下流タスクで最先端の結果を得る。
論文 参考訳（メタデータ） (2023-12-15T18:59:59Z) - Deep Augmentation: Dropout as Augmentation for Self-Supervised Learning [19.495587566796278]
Deep Augmentationは、ニューラルネットワークのターゲット層にドロップアウトまたはPCA変換を適用する方法である。
レイヤ間で均一にドロップアウトを適用することで、パフォーマンスが一貫して向上しないことを示す。
また, 停止段階の操作は, 拡張として効果的にドロップアウト機能を確保するために重要であることも示している。
論文 参考訳（メタデータ） (2023-03-25T19:03:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。