論文の概要: A Second-Order Perspective on Pruning at Initialization and Knowledge Transfer

• arxiv url: http://arxiv.org/abs/2509.24066v1
• Date: Sun, 28 Sep 2025 20:55:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.612489
• Title: A Second-Order Perspective on Pruning at Initialization and Knowledge Transfer
• Title（参考訳）: 初期化と知識伝達における第2次プルーニングの展望
• Authors: Leonardo Iurada, Beatrice Occhiena, Tatiana Tommasi,
• Abstract要約: 本研究では,事前学習した視覚モデルのプルーニングに対するデータの影響について検討する。 驚くべきことに、1つのタスクでプルーニングすることは、目に見えないタスクでもモデルがゼロショットのパフォーマンスを維持する。 この現象は,大規模データセット上での事前学習によって引き起こされる,良好な損失景観に起因している。
• 参考スコア（独自算出の注目度）: 10.005512797109986
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The widespread availability of pre-trained vision models has enabled numerous deep learning applications through their transferable representations. However, their computational and storage costs often limit practical deployment. Pruning-at-Initialization has emerged as a promising approach to compress models before training, enabling efficient task-specific adaptation. While conventional wisdom suggests that effective pruning requires task-specific data, this creates a challenge when downstream tasks are unknown in advance. In this paper, we investigate how data influences the pruning of pre-trained vision models. Surprisingly, pruning on one task retains the model's zero-shot performance also on unseen tasks. Furthermore, fine-tuning these pruned models not only improves performance on original seen tasks but can recover held-out tasks' performance. We attribute this phenomenon to the favorable loss landscapes induced by extensive pre-training on large-scale datasets.
• Abstract（参考訳）: 事前学習された視覚モデルの普及により、伝達可能な表現を通じて多くのディープラーニングアプリケーションが利用可能になった。 しかし、その計算とストレージのコストは、実際的な展開を制限することが多い。 Pruning-at-Initializationは、トレーニング前にモデルを圧縮し、効率的なタスク固有の適応を可能にする、有望なアプローチとして登場した。 従来の知恵は、効果的な刈り取りにはタスク固有のデータが必要であることを示唆するが、前もって下流のタスクが不明な場合に課題が生じる。 本稿では,事前学習した視覚モデルのプルーニングにデータがどのように影響するかを検討する。 驚くべきことに、1つのタスクでプルーニングすることは、目に見えないタスクでもモデルがゼロショットのパフォーマンスを維持する。 さらに、これらの刈り取られたモデルを微調整することで、オリジナルのタスクのパフォーマンスが向上するだけでなく、ホールドアウトタスクのパフォーマンスを回復することができる。 この現象は,大規模データセット上での大規模な事前学習によって引き起こされる,良好なロスランドスケープに起因している。

関連論文リスト

• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• Controlling Forgetting with Test-Time Data in Continual Learning [15.455400390299593]
  継続学習研究は、新しい知識が得られたときの過去の情報の破滅的な忘れを克服する技術を提供する。 テストタイムデータには,従来の学習タスクのモデルメモリをリフレッシュするために,自己管理的な方法で活用できる優れた情報がある,と我々は主張する。
  論文  参考訳（メタデータ） (2024-06-19T15:56:21Z)
• VIRL: Volume-Informed Representation Learning towards Few-shot Manufacturability Estimation [0.0]
  本研究は,3次元幾何エンコーダの事前学習のためのボリュームインフォームド表現学習手法であるVIRLを紹介する。 VIRLによって事前訓練されたモデルでは,データ制限による一般化性の向上が大幅に向上した。
  論文  参考訳（メタデータ） (2024-06-18T05:30:26Z)
• Fine-tuning can cripple your foundation model; preserving features may be the solution [87.35911633187204]
  タスク上の概念を認識できる微調整モデルの能力は、事前訓練されたモデルに比べて大幅に低下する。 我々は、下流タスクに関連する新しい概念を学習しながら、モデルが事前学習した知識を保存できる「textitLDIFS$」という新しい微調整手法を提案する。
  論文  参考訳（メタデータ） (2023-08-25T11:49:51Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• On Transfer of Adversarial Robustness from Pretraining to Downstream Tasks [1.8900691517352295]
  下流タスクにおける線形予測子のロバスト性は、その基盤となる表現のロバスト性によって制約できることを示す。 本結果は,適応後の信頼性向上のために,表現関数の要求を特徴付けるための最初のステップを提供する。
  論文  参考訳（メタデータ） (2022-08-07T23:00:40Z)
• Hierarchical Few-Shot Imitation with Skill Transition Models [66.81252581083199]
  FIST(Few-shot Imitation with Skill Transition Models)は、オフラインデータからスキルを抽出し、それらを利用して見えないタスクに一般化するアルゴリズムである。 本稿では,FISTが新たなタスクに一般化し,ナビゲーション実験において従来のベースラインを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2021-07-19T15:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。