論文の概要: Statistical Benefits of Fine-Tuning from Pretrained Initialization in Diagonal Linear Networks

• arxiv url: http://arxiv.org/abs/2609.34756v1
• Date: Mon, 28 Sep 2026 09:42:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 03:08:15.214736
• Title: Statistical Benefits of Fine-Tuning from Pretrained Initialization in Diagonal Linear Networks
• Title（参考訳）: 対角線ネットワークにおける事前訓練初期化による微調整の統計的効果
• Abstract要約: グラデーションベースの微調整によって、微調整済みの重みが暗黙的に悪用されることを示す。 以上の結果から,事前学習した重み付き情報を勾配に基づく微調整によって暗黙的に活用する方法が示唆された。
• 参考スコア（独自算出の注目度）: 76.86688424891021
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adapting pretrained models to downstream tasks with limited data has become a central paradigm in modern deep learning. Yet, despite its widespread practical success, how fine-tuning leverages information from pretraining remains poorly understood theoretically. We study fine-tuning from pretrained weights through the lens of sparse linear regression and two-layer diagonal linear networks. In our setting, pretraining provides information through the support (and signs) of the initialization predictor, which may contain coordinates relevant to the downstream task. We show how pretrained information reshapes the implicit bias and training dynamics, and can thereby reduce the sample complexity of recovering the target parameters and support. In particular, for a clean initialization with correctly inherited signs, we show that the required sample size is comparable to that of a weighted Lasso estimator that explicitly exploits the pretrained support through a suitably chosen regularizer. Our results thus show how information encoded in pretrained weights can be implicitly exploited by gradient-based fine-tuning, reducing the amount of data needed to recover a downstream task.
• Abstract（参考訳）: 限られたデータで下流タスクに事前訓練されたモデルを適用することは、現代のディープラーニングにおける中心的なパラダイムとなっている。 しかし、実際的な成功にもかかわらず、微調整が事前訓練からの情報を活用する方法はまだ理論的にはよく理解されていない。 本研究では, 2層対角線網とスパース線形回帰レンズを用いて, 予め訓練した重みから微調整を行う。 我々の設定では、事前学習は、下流タスクに関連する座標を含む可能性のある初期化予測器のサポート(および記号)を通して情報を提供する。 本研究では,事前学習した情報が暗黙のバイアスやトレーニングのダイナミクスにどう影響するかを示すとともに,対象パラメータを復元する際のサンプルの複雑さを低減できることを示す。 特に、正しく継承された符号でクリーンな初期化を行う場合、必要なサンプルサイズは、適切に選択された正則化器による事前学習支援を明示的に活用する重み付きラッソ推定器に匹敵することを示す。 以上の結果から,事前学習した重みで符号化された情報を勾配に基づく微調整によって暗黙的に活用し,下流タスクの復元に必要なデータ量を削減できることを示す。

関連論文リスト

• Optimal Representation Size: High-Dimensional Analysis of Pretraining and Linear Probing [20.181398321709636]
  限られたデータから一般化することを学ぶことは、人工システムと生物学的システムの両方にとって根本的な課題である。 本稿では, 構造抽出を主成分分析として定式化するプロセスの解析モデルを提案する。 我々は,表現の次元性,ラベル付きサンプルサイズ,タスクアライメントへの依存性を示す訓練および一般化誤差の正確な表現を導出する。
  論文  参考訳（メタデータ） (2026-05-19T16:56:56Z)
• Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
  既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。 動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
  論文  参考訳（メタデータ） (2025-02-10T17:57:15Z)
• Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
  我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。 具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。 我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:01:58Z)
• Initialization Matters for Adversarial Transfer Learning [61.89451332757625]
  我々は、逆向きに頑健な事前訓練モデルの必要性を発見する。 本稿では, 対向線形探索により得られる重み付き線形ヘッドを初期化する対向微調整のためのロバスト線形初期化法(RoLI)を提案する。 5つの異なる画像分類データセットにおいて,RoLIの有効性を実証し,新しい最先端結果を得た。
  論文  参考訳（メタデータ） (2023-12-10T00:51:05Z)
• Progressive Feature Adjustment for Semi-supervised Learning from Pretrained Models [39.42802115580677]
  半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。 近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。 本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
  論文  参考訳（メタデータ） (2023-09-09T01:57:14Z)
• Improved Visual Fine-tuning with Natural Language Supervision [36.250244364023665]
  視覚的事前学習モデルの微調整は、大規模事前学習データからの意味情報を活用することができる。 術前訓練した背骨における破折性忘れの問題は、微調整のために広く研究されている。 固定テキスト分類器から得られた参照分布を導入し,学習した視覚分類器の正規化を支援する。
  論文  参考訳（メタデータ） (2023-04-04T03:08:02Z)
• Harnessing the Power of Explanations for Incremental Training: A LIME-Based Approach [6.244905619201076]
  この研究では、モデル説明がフィードフォワードトレーニングにフィードバックされ、モデルをより一般化するのに役立つ。 このフレームワークは、シーケンシャルなテストセットのパフォーマンスを維持するために、Elastic Weight Consolidation (EWC)によるカスタム重み付き損失を取り入れている。 提案したカスタムトレーニング手順は、インクリメンタルラーニングセットアップのすべてのフェーズにおいて、0.5%から1.5%までの精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2022-11-02T18:16:17Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors [59.93972277761501]
  我々は,教師付きあるいは自己指導型アプローチにより,ソースタスクから高い情報的後部を学習できることを実証した。 このシンプルなモジュラーアプローチは、様々な下流の分類とセグメンテーションタスクにおいて、大幅なパフォーマンス向上と、よりデータ効率のよい学習を可能にする。
  論文  参考訳（メタデータ） (2022-05-20T16:19:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。