論文の概要: Pretraining Induces a Reusable Spectral Basis for Downstream Task Adaptation
- arxiv url: http://arxiv.org/abs/2605.07302v1
- Date: Fri, 08 May 2026 06:12:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:38.846361
- Title: Pretraining Induces a Reusable Spectral Basis for Downstream Task Adaptation
- Title（参考訳）: Pretrainingは、下流タスク適応のための再利用可能なスペクトル基底を誘導する
- Abstract要約: 微調整事前訓練されたモデルは、全パラメータ空間の低次元部分空間で発生する。
ダウンストリームタスクとは無関係な安定方向か、それとも、追加調整を必要としないタスク関連構造をすでにエンコードしているか?
事前学習した重み行列の先頭特異ベクトルは、微調整の下で非常に安定であり、無関係な下流タスク間で共有されることを示す。
- 参考スコア（独自算出の注目度）: 10.547646302449682
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Finetuning pretrained models occurs in a low-dimensional subspace of the full parameter space. Prior work has focused on characterizing this optimization subspace, but largely ignored the complementary question: why do certain directions remain unexplored during finetuning? Are these stable directions irrelevant to downstream tasks, or do they already encode task-relevant structure that requires no further adjustment? Answering this question is central to understanding how pretrained knowledge transfers. Through systematic spectral analysis across vision and language models, we show that the leading singular vectors of pretrained weight matrices remain highly stable under finetuning and are shared across unrelated downstream tasks, revealing that pretraining establishes a reusable spectral coordinate system. Models pretrained on larger datasets exhibit greater spectral stability under distribution shift or task change, directly linking pretraining scale to geometric transferability. Motivated by these findings, we propose a parameter-efficient method that freezes pretrained singular vectors and optimizes only leading spectral coefficients, achieving competitive performance on GLUE with 0.2% trainable parameters. Our results reveal that the stable directions encode transferable structure rather than irrelevant noise: successful pretraining discovers spectral bases that downstream tasks inherit and operate within.
- Abstract（参考訳）: 微調整事前訓練されたモデルは、全パラメータ空間の低次元部分空間で発生する。
以前の研究は、この最適化部分空間を特徴づけることに重点を置いていたが、相補的な質問をほとんど無視していた。
これらの安定方向は下流のタスクとは無関係なのか、それとも、それ以上の調整を必要としないタスク関連構造をすでにエンコードしているのだろうか?
この疑問に答えることは、事前訓練された知識の伝達の理解の中心である。
視覚および言語モデル間の系統的なスペクトル分析により、事前学習した重み行列の先頭特異ベクトルは微調整下で高度に安定であり、無関係な下流タスク間で共有されることが示され、事前学習が再利用可能なスペクトル座標系を確立することが明らかとなった。
より大きなデータセットで事前訓練されたモデルでは、分布シフトやタスク変更の下でスペクトル安定性が向上し、事前訓練スケールと幾何学的転送可能性を直接リンクする。
これらの結果から,事前学習した特異ベクトルを凍結し,先行するスペクトル係数のみを最適化し,0.2%のトレーニング可能なパラメータでGLUE上での競合性能を実現するパラメータ効率向上手法を提案する。
本結果より, 定常方向は非関連ノイズではなく伝達可能な構造を符号化していることが明らかとなった。
関連論文リスト
- Compute-Optimal Pretrain--Fine-tune in Ridge Gradient Descent [18.338094508559468]
一定のトレーニング予算の下では、上流目標の改善に費やされた計算は、下流適応に利用可能な計算を減らす。
我々は,この割り当てを,固定された全最適化予算を持つ2段階のプレトレイン・ファインチューン手順の下で計算分割問題とみなした。
以上の結果から,事前学習方向が微調整予測にどのように影響するか,下流データ幾何による微調整シフトがどのように影響するかが示唆された。
論文 参考訳（メタデータ） (2026-09-14T19:23:59Z) - Catastrophic Forgetting is Low-Rank: A Function-Space Theory for Continual Adaptation [5.220809937383775]
新しいタスクトレーニングは、クロスタスクカーネルを通して古いタスク予測ドリフトを誘導する。
トレーニング可能なパラメータにおいてモデルが線形であるフリーズバックボーンリニアヘッドPEFT-CLでは、予測器は正確に数値的精度である。
論文 参考訳（メタデータ） (2026-06-16T15:03:37Z) - Bilinear Coordinate Alignment for Training-Free Task-Vector Transfer [13.823003260600663]
事前訓練されたモデルの新バージョンが利用可能になると、微調整によって得られた専門知識を直接再利用することはできない。
本稿では、Bilinear Coordinateアライメントを介してタスクベクトルを転送するためのトレーニング不要なフレームワークであるBiCoを提案する。
BiCoは、幅、深さ、トレーニング前の設定が異なるモデル間で、既存の転送メソッドを一貫して上回る。
論文 参考訳（メタデータ） (2026-05-27T13:10:34Z) - Rank Is Not Capacity: Spectral Occupancy for Latent Graph Models [8.608322716392232]
スペクトルプレフィックス抽出と容量目標表現分析(Spectra)を提案する。
分析の単位としてのランクを学習された正の半定値カーネルのスペクトルに置き換え、スペクトルが適合する範囲で同等となるようにトレース正規化する。
Spectraはパフォーマンス・フロンティアをトレースし、予測精度と実現された次元とのトレードオフを可視化する。
論文 参考訳（メタデータ） (2026-05-11T18:46:53Z) - SAE as a Crystal Ball: Interpretable Features Predict Cross-domain Transferability of LLMs without Training [70.84726713548099]
SAEベースのTransferability Score(STS)は、トレーニング後のTransferabilityを予測するための新しい指標である。
STSは教師付き微調整の伝達可能性を正確に予測し,実際の性能変化とともに0.7以上のピアソン相関係数を達成できることを示す。
論文 参考訳（メタデータ） (2026-03-03T12:01:09Z) - Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation [58.3773038915023]
継続的な学習は、事前訓練されたモデルを、以前取得した知識を忘れずにシーケンシャルなタスクに適応することを目的としている。
既存のほとんどのアプローチは、現在のタスク固有の更新が以前取得した知識を自然に保存するプロパティを考慮せずに、継続的な学習を過去の更新への干渉を避けるものとして扱う。
本稿では,視覚言語モデルで使用される標準深度ドットと互換性のある一階述語法を用いてこの問題に対処する。
論文 参考訳（メタデータ） (2026-01-31T13:27:02Z) - Basis-Oriented Low-rank Transfer for Few-Shot and Test-Time Adaptation [10.804106052326402]
厳密なデータと計算予算の下で、大きな事前訓練されたモデルを未確認のタスクに適用することは、依然として困難である。
本稿では,既存の微調整モデルを再利用し,そのサブ空間内に適応するフレームワークBOLTを提案する。
本結果は,タスクインフォームド部分空間への制約適応が,目に見えないタスク転送の効果的な代替手段となることを示す。
論文 参考訳（メタデータ） (2025-12-02T06:00:16Z) - Weight Spectra Induced Efficient Model Adaptation [54.8615621415845]
微調整された大規模な基礎モデルは、計算コストを禁ずる。
微調整が最上位特異値を大きく増幅する一方で,残りはほとんど無傷であることを示す。
本稿では,トップ特異方向の学習可能な再スケーリングを利用する新しい手法を提案する。
論文 参考訳（メタデータ） (2025-05-29T05:03:29Z) - Large Continual Instruction Assistant [59.585544987096974]
CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。
既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。
本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-08T11:24:59Z) - Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。
自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。
筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
論文 参考訳（メタデータ） (2024-07-11T10:35:53Z) - On the Transferability of Pre-trained Language Models: A Study from
Artificial Datasets [74.11825654535895]
大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。
我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
論文 参考訳（メタデータ） (2021-09-08T10:39:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。