論文の概要: Feature Space Adaptation for Robust Model Fine-Tuning

• arxiv url: http://arxiv.org/abs/2510.19155v1
• Date: Wed, 22 Oct 2025 01:06:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:14.837315
• Title: Feature Space Adaptation for Robust Model Fine-Tuning
• Title（参考訳）: ロバストモデルファインチューニングのための特徴空間適応
• Authors: Peng Wang, Minghao Gu, Qiang Huang,
• Abstract要約: 破滅的な忘れはモデル微調整において一般的な問題である。 LoRFAとVeFAの2つの新しい微調整法が提案されている。
• 参考スコア（独自算出の注目度）: 5.88597465790519
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Catastrophic forgetting is a common issue in model fine-tuning, especially when the downstream domain contains limited labeled data or differs greatly from the pre-training distribution. Existing parameter-efficient fine-tuning methods operate in the weight space by modifying or augmenting the pre-trained model's parameters, which can yield models overly specialized to the available downstream data. To mitigate the risk of overwriting pre-trained knowledge and enhance robustness, we propose to fine-tune the pre-trained model in the feature space. Two new fine-tuning methods are proposed: LoRFA (Low-Rank Feature Adaptation) and VeFA (Vector-Based Feature Adaptation). Feature space adaptation is inspired by the idea of effect equivalence modeling (EEM) of downstream lurking variables causing distribution shifts, which posits that unobserved factors can be represented as the total equivalent amount on observed features. By compensating for the effects of downstream lurking variables via a lightweight feature-level transformation, the pre-trained representations can be preserved, which improves model generalization under distribution shift. We evaluate LoRFA and VeFA versus LoRA on image classification, NLU, and NLG, covering both standard fine-tuning metrics and robustness. Feature space adaptation achieves comparable fine-tuning results and consistently stronger robustness.
• Abstract（参考訳）: 特に、下流領域がラベル付きデータしか持たない場合や、事前学習したデータと大きく異なる場合などである。 既存のパラメータ効率の微調整手法は、事前訓練されたモデルのパラメータを修正または拡張することにより重量空間で動作し、利用可能な下流データに過度に特化したモデルが得られる。 事前学習された知識を上書きし、堅牢性を高めるリスクを軽減するため、特徴空間における事前学習されたモデルを微調整することを提案する。 LoRFA(Low-Rank Feature Adaptation)とVeFA(Vector-Based Feature Adaptation)の2つの新しい微調整手法が提案されている。 特徴空間適応は、分布シフトを引き起こす下流潜水変数のエフェクト等価モデリング(EEM)の概念に着想を得ており、観測された特徴について、観測されていない因子を総同値量として表すことができると仮定している。 軽量な特徴レベルの変換によって下流潜水変数の効果を補償することにより、事前学習された表現を保存し、分散シフト下でのモデル一般化を改善する。 画像分類, NLU, NLG において LoRFA と VeFA と LoRA を比較し, 標準微調整とロバスト性の両方について検討した。 特徴空間適応は、同等の微調整結果と一貫して強い強靭性を達成する。

関連論文リスト

• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
  拡散モデルは、生成的モデリングに大きな進歩をもたらした。 しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。 これらの課題に対処するための影響関数フレームワークを開発する。
  論文  参考訳（メタデータ） (2024-10-17T17:59:02Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• FD-Align: Feature Discrimination Alignment for Fine-tuning Pre-Trained Models in Few-Shot Learning [21.693779973263172]
  本稿では,特徴識別アライメント(FD-Align)と呼ばれる微調整手法を提案する。 本手法は,突発的特徴の一貫性を保ち,モデルの一般化可能性を高めることを目的としている。 一度微調整すると、モデルは既存のメソッドとシームレスに統合され、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-23T17:12:01Z)
• Disentangling Generative Factors of Physical Fields Using Variational Autoencoders [0.0]
  本研究は,非線形次元低減のための変分オートエンコーダ (VAE) の利用について検討する。 不整合分解は解釈可能であり、生成的モデリングを含む様々なタスクに転送することができる。
  論文  参考訳（メタデータ） (2021-09-15T16:02:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。