論文の概要: Feature Space Adaptation for Robust Model Fine-Tuning

• arxiv url: http://arxiv.org/abs/2510.19155v1
• Date: Wed, 22 Oct 2025 01:06:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:14.837315
• Title: Feature Space Adaptation for Robust Model Fine-Tuning
• Title（参考訳）: ロバストモデルファインチューニングのための特徴空間適応
• Abstract要約: 破滅的な忘れはモデル微調整において一般的な問題である。 LoRFAとVeFAの2つの新しい微調整法が提案されている。
• 参考スコア（独自算出の注目度）: 5.88597465790519
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Catastrophic forgetting is a common issue in model fine-tuning, especially when the downstream domain contains limited labeled data or differs greatly from the pre-training distribution. Existing parameter-efficient fine-tuning methods operate in the weight space by modifying or augmenting the pre-trained model's parameters, which can yield models overly specialized to the available downstream data. To mitigate the risk of overwriting pre-trained knowledge and enhance robustness, we propose to fine-tune the pre-trained model in the feature space. Two new fine-tuning methods are proposed: LoRFA (Low-Rank Feature Adaptation) and VeFA (Vector-Based Feature Adaptation). Feature space adaptation is inspired by the idea of effect equivalence modeling (EEM) of downstream lurking variables causing distribution shifts, which posits that unobserved factors can be represented as the total equivalent amount on observed features. By compensating for the effects of downstream lurking variables via a lightweight feature-level transformation, the pre-trained representations can be preserved, which improves model generalization under distribution shift. We evaluate LoRFA and VeFA versus LoRA on image classification, NLU, and NLG, covering both standard fine-tuning metrics and robustness. Feature space adaptation achieves comparable fine-tuning results and consistently stronger robustness.
• Abstract（参考訳）: 特に、下流領域がラベル付きデータしか持たない場合や、事前学習したデータと大きく異なる場合などである。 既存のパラメータ効率の微調整手法は、事前訓練されたモデルのパラメータを修正または拡張することにより重量空間で動作し、利用可能な下流データに過度に特化したモデルが得られる。 事前学習された知識を上書きし、堅牢性を高めるリスクを軽減するため、特徴空間における事前学習されたモデルを微調整することを提案する。 LoRFA(Low-Rank Feature Adaptation)とVeFA(Vector-Based Feature Adaptation)の2つの新しい微調整手法が提案されている。 特徴空間適応は、分布シフトを引き起こす下流潜水変数のエフェクト等価モデリング(EEM)の概念に着想を得ており、観測された特徴について、観測されていない因子を総同値量として表すことができると仮定している。 軽量な特徴レベルの変換によって下流潜水変数の効果を補償することにより、事前学習された表現を保存し、分散シフト下でのモデル一般化を改善する。 画像分類, NLU, NLG において LoRFA と VeFA と LoRA を比較し, 標準微調整とロバスト性の両方について検討した。 特徴空間適応は、同等の微調整結果と一貫して強い強靭性を達成する。

関連論文リスト

• Source-Prior-Driven Selective Adaptation for Efficient Diffusion Model Finetuning [8.882340997244558]
  そこで本研究では,高効率な微細構造拡散モデルのためのソース優先選択適応法を提案する。 提案手法は,(1)事前学習パラメータ間での一般生成能力の喪失は極めて不一致であり,(2)モデル全体の生成能力に比較的小さな影響を持つパラメータは構造的に不一致である。 実験により,本手法は既存の強靭なベースラインよりも適応保持トレードオフが良好であることが確認された。
  論文  参考訳（メタデータ） (2026-07-23T04:46:48Z)
• BaRA: Bayesian Adaptive Rank Allocation for Parameter-Efficient Fine-Tuning [40.998095775740886]
  低ランク適応(LoRA)は、タスク固有の更新を固定された低ランク部分空間に制限することで、非常に効率的な微調整を可能にする。 パラメータ効率の良い微調整のためのベイズ適応ランクアロケーションフレームワークであるBaRAを提案する。 BaRAは、非絡み合った潜在因子のスパースでコンテキスト依存のサブセットを活性化することで適応能力を動的に割り当てる。
  論文  参考訳（メタデータ） (2026-06-28T04:08:09Z)
• Fine-tuning Factor Augmented Neural Lasso for Heterogeneous Environments [9.523993463071834]
  本稿では、FAN-Lasso(FAN-Lasso)の微細調整因子について紹介する。 FAN-Lassoは、可変選択を伴う高次元非パラメトリック回帰のための伝達学習フレームワークである。 標準ベースラインを一貫して上回り、厳密なターゲットサンプルサイズ制約の下でも、ほぼオーラルに近いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-04-14T05:01:18Z)
• Curvature-Guided LoRA: Steering in the pretrained NTK subspace [60.35296431630704]
  本稿では,PEFTを用いて得られた予測器と,出力レベルにおける完全微調整の予測器との整合性を考慮した予測アライメント問題を提案する。 我々は、この目的が自然に、ニュートンのような、曲率ホワイトの勾配に対応する最適な低ランク更新を行う、曲率対応の2階定式化につながることを示した。 この知見に基づいて、局所曲率情報を用いて適応方向を選択し、スケールする曲率誘導LoRA(CG-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-03-31T14:46:39Z)
• High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
  論文  参考訳（メタデータ） (2026-01-12T13:06:17Z)
• Beyond Weight Adaptation: Feature-Space Domain Injection for Cross-Modal Ship Re-Identification [3.6907522136316975]
  CMS Re-ID(Cross-Modality Ship Re-Identification)は、全天候の海上目標追跡を実現するために重要である。 モダリティギャップのブリッジ化におけるビジョン・ファンデーション・モデル(VFM)の可能性を探る。 ドメイン表現注入(Domain Representation Injection, DRI)と呼ばれる新しいPEFT戦略を提案する。
  論文  参考訳（メタデータ） (2025-12-24T02:30:23Z)
• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
  拡散モデルは、生成的モデリングに大きな進歩をもたらした。 しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。 これらの課題に対処するための影響関数フレームワークを開発する。
  論文  参考訳（メタデータ） (2024-10-17T17:59:02Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
  生成モデルのための新しいスペクトル対応適応フレームワークを提案する。 本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。 本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T17:43:35Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• FD-Align: Feature Discrimination Alignment for Fine-tuning Pre-Trained Models in Few-Shot Learning [21.693779973263172]
  本稿では,特徴識別アライメント(FD-Align)と呼ばれる微調整手法を提案する。 本手法は,突発的特徴の一貫性を保ち,モデルの一般化可能性を高めることを目的としている。 一度微調整すると、モデルは既存のメソッドとシームレスに統合され、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-23T17:12:01Z)
• Disentangling Generative Factors of Physical Fields Using Variational Autoencoders [0.0]
  本研究は,非線形次元低減のための変分オートエンコーダ (VAE) の利用について検討する。 不整合分解は解釈可能であり、生成的モデリングを含む様々なタスクに転送することができる。
  論文  参考訳（メタデータ） (2021-09-15T16:02:43Z)
• Variational Inference with NoFAS: Normalizing Flow with Adaptive Surrogate for Computationally Expensive Models [7.217783736464403]
  マルコフ連鎖モンテカルロのようなサンプリングに基づくアプローチの使用は、それぞれの可能性評価が計算的に高価であるときに難解になる可能性がある。 変分推論と正規化フローを組み合わせた新しいアプローチは、潜在変数空間の次元と線形にしか成長しない計算コストによって特徴づけられる。 本稿では,ニューラルネットワークサロゲートモデルの正規化フローパラメータと重みを代わりに更新する最適化戦略である,適応サロゲートを用いた正規化フロー(NoFAS)を提案する。
  論文  参考訳（メタデータ） (2021-08-28T14:31:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。