論文の概要: Preserving Domain Generalization in Fine-Tuning via Joint Parameter Selection
- arxiv url: http://arxiv.org/abs/2508.16976v1
- Date: Sat, 23 Aug 2025 10:00:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-26 18:43:45.278933
- Title: Preserving Domain Generalization in Fine-Tuning via Joint Parameter Selection
- Title（参考訳）: 結合パラメータ選択によるファインチューニングにおけるドメイン一般化の保存
- Authors: Bin Pan, Shiyu Shen, Zongbin Wang, Zhenwei Shi, Xia Xu,
- Abstract要約: JPS(Joint Selection)は、パラメータの小さなサブセットへの更新を制限し、事前訓練されたモデルの強度を維持・活用する新しい手法である。
JPSは、最先端の領域一般化法と比較して優れた性能を示し、提案手法の有効性と有効性を実証する。
- 参考スコア（独自算出の注目度）: 26.366275954455514
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Domain generalization seeks to develop models trained on a limited set of source domains that are capable of generalizing effectively to unseen target domains. While the predominant approach leverages large-scale pre-trained vision models as initialization, recent studies have highlighted that full fine-tuning can compromise the intrinsic generalization capabilities of these models. To address this limitation, parameter-efficient adaptation strategies have emerged, wherein only a subset of model parameters is selectively fine-tuned, thereby balancing task adaptation with the preservation of generalization. Motivated by this paradigm, we introduce Joint Parameter Selection (JPS), a novel method that restricts updates to a small, sparse subset of parameters, thereby retaining and harnessing the generalization strength of pre-trained models. Theoretically, we establish a generalization error bound that explicitly accounts for the sparsity of parameter updates, thereby providing a principled justification for selective fine-tuning. Practically, we design a selection mechanism employing dual operators to identify and update parameters exhibiting consistent and significant gradients across all source domains. Extensive benchmark experiments demonstrate that JPS achieves superior performance compared to state-of-the-art domain generalization methods, substantiating both the efficiency and efficacy of the proposed approach.
- Abstract（参考訳）: ドメインの一般化は、特定対象ドメインに効果的に一般化できる限られたソースドメインのセットで訓練されたモデルの開発を目指している。
主要なアプローチは、大規模な事前学習された視覚モデルを初期化として活用する一方で、最近の研究は、完全な微調整がこれらのモデルの本質的な一般化能力を損なう可能性があることを強調している。
この制限に対処するため、パラメータ効率適応戦略が出現し、モデルパラメータのサブセットのみを選択的に微調整し、タスク適応と一般化の保存のバランスをとる。
このパラダイムを取り入れたJPS(Joint Parameter Selection)は,パラメータの小さな部分集合への更新を制限し,事前学習したモデルの一般化強度を維持・活用する新しい手法である。
理論的には、パラメータ更新の間隔を明示的に考慮した一般化誤差を定め、選択的微調整の原理的正当性を与える。
実際には、全てのソースドメインに対して一貫した重要な勾配を示すパラメータを識別および更新するために、双対演算子を用いた選択機構を設計する。
大規模ベンチマーク実験により、JPSは最先端の領域一般化法よりも優れた性能を示し、提案手法の有効性と有効性を実証した。
関連論文リスト
- Detecting and Pruning Prominent but Detrimental Neurons in Large Language Models [68.57424628540907]
大規模言語モデル(LLM)は、しばしば特定のデータセットに特化した学習メカニズムを開発する。
本稿では,データセット固有のメカニズムに関連するニューロンの同定と解析により,一般化の促進を目的とした微調整手法を提案する。
本手法では,各ニューロンの高信頼度予測への影響を定量化するため,データセット固有の性能に不均等に寄与するニューロンを同定する。
論文 参考訳（メタデータ） (2025-07-12T08:10:10Z) - Continual Adaptation: Environment-Conditional Parameter Generation for Object Detection in Dynamic Scenarios [54.58186816693791]
環境は時間と空間によって常に変化し、クローズドセットの仮定に基づいて訓練された物体検出器にとって重要な課題となる。
そこで本研究では,微調整過程をパラメータ生成に変換する機構を提案する。
特に,2経路LoRAベースのドメイン認識アダプタを最初に設計し,特徴をドメイン不変およびドメイン固有コンポーネントに分解する。
論文 参考訳（メタデータ） (2025-06-30T17:14:12Z) - Partial Transportability for Domain Generalization [56.37032680901525]
本稿では, 部分的同定と輸送可能性の理論に基づいて, 対象分布の関数値の有界化に関する新たな結果を紹介する。
我々の貢献は、輸送可能性問題に対する最初の一般的な評価手法を提供することである。
本稿では,スケーラブルな推論を実現するための勾配に基づく最適化手法を提案する。
論文 参考訳（メタデータ） (2025-03-30T22:06:37Z) - Unsupervised Parameter Efficient Source-free Post-pretraining [52.27955794126508]
教師なしのUpStepを紹介します。
ソースドメインからターゲットドメインへのベースモデルを適応するための、ソースフリーのポストプレトレーニングアプローチ。
私たちは、Imagenetをベースモデルとして、教師付きおよび教師なしの両方でトレーニングされた、さまざまな一般的なバックボーンアーキテクチャを使用します。
論文 参考訳（メタデータ） (2025-02-28T18:54:51Z) - SoMA: Singular Value Decomposed Minor Components Adaptation for Domain Generalizable Representation Learning [6.262268096839562]
ドメインの一般化は、1つまたは複数のソースドメインを使用してモデルを適応し、目に見えないターゲットドメインで堅牢なパフォーマンスを保証することを目的としています。
既存のPEFT手法は、事前訓練されたモデルの一般化可能なコンポーネントと学習タスク固有の特徴のバランスをとるのに苦労する。
Singular Value De Minor Components Adaptation (SoMA) を導入する。
論文 参考訳（メタデータ） (2024-12-05T11:17:57Z) - Learn to Preserve and Diversify: Parameter-Efficient Group with Orthogonal Regularization for Domain Generalization [28.977757627384165]
ドメイン・ドメイン(DG)は、限られたトレーニングデータと見つからないテストデータの間の分散シフトが発生したとき、モデルの性能劣化を避けることを目的としている。
近年、膨大なパラメータを持つ基礎モデルは、膨大なデータセットで事前訓練されており、強力な一般化能力を示している。
我々のフレームワークは5つのDGベンチマークでSOTA性能を実現し、テストコストを増すことなく少数のパラメータをトレーニングするのみである。
論文 参考訳（メタデータ） (2024-07-21T07:50:49Z) - Systematic Analysis for Pretrained Language Model Priming for Parameter-Efficient Fine-tuning [45.99877631719761]
本稿では,PE手法の少数ショット適応と一般化能力を高めるための汎用PEプライミングフレームワークを提案する。
我々は160種類のNLPタスクを含む数ショットのクロスドメインベンチマークで実験を行った。
論文 参考訳（メタデータ） (2022-12-02T08:56:53Z) - Learning to Learn Domain-invariant Parameters for Domain Generalization [29.821634033299855]
ドメイン一般化(DG)は、ソースドメインからドメイン不変表現をキャプチャすることでこの問題を克服することを目的としている。
DDC(Domain Decoupling and Combination)とDIGB(Domain-invariance-guided Backpropagation)の2つのモジュールを提案する。
提案手法は,高い一般化能力を有する最先端性能を実現する。
論文 参考訳（メタデータ） (2022-11-04T07:19:34Z) - Variational Model Perturbation for Source-Free Domain Adaptation [64.98560348412518]
確率的枠組みにおける変分ベイズ推定によるモデルパラメータの摂動を導入する。
本研究では,ベイズニューラルネットワークの学習と理論的関連性を実証し,目的領域に対する摂動モデルの一般化可能性を示す。
論文 参考訳（メタデータ） (2022-10-19T08:41:19Z) - Improving Hyperparameter Optimization by Planning Ahead [3.8673630752805432]
本稿では,モデルに基づく強化学習の文脈内で定義された新しい伝達学習手法を提案する。
本稿では,シンプルなルックアヘッド戦略をポリシーとして用いたモデル予測制御法を提案する。
最新のHPOアルゴリズムと比較した3つのメタデータセット実験により,提案手法が全ベースラインを上回り得ることを示す。
論文 参考訳（メタデータ） (2021-10-15T11:46:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。