論文の概要: Domain Generalization Guided by Large-Scale Pre-Trained Priors
- arxiv url: http://arxiv.org/abs/2406.05628v1
- Date: Sun, 9 Jun 2024 03:32:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 18:56:27.513831
- Title: Domain Generalization Guided by Large-Scale Pre-Trained Priors
- Title(参考訳): 大規模事前学習によるドメインの一般化
- Authors: Zongbin Wang, Bin Pan, Shiyu Shen, Tianyang Shi, Zhenwei Shi,
- Abstract要約: ドメイン一般化(DG)は、限られたソースドメインからモデルをトレーニングすることを目的としており、未知のターゲットドメインに一般化することができる。
大規模事前訓練型ファインチューン(FT-LP)について紹介する。
FT-LPは、事前訓練されたモデルをDG微調整プロセスに前もって組み込んで、各最適化ステップで事前訓練されたモデルを参照することを保証する。
- 参考スコア(独自算出の注目度): 24.74398777539288
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Domain generalization (DG) aims to train a model from limited source domains, allowing it to generalize to unknown target domains. Typically, DG models only employ large-scale pre-trained models during the initialization of fine-tuning. However, large-scale pre-trained models already possess the ability to resist domain shift. If we reference pre-trained models continuously during fine-tuning to maintain this ability, it could further enhance the generalization ability of the DG model. For this purpose, we introduce a new method called Fine-Tune with Large-scale pre-trained Priors (FT-LP), which incorporates the pre-trained model as a prior into the DG fine-tuning process, ensuring that the model refers to its pre-trained model at each optimization step. FT-LP comprises a theoretical framework and a simple implementation strategy. In theory, we verify the rationality of FT-LP by introducing a generalization error bound with the pre-trained priors for DG. In implementation, we utilize an encoder to simulate the model distribution, enabling the use of FT-LP when only pre-trained weights are available. In summary, we offer a new fine-tuning method for DG algorithms to utilize pre-trained models throughout the fine-tuning process. Through experiments on various datasets and DG models, our proposed method exhibits significant improvements, indicating its effectiveness.
- Abstract(参考訳): ドメイン一般化(DG)は、限られたソースドメインからモデルをトレーニングすることを目的としており、未知のターゲットドメインに一般化することができる。
通常、DGモデルは微調整の初期化時にのみ大規模な事前訓練モデルを使用する。
しかし、大規模な事前訓練モデルはすでにドメインシフトに抵抗する能力を持っている。
この能力を維持するために微調整中に事前訓練されたモデルを継続的に参照すれば、DGモデルの一般化能力をさらに高めることができる。
そこで本研究では,事前学習したモデルをDGファインチューニングプロセスに組み込んだFT-LP(Fin-Tune with Large-scale Pre-trained Priors)を提案する。
FT-LPは理論的な枠組みと単純な実装戦略から構成される。
理論上, FT-LP の有理性は, DG の事前学習先と結びついた一般化誤差を導入することによって検証する。
実装では、モデル分布をシミュレートするためにエンコーダを使用し、事前訓練された重みのみを利用できる場合、FT-LPを使用できる。
要約すると、我々はDGアルゴリズムのための新しい微調整方法を提供し、微調整プロセスを通して事前訓練されたモデルを利用する。
各種データセットとDGモデルを用いた実験により,提案手法の有効性が示唆された。
関連論文リスト
- Learn to Preserve and Diversify: Parameter-Efficient Group with Orthogonal Regularization for Domain Generalization [28.977757627384165]
ドメイン・ドメイン(DG)は、限られたトレーニングデータと見つからないテストデータの間の分散シフトが発生したとき、モデルの性能劣化を避けることを目的としている。
近年、膨大なパラメータを持つ基礎モデルは、膨大なデータセットで事前訓練されており、強力な一般化能力を示している。
我々のフレームワークは5つのDGベンチマークでSOTA性能を実現し、テストコストを増すことなく少数のパラメータをトレーニングするのみである。
論文 参考訳(メタデータ) (2024-07-21T07:50:49Z) - Preference Alignment with Flow Matching [23.042382086241364]
優先フローマッチング(PFM)は、好みに基づく強化学習(PbRL)のための新しいフレームワークである
事前訓練されたモデルの任意のクラスへの好みの統合を合理化する。
提案手法の標準PbRL目標との整合性を支持する理論的知見を提供する。
論文 参考訳(メタデータ) (2024-05-30T08:16:22Z) - On the Generalization Ability of Unsupervised Pretraining [53.06175754026037]
教師なし学習の最近の進歩は、教師なし事前学習、および微調整がモデル一般化を改善することを示している。
本稿では、教師なし事前学習中に得られた知識の伝達可能性に影響を及ぼす重要な要因をその後の微調整フェーズに照らす新しい理論的枠組みを提案する。
この結果は教師なし事前学習と微調整のパラダイムの理解を深め、より効果的な事前学習アルゴリズムの設計に光を当てることができる。
論文 参考訳(メタデータ) (2024-03-11T16:23:42Z) - Pre-trained Model Guided Fine-Tuning for Zero-Shot Adversarial Robustness [52.9493817508055]
我々は,モデルがゼロショットの逆方向のロバスト性を高めるために,事前訓練されたモデル誘導逆方向の微調整(PMG-AFT)を提案する。
私たちのアプローチは、平均8.72%のクリーンな精度を継続的に改善します。
論文 参考訳(メタデータ) (2024-01-09T04:33:03Z) - Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。
GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
論文 参考訳(メタデータ) (2023-12-19T06:06:30Z) - An Emulator for Fine-Tuning Large Language Models using Small Language
Models [91.02498576056057]
本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。
EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。
最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
論文 参考訳(メタデータ) (2023-10-19T17:57:16Z) - Predictable MDP Abstraction for Unsupervised Model-Based RL [93.91375268580806]
予測可能なMDP抽象化(PMA)を提案する。
元のMDPで予測モデルを訓練する代わりに、学習されたアクション空間を持つ変換MDPでモデルを訓練する。
我々はPMAを理論的に解析し、PMAが以前の教師なしモデルベースRLアプローチよりも大幅に改善することを示す。
論文 参考訳(メタデータ) (2023-02-08T07:37:51Z) - Gradient Estimation for Unseen Domain Risk Minimization with Pre-Trained
Models [6.3671178249601805]
大規模事前学習モデルは、その一般化力を活用することにより、領域の一般化を促進することができる。
これらの事前訓練されたモデルは、未訓練の目標と目標のタスクの相違により、まだ目標とするタスク固有の知識を欠いている。
本研究では、観測不能な勾配を推定し、目に見えない領域の潜在的なリスクを低減する新しい領域一般化法を提案する。
論文 参考訳(メタデータ) (2023-02-03T02:12:09Z) - SimSCOOD: Systematic Analysis of Out-of-Distribution Generalization in
Fine-tuned Source Code Models [58.78043959556283]
本研究は,Low-Rank Adaptation (LoRA)ファインチューニング手法を含む,異なる微調整手法によるモデルの挙動について検討する。
解析の結果、LoRAファインチューニングは様々なシナリオにおけるフルファインチューニングよりも、OODの一般化性能が大幅に向上していることが判明した。
論文 参考訳(メタデータ) (2022-10-10T16:07:24Z) - Domain Generalization using Pretrained Models without Fine-tuning [25.489714555859944]
微調整事前訓練モデルは、ドメイン一般化(DG)タスクにおいて一般的なプラクティスである。
ドメイン一般化のための特別アンサンブル学習(SEDGE)という,様々な事前学習モデルを活用するための新しいドメイン一般化パラダイムを提案する。
SEDGEは、DGタスクの最先端メソッドを含む強力なベースラインと比較して、大幅なパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2022-03-09T09:33:59Z) - Bridging Pre-trained Models and Downstream Tasks for Source Code
Understanding [13.65914588243695]
本稿では,事前学習されたモデルとコード関連タスクをブリッジする手法を提案する。
我々は、下流データの多様性を豊かにする意味保存変換を利用する。
本稿では,既存の事前学習モデルを微調整するために,変換されたデータを手軽に整理するためのカリキュラム学習を紹介する。
論文 参考訳(メタデータ) (2021-12-04T07:21:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。