Fugu-MT 論文翻訳(概要): Gradual Fine-Tuning for Low-Resource Domain Adaptation

論文の概要: Gradual Fine-Tuning for Low-Resource Domain Adaptation

arxiv url: http://arxiv.org/abs/2103.02205v1
Date: Wed, 3 Mar 2021 06:24:54 GMT
ステータス: 処理完了
システム内更新日: 2021-03-04 15:03:47.418948
Title: Gradual Fine-Tuning for Low-Resource Domain Adaptation
Title（参考訳）: 低リソース領域適応のための粒度微調整
Authors: Haoran Xu, Seth Ebner, Mahsa Yarmohammadi, Aaron Steven White, Benjamin Van Durme and Kenton Murray
Abstract要約: 微調整はNLPモデルを改善するために知られており、より豊富で少ないドメインの例で訓練された初期モデルをターゲットドメインのデータに適応させることによって知られている。多段階のプロセスにおける段階的な微調整は、さらなる利益をもたらし、モデルや学習目標を変更することなく適用できることを実証する。
参考スコア（独自算出の注目度）: 33.80484557176643
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Fine-tuning is known to improve NLP models by adapting an initial model trained on more plentiful but less domain-salient examples to data in a target domain. Such domain adaptation is typically done using one stage of fine-tuning. We demonstrate that gradually fine-tuning in a multi-stage process can yield substantial further gains and can be applied without modifying the model or learning objective.
Abstract（参考訳）: 微調整はNLPモデルを改善するために知られており、より豊富で少ないドメインの例で訓練された初期モデルをターゲットドメインのデータに適応させることによって知られている。このようなドメイン適応は通常、微調整の1段階を使って行われる。多段階のプロセスにおける段階的な微調整は、さらなる利益をもたらし、モデルや学習目標を変更することなく適用できることを実証する。

関連論文リスト

Domain Generalization Guided by Large-Scale Pre-Trained Priors [24.74398777539288]
ドメイン一般化(DG)は、限られたソースドメインからモデルをトレーニングすることを目的としており、未知のターゲットドメインに一般化することができる。大規模事前訓練型ファインチューン(FT-LP)について紹介する。 FT-LPは、事前訓練されたモデルをDG微調整プロセスに前もって組み込んで、各最適化ステップで事前訓練されたモデルを参照することを保証する。
論文参考訳（メタデータ） (2024-06-09T03:32:32Z)
Mitigate Domain Shift by Primary-Auxiliary Objectives Association for Generalizing Person ReID [39.98444065846305]
ReIDモデルは、インスタンス分類の目的に関するトレーニングを通じてのみドメイン不変表現を学ぶのに苦労します。本稿では,弱いラベル付き歩行者唾液度検出のための補助学習目標を用いて,プライマリReIDインスタンス分類目標のモデル学習を指導する手法を提案する。我々のモデルは、最近のテストタイムダイアグラムで拡張してPAOA+を形成し、補助的な目的に対してオンザフライ最適化を行うことができる。
論文参考訳（メタデータ） (2023-10-24T15:15:57Z)
FD-Align: Feature Discrimination Alignment for Fine-tuning Pre-Trained Models in Few-Shot Learning [21.693779973263172]
本稿では,特徴識別アライメント(FD-Align)と呼ばれる微調整手法を提案する。本手法は,突発的特徴の一貫性を保ち,モデルの一般化可能性を高めることを目的としている。一度微調整すると、モデルは既存のメソッドとシームレスに統合され、パフォーマンスが向上する。
論文参考訳（メタデータ） (2023-10-23T17:12:01Z)
Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文参考訳（メタデータ） (2023-05-18T16:28:29Z)
Gradient-Regulated Meta-Prompt Learning for Generalizable Vision-Language Models [137.74524357614285]
グラディエント・レグルアテッドメタプロンプト学習フレームワークについて紹介する。パラメーターとデータ -- 効率的な方法で下流タスクにモデルを適応させるのに役立つ。 GRAMはモデルに依存しない方法で様々なプロンプトチューニング手法に容易に組み込むことができる。
論文参考訳（メタデータ） (2023-03-12T05:03:37Z)
Normalization Perturbation: A Simple Domain Generalization Method for Real-World Domain Shifts [133.99270341855728]
実世界のドメインスタイルは環境の変化やセンサノイズによって大きく変化する可能性がある。深層モデルはトレーニングドメインスタイルしか知らない。このドメインスタイルのオーバーフィット問題を解決するために,正規化摂動を提案する。
論文参考訳（メタデータ） (2022-11-08T17:36:49Z)
On Fine-Tuned Deep Features for Unsupervised Domain Adaptation [23.18781318003242]
ドメイン適応性能を向上させるために,細調整された特徴と特徴変換に基づくUDA法を組み合わせる可能性について検討した。具体的には、一般的なプログレッシブな擬似ラベリング手法を微調整フレームワークに統合し、微調整された特徴を抽出する。 ResNet-50/101 や DeiT-small/base を含む複数の深層モデルによる実験を行い、微調整された特徴の組み合わせを実証した。
論文参考訳（メタデータ） (2022-10-25T15:07:04Z)
Variational Model Perturbation for Source-Free Domain Adaptation [64.98560348412518]
確率的枠組みにおける変分ベイズ推定によるモデルパラメータの摂動を導入する。本研究では,ベイズニューラルネットワークの学習と理論的関連性を実証し,目的領域に対する摂動モデルの一般化可能性を示す。
論文参考訳（メタデータ） (2022-10-19T08:41:19Z)
A Novel Mix-normalization Method for Generalizable Multi-source Person Re-identification [49.548815417844786]
人物再識別(Re-ID)は、監督されたシナリオにおいて大きな成功を収めた。モデルがソースドメインに過度に適合するため、教師付きモデルを任意の未確認領域に直接転送することは困難である。ドメイン・アウェア・ミックス正規化(DMN)とドメイン・ウェア・センター正規化(DCR)からなるMixNormを提案する。
論文参考訳（メタデータ） (2022-01-24T18:09:38Z)
PERL: Pivot-based Domain Adaptation for Pre-trained Deep Contextualized Embedding Models [20.62501560076402]
PERL: ピボットベースの微調整によるBERTのような文脈型単語埋め込みモデルを拡張した表現学習モデル。 PerLは22の感情分類ドメイン適応設定で強いベースラインを上回ります。効果的に縮小サイズのモデルを生成し、モデルの安定性を高める。
論文参考訳（メタデータ） (2020-06-16T11:14:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。