論文の概要: On the Domain Adaptation and Generalization of Pretrained Language Models: A Survey

• arxiv url: http://arxiv.org/abs/2211.03154v1
• Date: Sun, 6 Nov 2022 15:32:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 16:44:31.280436
• Title: On the Domain Adaptation and Generalization of Pretrained Language Models: A Survey
• Title（参考訳）: 事前学習言語モデルのドメイン適応と一般化について:調査
• Authors: Xu Guo, Han Yu
• Abstract要約: 機械学習システムの観点から,ドメイン適応アプローチの分類法を提案する。 我々はこれらの手法を議論し、比較し、将来有望な研究方向性を提案する。
• 参考スコア（独自算出の注目度）: 15.533482481757353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in NLP are brought by a range of large-scale pretrained language models (PLMs). These PLMs have brought significant performance gains for a range of NLP tasks, circumventing the need to customize complex designs for specific tasks. However, most current work focus on finetuning PLMs on a domain-specific datasets, ignoring the fact that the domain gap can lead to overfitting and even performance drop. Therefore, it is practically important to find an appropriate method to effectively adapt PLMs to a target domain of interest. Recently, a range of methods have been proposed to achieve this purpose. Early surveys on domain adaptation are not suitable for PLMs due to the sophisticated behavior exhibited by PLMs from traditional models trained from scratch and that domain adaptation of PLMs need to be redesigned to take effect. This paper aims to provide a survey on these newly proposed methods and shed light in how to apply traditional machine learning methods to newly evolved and future technologies. By examining the issues of deploying PLMs for downstream tasks, we propose a taxonomy of domain adaptation approaches from a machine learning system view, covering methods for input augmentation, model optimization and personalization. We discuss and compare those methods and suggest promising future research directions.
• Abstract（参考訳）: NLPの最近の進歩は、大規模事前訓練言語モデル(PLM)によってもたらされている。 これらのPLMは、様々なNLPタスクに対して大幅なパフォーマンス向上をもたらし、特定のタスクのために複雑な設計をカスタマイズする必要を回避した。 しかし、現在のほとんどの作業は、ドメイン固有のデータセットにplmを微調整することに集中しており、ドメインのギャップがオーバーフィットやパフォーマンス低下につながるという事実を無視している。 したがって, PLMを対象領域に効果的に適応させる適切な方法を見つけることは事実上重要である。 近年,この目的を達成するために様々な手法が提案されている。 ドメイン適応に関する初期の調査は、スクラッチから訓練された従来のモデルからPLMが示す洗練された振る舞いや、PLMのドメイン適応が効果を発揮するために再設計される必要があるため、PLMに適さない。 本稿では,これらの新手法に関する調査と,従来の機械学習手法を新技術と今後の技術に適用する方法についての光を当てる。 下流タスクにplmを配置する問題を調べることで、機械学習システムの観点から、入力強化、モデル最適化、パーソナライゼーションの方法をカバーする、ドメイン適応アプローチの分類法を提案する。 我々は,これらの手法を議論し,比較し,今後の研究の方向性を示唆する。

関連論文リスト

• Aligning CodeLLMs with Direct Preference Optimization [44.34483822102872]
  この研究はまず、一般的に使われているPPOアルゴリズムがCodeLLMのアライメントに最適であることを示す。 好みデータペアのみに基づいて、DPOはモデルランクデータを自動でレンダリングすることができ、きめ細かい報酬パターンを生み出す。 本研究では,MBPPやHumanEvalなどのベンチマークにおいて,既存のCodeLLMの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-10-24T09:36:13Z)
• The Ultimate Guide to Fine-Tuning LLMs from Basics to Breakthroughs: An Exhaustive Review of Technologies, Research, Best Practices, Applied Research Challenges and Opportunities [0.35998666903987897]
  本稿では,Large Language Models (LLM) の微調整について検討する。 従来の自然言語処理(NLP)モデルから、AIにおける彼らの重要な役割まで、LLMの歴史的進化を概説している。 本報告では, 微調整LDMのための構造化7段パイプラインについて紹介する。
  論文  参考訳（メタデータ） (2024-08-23T14:48:02Z)
• MAPO: Boosting Large Language Model Performance with Model-Adaptive Prompt Optimization [73.7779735046424]
  異なるプロンプトを異なるLarge Language Models (LLM) に適応させることで,NLP の様々な下流タスクにまたがる機能の向上が期待できる。 次に、下流タスクにおける各LLMに対して、元のプロンプトを最適化するモデル適応プロンプト(MAPO)手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:59Z)
• Investigating Continual Pretraining in Large Language Models: Insights and Implications [9.591223887442704]
  本稿では,大規模言語モデル(LLM)における継続学習の進化領域について考察する。 我々の主な重点は、LLMに様々なドメインからの新たな情報を統合する能力を持たせるために設計された、連続的なドメイン適応型事前訓練である。 モデルサイズが学習の効率性や忘れに及ぼす影響や、新興ドメインの進行と類似性がこれらのモデル内の知識伝達に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-02-27T10:47:24Z)
• PANDA: Preference Adaptation for Enhancing Domain-Specific Abilities of LLMs [49.32067576992511]
  大規模言語モデルは、しばしばドメイン固有の最先端モデルによって達成されるパフォーマンスに欠ける。 LLMのドメイン固有の機能を強化する1つの潜在的アプローチは、対応するデータセットを使用してそれらを微調整することである。 LLM(PANDA)のドメイン固有能力を高めるための優先度適応法を提案する。 実験の結果,PANDA はテキスト分類や対話型意思決定タスクにおいて LLM のドメイン固有性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-02-20T09:02:55Z)
• Evolving Domain Adaptation of Pretrained Language Models for Text Classification [24.795214770636534]
  進化するドメインシフト(EDS)の中で、時系列テキスト分類に事前訓練された言語モデル(PLM)を適用することは、スタンス検出のようなアプリケーションにおける精度を維持するために重要である。 本研究では, 自己学習, ドメイン・アドバイザリ・トレーニング, ドメイン・アダプティブ・プレトレーニングなど, 進化するドメイン適応(EDA)戦略の有効性を, 漸進的な自己学習手法に焦点をあてて評価する。
  論文  参考訳（メタデータ） (2023-11-16T08:28:00Z)
• Learning Transferable Conceptual Prototypes for Interpretable Unsupervised Domain Adaptation [79.22678026708134]
  本稿では,Transferable Prototype Learning (TCPL) という,本質的に解釈可能な手法を提案する。 この目的を達成するために、ソースドメインからターゲットドメインにカテゴリの基本概念を転送する階層的なプロトタイプモジュールを設計し、基礎となる推論プロセスを説明するためにドメイン共有プロトタイプを学習する。 総合的な実験により,提案手法は有効かつ直感的な説明を提供するだけでなく,従来の最先端技術よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-12T06:36:41Z)
• Open-Set Domain Adaptation with Visual-Language Foundation Models [51.49854335102149]
  非教師なしドメイン適応(UDA)は、ソースドメインからラベルのないデータを持つターゲットドメインへの知識の転送に非常に効果的であることが証明されている。 オープンセットドメイン適応(ODA)は、トレーニングフェーズ中にこれらのクラスを識別する潜在的なソリューションとして登場した。
  論文  参考訳（メタデータ） (2023-07-30T11:38:46Z)
• Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study [76.52997424694767]
  事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。 PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。 さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T13:20:21Z)
• KALA: Knowledge-Augmented Language Model Adaptation [65.92457495576141]
  プレトレーニング言語モデル(PLM)のための新しいドメイン適応フレームワークを提案する。 知識拡張言語モデル適応(英: Knowledge-Augmented Language Model Adaptation, KALA)は、PLMの中間的隠れ表現をドメイン知識で修飾する。 計算効率は高いが,我々のKALAは適応型事前学習よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-22T08:11:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。