論文の概要: Adapting a Language Model While Preserving its General Knowledge
- arxiv url: http://arxiv.org/abs/2301.08986v1
- Date: Sat, 21 Jan 2023 17:57:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-24 15:32:36.681252
- Title: Adapting a Language Model While Preserving its General Knowledge
- Title（参考訳）: 一般知識を保ちつつ言語モデルを適用すること
- Authors: Zixuan Ke, Yijia Shao, Haowei Lin, Hu Xu, Lei Shu and Bing Liu
- Abstract要約: ドメイン適応型事前訓練(または略してDAトレーニング)は、特定のドメインのラベルなしコーパスを使用して訓練済み汎用言語モデル(LM)を訓練することを目的としている。
既存のDAトレーニングメソッドは、LMのどの知識を保存すべきか、ドメインコーパスによって何が変更されるべきなのかを明確に定義していないため、何らかの意味で盲目である。
本稿では,既存の手法が最適以下であることを示し,LMにおける知識のより深い適応を行うための新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 22.083108548675494
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Domain-adaptive pre-training (or DA-training for short), also known as
post-training, aims to train a pre-trained general-purpose language model (LM)
using an unlabeled corpus of a particular domain to adapt the LM so that
end-tasks in the domain can give improved performances. However, existing
DA-training methods are in some sense blind as they do not explicitly identify
what knowledge in the LM should be preserved and what should be changed by the
domain corpus. This paper shows that the existing methods are suboptimal and
proposes a novel method to perform a more informed adaptation of the knowledge
in the LM by (1) soft-masking the attention heads based on their importance to
best preserve the general knowledge in the LM and (2) contrasting the
representations of the general and the full (both general and domain knowledge)
to learn an integrated representation with both general and domain-specific
knowledge. Experimental results will demonstrate the effectiveness of the
proposed approach.
- Abstract（参考訳）: ドメイン適応事前学習(英: domain-adaptive pre-training、略称: da-training)は、特定のドメインのラベルなしコーパスを使用して事前訓練された汎用言語モデル(lm)を訓練することを目的としている。
しかし、既存のDAトレーニングメソッドは、LMのどの知識を保存すべきか、ドメインコーパスによって何が変更されるべきなのかを明確に定義していないため、何らかの意味で盲目である。
本稿では,本手法が最適であることを示すとともに,(1)注意をソフトメイキングすること,(2)一般知識と全知識(一般知識とドメイン知識の両方)の表現を対比して,一般知識とドメイン固有知識の両方を融合した表現を学習することで,LMにおける知識のより情報的な適応を実現する手法を提案する。
実験結果は,提案手法の有効性を示す。
関連論文リスト
- Mix-CPT: A Domain Adaptation Framework via Decoupling Knowledge Learning and Format Alignment [120.06538000214552]
汎用大規模言語モデル(LLM)を特殊なドメインに適応させることは、様々なデータ分散のために大きな課題となる。
そこで我々はMix-CPTと呼ばれるドメイン知識学習と汎用フォーマットアライメントを含む新しいドメイン適応フレームワークを提案する。
提案するMix-CPTフレームワークは,目標領域および一般領域におけるLCMのタスク解決能力を同時に向上させることができる。
論文 参考訳（メタデータ） (2024-07-15T15:20:13Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳（メタデータ） (2024-01-02T16:54:58Z) - Evolving Domain Adaptation of Pretrained Language Models for Text
Classification [24.795214770636534]
進化するドメインシフト(EDS)の中で、時系列テキスト分類に事前訓練された言語モデル(PLM)を適用することは、スタンス検出のようなアプリケーションにおける精度を維持するために重要である。
本研究では, 自己学習, ドメイン・アドバイザリ・トレーニング, ドメイン・アダプティブ・プレトレーニングなど, 進化するドメイン適応(EDA)戦略の有効性を, 漸進的な自己学習手法に焦点をあてて評価する。
論文 参考訳（メタデータ） (2023-11-16T08:28:00Z) - Knowledge Plugins: Enhancing Large Language Models for Domain-Specific
Recommendations [50.81844184210381]
本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。
このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
論文 参考訳（メタデータ） (2023-11-16T07:09:38Z) - Continual Pre-training of Language Models [11.59945701446951]
既存の研究では、ドメインコーパスを使用してLMをドメインに適応させるために、さらに事前トレーニングを行うことで、ドメインのエンドタスク性能が向上することが示されている。
本稿では,未ラベルのドメインコーパスを連続してDAP訓練してこれらのドメインに適応させ,エンドタスク性能を向上させる手法を提案する。
論文 参考訳（メタデータ） (2023-02-07T03:57:55Z) - Prior Knowledge Guided Unsupervised Domain Adaptation [82.9977759320565]
本稿では,対象とするクラス分布に関する事前知識を利用できる知識誘導型非教師付きドメイン適応(KUDA)設定を提案する。
特に,対象領域におけるクラス分布に関する2種類の事前知識について考察する。
このような事前知識を用いて生成した擬似ラベルを精査する修正モジュールを提案する。
論文 参考訳（メタデータ） (2022-07-18T18:41:36Z) - KALA: Knowledge-Augmented Language Model Adaptation [65.92457495576141]
プレトレーニング言語モデル(PLM)のための新しいドメイン適応フレームワークを提案する。
知識拡張言語モデル適応(英: Knowledge-Augmented Language Model Adaptation, KALA)は、PLMの中間的隠れ表現をドメイン知識で修飾する。
計算効率は高いが,我々のKALAは適応型事前学習よりも優れていた。
論文 参考訳（メタデータ） (2022-04-22T08:11:59Z) - Domain-oriented Language Pre-training with Adaptive Hybrid Masking and
Optimal Transport Alignment [43.874781718934486]
我々は、異なるアプリケーションドメインに対して事前訓練された言語モデルを適用するための一般的なドメイン指向のアプローチを提供する。
フレーズ知識を効果的に保存するために,補助訓練ツールとしてドメインフレーズプールを構築した。
我々はクロスエンティティアライメントを導入し、エンティティアライメントを弱い監督力として活用し、事前訓練されたモデルのセマンティックラーニングを強化する。
論文 参考訳（メタデータ） (2021-12-01T15:47:01Z) - Domain Adaption for Knowledge Tracing [65.86619804954283]
本稿では,DAKT問題に対処するための新しい適応型フレームワーク,すなわち知識追跡(AKT)を提案する。
まず,Deep Knowledge Trace(DKT)に基づく教育的特徴(スリップ,推測,質問文など)を取り入れ,優れた知識追跡モデルを得る。
第2の側面として、3つのドメイン適応プロセスを提案し、採用する。まず、ターゲットモデルトレーニングに有用なソースインスタンスを選択するために、自動エンコーダを事前訓練する。
論文 参考訳（メタデータ） (2020-01-14T15:04:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。