論文の概要: G-MAP: General Memory-Augmented Pre-trained Language Model for Domain Tasks

• arxiv url: http://arxiv.org/abs/2212.03613v2
• Date: Thu, 8 Dec 2022 01:49:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 14:13:53.408499
• Title: G-MAP: General Memory-Augmented Pre-trained Language Model for Domain Tasks
• Title（参考訳）: g-map: ドメインタスクのための一般メモリ型事前学習言語モデル
• Authors: Zhongwei Wan, Yichun Yin, Wei Zhang, Jiaxin Shi, Lifeng Shang, Guangyong Chen, Xin Jiang, Qun Liu
• Abstract要約: G-MAP(General Memory Augmented Pre-trained Language Model)の新たなフレームワークを提案する。 G-MAPは、凍った一般PLMから構築されたメモリ表現によって、一般知識を失うことなくドメイン固有のPLMを増強する。 各種分野(生物・コンピュータ科学出版物,ニュース,レビュー)におけるG-MAPの有効性とタスクの種類(テキスト分類,QA,NER)について示す。
• 参考スコア（独自算出の注目度）: 59.11611889699692
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, domain-specific PLMs have been proposed to boost the task performance of specific domains (e.g., biomedical and computer science) by continuing to pre-train general PLMs with domain-specific corpora. However, this Domain-Adaptive Pre-Training (DAPT; Gururangan et al. (2020)) tends to forget the previous general knowledge acquired by general PLMs, which leads to a catastrophic forgetting phenomenon and sub-optimal performance. To alleviate this problem, we propose a new framework of General Memory Augmented Pre-trained Language Model (G-MAP), which augments the domain-specific PLM by a memory representation built from the frozen general PLM without losing any general knowledge. Specifically, we propose a new memory-augmented layer, and based on it, different augmented strategies are explored to build the memory representation and then adaptively fuse it into the domain-specific PLM. We demonstrate the effectiveness of G-MAP on various domains (biomedical and computer science publications, news, and reviews) and different kinds (text classification, QA, NER) of tasks, and the extensive results show that the proposed G-MAP can achieve SOTA results on all tasks.
• Abstract（参考訳）: 近年、特定のドメイン(例えば、生物医学やコンピュータ科学)のタスク性能を高めるために、ドメイン固有のPLMが提案されている。 しかし、このDomain-Adaptive Pre-Training (DAPT; Gururangan et al. (2020)) は、一般的なPLMが獲得したこれまでの一般的な知識を忘れがちであり、破滅的な忘れ物現象と準最適性能をもたらす。 そこで本研究では,一般の知識を失うことなく,フリーズした一般plmから構築したメモリ表現によってドメイン固有plmを拡張できる汎用メモリ拡張事前学習言語モデル(g-map)の新たなフレームワークを提案する。 具体的には、新しいメモリ表示層を提案し、それに基づいて異なる拡張戦略を検討し、メモリ表現を構築し、それをドメイン固有のplmに適応的に融合する。 我々は,G-MAPが様々な領域(生物・コンピュータ科学出版物,ニュース,レビュー)およびタスクの異なる種類(テキスト分類,QA,NER)において有効であることを示し,提案したG-MAPが全てのタスクにおいてSOTA結果を得ることができることを示す。

関連論文リスト

• Advancing Open-Set Domain Generalization Using Evidential Bi-Level Hardest Domain Scheduler [45.71475375161575]
  Open-Set Domain Generalizationでは、新しいデータ外観(ドメイン)とオープンセット条件の両方でモデルが公開される。 適応型ドメインスケジューラを実現するために,Evidential Bi-Level Hardest Domain Scheduler (EBiL-HaDS)を提案する。
  論文  参考訳（メタデータ） (2024-09-26T05:57:35Z)
• More Than Catastrophic Forgetting: Integrating General Capabilities For Domain-Specific LLMs [40.54076184225558]
  大言語モデル(LLM)がドメイン固有のタスクに微調整された後に、一般的なタスクのパフォーマンスが低下する。 本稿では,一般能力統合(GCI)と呼ばれる,CFを越えたドメイン固有LLMの実適用に向けた課題について述べる。 GCIの目的は、新たに獲得した汎用能力を、新しいドメイン知識と共に保持するだけでなく、両方のスキルセットを結合的に調和して利用して、ドメイン固有のタスクのパフォーマンスを高めることである。
  論文  参考訳（メタデータ） (2024-05-28T05:00:12Z)
• Memory-Efficient Prompt Tuning for Incremental Histopathology Classification [69.46798702300042]
  本稿では,経済的なメモリコストのモデル一般化ポテンシャルを育成するための,メモリ効率の良いプロンプトチューニングフレームワークを提案する。 乳癌転移分類と上皮間質組織分類の2つの病理組織学的タスクにより,我々の枠組みを広く評価した。
  論文  参考訳（メタデータ） (2024-01-22T03:24:45Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• DoGE: Domain Reweighting with Generalization Estimation [42.32000165235568]
  一般化推定(DoGE)を用いたDOmain再重み付けを提案する。 実験では、DoGEがベースモデルの一般化をターゲットデータ混合にどのように改善するかを広範囲に示す。 DoGEはドメイン間の依存関係を効果的に識別することができ、一貫してターゲットドメインにおけるテストの難易度を向上する。
  論文  参考訳（メタデータ） (2023-10-23T22:51:58Z)
• On the Domain Adaptation and Generalization of Pretrained Language Models: A Survey [15.533482481757353]
  機械学習システムの観点から,ドメイン適応アプローチの分類法を提案する。 我々はこれらの手法を議論し、比較し、将来有望な研究方向性を提案する。
  論文  参考訳（メタデータ） (2022-11-06T15:32:00Z)
• Learning to Augment via Implicit Differentiation for Domain Generalization [107.9666735637355]
  ドメイン一般化(DG)は、複数のソースドメインを活用してドメイン一般化可能なモデルを学ぶことで、この問題を克服することを目的としている。 本稿では,AugLearnと呼ばれる新しい拡張型DG手法を提案する。 AugLearnは、PACS、Office-Home、Digits-DGの3つの標準DGベンチマークで効果を示す。
  論文  参考訳（メタデータ） (2022-10-25T18:51:51Z)
• KALA: Knowledge-Augmented Language Model Adaptation [65.92457495576141]
  プレトレーニング言語モデル(PLM)のための新しいドメイン適応フレームワークを提案する。 知識拡張言語モデル適応(英: Knowledge-Augmented Language Model Adaptation, KALA)は、PLMの中間的隠れ表現をドメイン知識で修飾する。 計算効率は高いが,我々のKALAは適応型事前学習よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-22T08:11:59Z)
• META: Mimicking Embedding via oThers' Aggregation for Generalizable Person Re-identification [68.39849081353704]
  Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。 本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T08:06:50Z)
• Amortized Prompt: Lightweight Fine-Tuning for CLIP in Domain Generalization [25.367775241988618]
  ドメインの一般化は、一般化可能なモデルを目に見えない領域に学習することを目的とした、難しい移行学習問題である。 最近のCLIPやGPT-3のような大規模事前学習モデルは、多くの分散シフトに対して堅牢であることが示されている。 本稿では,ドメイン推論の新しい手法としてAP(Amortized Prompt)を提案する。
  論文  参考訳（メタデータ） (2021-11-25T00:25:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。