論文の概要: Leveraging External Knowledge Resources to Enable Domain-Specific
Comprehension
- arxiv url: http://arxiv.org/abs/2401.07977v1
- Date: Mon, 15 Jan 2024 21:43:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 15:49:38.149336
- Title: Leveraging External Knowledge Resources to Enable Domain-Specific
Comprehension
- Title(参考訳): ドメイン固有の理解を可能にする外部知識資源の活用
- Authors: Saptarshi Sengupta, Connor Heaton, Prasenjit Mitra, Soumalya Sarkar
- Abstract要約: 機械読み取り(MRC)は、NLPの長年の問題である。
汎用テキストコーパスで訓練されたBERT変種は、ドメイン固有のテキストに適用される。
本稿では,知識グラフから抽出した埋め込みと,事前学習した言語モデルの埋め込み空間の整合と統合のための,MLP(Multi-Layer Perceptrons)を用いた手法を提案する。
- 参考スコア(独自算出の注目度): 4.3905207721537804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine Reading Comprehension (MRC) has been a long-standing problem in NLP
and, with the recent introduction of the BERT family of transformer based
language models, it has come a long way to getting solved. Unfortunately,
however, when BERT variants trained on general text corpora are applied to
domain-specific text, their performance inevitably degrades on account of the
domain shift i.e. genre/subject matter discrepancy between the training and
downstream application data. Knowledge graphs act as reservoirs for either open
or closed domain information and prior studies have shown that they can be used
to improve the performance of general-purpose transformers in domain-specific
applications. Building on existing work, we introduce a method using
Multi-Layer Perceptrons (MLPs) for aligning and integrating embeddings
extracted from knowledge graphs with the embeddings spaces of pre-trained
language models (LMs). We fuse the aligned embeddings with open-domain LMs BERT
and RoBERTa, and fine-tune them for two MRC tasks namely span detection
(COVID-QA) and multiple-choice questions (PubMedQA). On the COVID-QA dataset,
we see that our approach allows these models to perform similar to their
domain-specific counterparts, Bio/Sci-BERT, as evidenced by the Exact Match
(EM) metric. With regards to PubMedQA, we observe an overall improvement in
accuracy while the F1 stays relatively the same over the domain-specific
models.
- Abstract(参考訳): 機械読解(machine reading comprehension, mrc)は、nlpの長年にわたる問題であり、最近bertファミリーのトランスフォーマーベースの言語モデルが導入されたことで、解決への道のりが長い。
しかし、一般的なテキストコーパスでトレーニングされたBERT変種がドメイン固有のテキストに適用されると、その性能はドメインシフト、すなわちトレーニングと下流のアプリケーションデータ間のジャンル/オブジェクトの差によって必然的に低下する。
知識グラフは、オープンまたはクローズドなドメイン情報のための貯水池として機能し、先行研究により、ドメイン固有のアプリケーションにおける汎用トランスフォーマーの性能向上に利用できることが示されている。
既存の作業に基づいて,知識グラフから抽出した埋め込みと,事前学習言語モデル(LM)の埋め込み空間の整合と統合を行うための,MLP(Multi-Layer Perceptrons)を用いた手法を提案する。
オープンドメインのLM(BERT)とRoBERTa(RoBERTa)を併用し、検出(COVID-QA)と複数選択(PubMedQA)という2つのMRCタスクを微調整する。
COVID-QAデータセットでは、当社のアプローチによって、Exact Match(EM)メトリックによって証明されているように、これらのモデルが、ドメイン固有のBio/Sci-BERTと同じような動作を可能にすることが分かりました。
PubMedQAに関しては、F1がドメイン固有のモデルと相対的に同じであるのに対して、全体的な精度の向上を観察する。
関連論文リスト
- FEUDA: Frustratingly Easy Prompt Based Unsupervised Domain Adaptation [26.360118193761643]
ラベル付きおよびラベル付きの両方の例で自己回帰的LMを訓練する,フラストレーションに易しいUDA法(FEUDA)を提案する。
我々は,24個の実世界のドメインペアに対して,強力なドメイン不変学習法に対する提案手法の有効性を示す広範囲な実験を行った。
論文 参考訳(メタデータ) (2024-01-31T00:15:34Z) - Adapting Prompt for Few-shot Table-to-Text Generation [24.440701406542928]
AdaPTGen(Adapt-Prompt-to-Generate)という新しいフレームワークを提案する。
ドメイン固有の知識のプロンプトテンプレートをモデルに適応させる。
我々のモデルは流速と精度の両面で優れた性能を発揮する。
論文 参考訳(メタデータ) (2023-02-24T05:48:53Z) - Meta-DMoE: Adapting to Domain Shift by Meta-Distillation from
Mixture-of-Experts [33.21435044949033]
既存のほとんどのメソッドは、単一のモデルを使って複数のソースドメインでトレーニングを行います。
本稿では,知識蒸留プロセスとして定式化された非教師なし試験時間適応のための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-08T02:28:10Z) - META: Mimicking Embedding via oThers' Aggregation for Generalizable
Person Re-identification [68.39849081353704]
Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。
本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
論文 参考訳(メタデータ) (2021-12-16T08:06:50Z) - TAL: Two-stream Adaptive Learning for Generalizable Person
Re-identification [115.31432027711202]
我々は、ドメイン固有性とドメイン不変性の両方が、re-idモデルの一般化能力の向上に不可欠であると主張する。
これら2種類の情報を同時にモデル化するために,2ストリーム適応学習 (TAL) を命名した。
我々のフレームワークは、単一ソースとマルチソースの両方のドメイン一般化タスクに適用できる。
論文 参考訳(メタデータ) (2021-11-29T01:27:42Z) - Unsupervised Domain Adaptation with Adapter [34.22467238579088]
本稿では、教師なしドメイン適応のためのアダプタベースの微調整手法について検討する。
いくつかのトレーニング可能なアダプタモジュールがPrLMに挿入され、元のPrLMのパラメータを固定することで、組み込みの汎用知識が保持される。
2つのベンチマークデータセットに関する実験を行い、その結果、我々のアプローチが異なるタスク、データセットサイズ、ドメインの類似性に対して有効であることを実証した。
論文 参考訳(メタデータ) (2021-11-01T02:50:53Z) - Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。
本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。
提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-03-25T14:33:33Z) - Batch Normalization Embeddings for Deep Domain Generalization [50.51405390150066]
ドメインの一般化は、異なるドメインと見えないドメインで堅牢に実行されるように機械学習モデルをトレーニングすることを目的としている。
一般的な領域一般化ベンチマークにおいて,最先端技術よりも分類精度が著しく向上したことを示す。
論文 参考訳(メタデータ) (2020-11-25T12:02:57Z) - Curriculum CycleGAN for Textual Sentiment Domain Adaptation with
Multiple Sources [68.31273535702256]
我々は,C-CycleGAN(C-CycleGAN)という,新しいインスタンスレベルのMDAフレームワークを提案する。
C-CycleGANは、(1)異なるドメインからのテキスト入力を連続的な表現空間にエンコードする事前訓練されたテキストエンコーダ、(2)ソースとターゲットドメイン間のギャップを埋めるカリキュラムインスタンスレベルの適応を伴う中間ドメインジェネレータ、(3)中間ドメインで最終感情分類のために訓練されたタスク分類器の3つのコンポーネントから構成される。
3つのベンチマークデータセットに対して広範な実験を行い、最先端のDAアプローチよりも大幅に向上した。
論文 参考訳(メタデータ) (2020-11-17T14:50:55Z) - Learning to Combine: Knowledge Aggregation for Multi-Source Domain
Adaptation [56.694330303488435]
マルチソースドメイン適応(LtC-MSDA)フレームワークを併用する学習法を提案する。
簡単に言うと、知識グラフは様々なドメインのプロトタイプ上に構築され、セマンティックに隣接した表現間の情報伝達を実現する。
我々のアプローチは、既存の手法よりも顕著なマージンで優れています。
論文 参考訳(メタデータ) (2020-07-17T07:52:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。