論文の概要: Named Entity Recognition Under Domain Shift via Metric Learning for Life Sciences
- arxiv url: http://arxiv.org/abs/2401.10472v2
- Date: Mon, 1 Apr 2024 03:06:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 09:00:10.847408
- Title: Named Entity Recognition Under Domain Shift via Metric Learning for Life Sciences
- Title（参考訳）: Metric Learning for Life Sciencesによるドメインシフト下でのエンティティ認識
- Authors: Hongyi Liu, Qingyun Wang, Payam Karisani, Heng Ji,
- Abstract要約: 名前付きエンティティ認識モデルの拡張のための転写学習の適用性について検討する。
本モデルでは,(1)アノテートイベントからの知識を付加してエンティティ間の関係を確立するソースドメインにおけるエンティティグループ化,2) 対象ドメインにおけるエンティティの識別を擬似ラベリングとコントラスト学習に頼って,2つのドメイン内のエンティティ間の識別を強化する,という2つの段階で構成されている。
- 参考スコア（独自算出の注目度）: 55.185456382328674
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Named entity recognition is a key component of Information Extraction (IE), particularly in scientific domains such as biomedicine and chemistry, where large language models (LLMs), e.g., ChatGPT, fall short. We investigate the applicability of transfer learning for enhancing a named entity recognition model trained in the biomedical domain (the source domain) to be used in the chemical domain (the target domain). A common practice for training such a model in a few-shot learning setting is to pretrain the model on the labeled source data, and then, to finetune it on a hand-full of labeled target examples. In our experiments, we observed that such a model is prone to mislabeling the source entities, which can often appear in the text, as the target entities. To alleviate this problem, we propose a model to transfer the knowledge from the source domain to the target domain, but, at the same time, to project the source entities and target entities into separate regions of the feature space. This diminishes the risk of mislabeling the source entities as the target entities. Our model consists of two stages: 1) entity grouping in the source domain, which incorporates knowledge from annotated events to establish relations between entities, and 2) entity discrimination in the target domain, which relies on pseudo labeling and contrastive learning to enhance discrimination between the entities in the two domains. We conduct our extensive experiments across three source and three target datasets, demonstrating that our method outperforms the baselines by up to 5% absolute value.
- Abstract（参考訳）: 名前付きエンティティ認識は情報抽出(IE)の重要な要素であり、特に生物医学や化学などの科学領域では、大きな言語モデル(LLM)、例えばChatGPTが不足している。
バイオメディカルドメイン(ソースドメイン)で訓練され、化学ドメイン(ターゲットドメイン)で使用される名前付きエンティティ認識モデルを強化するための転写学習の適用性について検討する。
このようなモデルを数ショットの学習環境でトレーニングするための一般的な実践は、ラベル付きソースデータ上でモデルを事前訓練し、ラベル付きターゲットサンプルのハンドフルで微調整することである。
実験では、そのようなモデルでは、しばしばテキストに現れるソースエンティティをターゲットエンティティとして誤ラベルする傾向があることを観察した。
この問題を軽減するため、ソースドメインからターゲットドメインへの知識伝達モデルを提案するが、同時に、ソースエンティティとターゲットエンティティを特徴空間の別々の領域に投影する。
これにより、ソースエンティティをターゲットエンティティと誤ラベルするリスクが軽減される。
私たちのモデルは2つの段階から構成されます。
1) エンティティ間の関係を確立するために注釈付きイベントからの知識を取り入れたソースドメイン内のエンティティグループ化
2) 対象ドメインのエンティティ識別は,2つのドメインのエンティティ間の識別を高めるために,擬似ラベリングとコントラスト学習に依存している。
3つのソースと3つのターゲットデータセットにまたがって広範な実験を行い、我々の手法が最大5%の絶対値でベースラインを上回ることを示した。
関連論文リスト
- Pulling Target to Source: A New Perspective on Domain Adaptive Semantic
Segmentation [60.78786037080524]
ドメイン適応セマンティックセグメンテーションは、ラベル付きソースドメインからラベルなしターゲットドメインに知識を転送することを目的としています。
我々はT2S-DAを提案し、T2S-DAはドメイン適応のためのソースにターゲットを引っ張る形式として解釈する。
論文 参考訳（メタデータ） (2023-05-23T07:09:09Z) - Meta-causal Learning for Single Domain Generalization [102.53303707563612]
単一ドメインの一般化は、単一のトレーニングドメイン(ソースドメイン)からモデルを学び、それを複数の未確認テストドメイン(ターゲットドメイン)に適用することを目的としている。
既存の方法は、ターゲットドメインをカバーするためのトレーニングドメインの配布拡大に重点を置いているが、ソースとターゲットドメイン間のドメインシフトを見積もることはできない。
そこで本研究では,まず,対象ドメインとして補助ドメインを構築することによってドメインシフトをシミュレートし,ドメインシフトの原因を解析し,最終的にモデル適応のためのドメインシフトを低減する,新たな学習パラダイムを提案する。
論文 参考訳（メタデータ） (2023-04-07T15:46:38Z) - Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。
本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。
提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-03-25T14:33:33Z) - Curriculum CycleGAN for Textual Sentiment Domain Adaptation with
Multiple Sources [68.31273535702256]
我々は,C-CycleGAN(C-CycleGAN)という,新しいインスタンスレベルのMDAフレームワークを提案する。
C-CycleGANは、(1)異なるドメインからのテキスト入力を連続的な表現空間にエンコードする事前訓練されたテキストエンコーダ、(2)ソースとターゲットドメイン間のギャップを埋めるカリキュラムインスタンスレベルの適応を伴う中間ドメインジェネレータ、(3)中間ドメインで最終感情分類のために訓練されたタスク分類器の3つのコンポーネントから構成される。
3つのベンチマークデータセットに対して広範な実験を行い、最先端のDAアプローチよりも大幅に向上した。
論文 参考訳（メタデータ） (2020-11-17T14:50:55Z) - Learning causal representations for robust domain adaptation [31.261956776418618]
多くの現実世界のアプリケーションでは、ターゲットのドメインデータが常に利用できるとは限らない。
本稿では,学習段階において対象ドメインデータが利用できない場合について検討する。
本稿では,深層オートエンコーダと因果構造学習を統一モデルに統合したCausal AutoEncoder (CAE)を提案する。
論文 参考訳（メタデータ） (2020-11-12T11:24:03Z) - Physically-Constrained Transfer Learning through Shared Abundance Space
for Hyperspectral Image Classification [14.840925517957258]
本稿では、ソースとターゲットドメイン間のギャップを埋める新しい転送学習手法を提案する。
提案手法は,共有空間を経由した物理制約付き移動学習と呼ばれる。
論文 参考訳（メタデータ） (2020-08-19T17:41:37Z) - Domain Adaption for Knowledge Tracing [65.86619804954283]
本稿では,DAKT問題に対処するための新しい適応型フレームワーク,すなわち知識追跡(AKT)を提案する。
まず,Deep Knowledge Trace(DKT)に基づく教育的特徴(スリップ,推測,質問文など)を取り入れ,優れた知識追跡モデルを得る。
第2の側面として、3つのドメイン適応プロセスを提案し、採用する。まず、ターゲットモデルトレーニングに有用なソースインスタンスを選択するために、自動エンコーダを事前訓練する。
論文 参考訳（メタデータ） (2020-01-14T15:04:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。