論文の概要: Name Tagging Under Domain Shift via Metric Learning for Life Sciences
- arxiv url: http://arxiv.org/abs/2401.10472v1
- Date: Fri, 19 Jan 2024 03:49:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-22 16:53:38.589245
- Title: Name Tagging Under Domain Shift via Metric Learning for Life Sciences
- Title(参考訳): Metric Learning for Life Sciences によるドメインシフト下での名前タグ付け
- Authors: Hongyi Liu, Qingyun Wang, Payam Karisani, Heng Ji
- Abstract要約: バイオメディカルドメインで訓練された名前タグ付けモデルを強化するための転写学習の適用性について検討する。
このようなモデルをトレーニングするための一般的なプラクティスは、ラベル付きソースデータ上でモデルを事前トレーニングし、ラベル付きターゲットサンプルのハンドフルでそれを微調整することです。
本稿では、ソースドメインからターゲットドメインに知識を転送すると同時に、ソースエンティティとターゲットエンティティを特徴空間の別々の領域に投影するモデルを提案する。
- 参考スコア(独自算出の注目度): 60.28614660153841
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Name tagging is a key component of Information Extraction (IE), particularly
in scientific domains such as biomedicine and chemistry, where large language
models (LLMs), e.g., ChatGPT, fall short. We investigate the applicability of
transfer learning for enhancing a name tagging model trained in the biomedical
domain (the source domain) to be used in the chemical domain (the target
domain). A common practice for training such a model in a few-shot learning
setting is to pretrain the model on the labeled source data, and then, to
finetune it on a hand-full of labeled target examples. In our experiments we
observed that such a model is prone to mis-labeling the source entities, which
can often appear in the text, as the target entities. To alleviate this
problem, we propose a model to transfer the knowledge from the source domain to
the target domain, however, at the same time, to project the source entities
and target entities into separate regions of the feature space. This diminishes
the risk of mis-labeling the source entities as the target entities. Our model
consists of two stages: 1) entity grouping in the source domain, which
incorporates knowledge from annotated events to establish relations between
entities, and 2) entity discrimination in the target domain, which relies on
pseudo labeling and contrastive learning to enhance discrimination between the
entities in the two domains. We carry out our extensive experiments across
three source and three target datasets, and demonstrate that our method
outperforms the baselines, in some scenarios by 5\% absolute value.
- Abstract(参考訳): 名前のタグ付けは情報抽出(IE)の重要な要素であり、特に生物医学や化学などの科学分野では大きな言語モデル(LLM)、例えばChatGPTが不足している。
バイオメディカルドメイン(ソースドメイン)でトレーニングされた名前タグモデルを,化学ドメイン(ターゲットドメイン)で使用するための転写学習の適用性について検討した。
このようなモデルを数ショットの学習環境でトレーニングするための一般的な実践は、ラベル付きソースデータ上でモデルを事前訓練し、ラベル付きターゲットサンプルのハンドフルで微調整することである。
我々の実験では、そのようなモデルは、しばしばテキストに現れるソースエンティティを、ターゲットエンティティとして誤ってラベル付けする傾向があることを観察した。
この問題を軽減するため、我々は、ソースドメインからターゲットドメインへ知識を転送するモデルを提案するが、同時に、ソースエンティティを投影し、ターゲットエンティティを機能空間の別々の領域に投影するモデルを提案する。
これにより、ソースエンティティをターゲットエンティティと誤ラベルするリスクが軽減される。
私たちのモデルは2つの段階からなる。
1) エンティティ間の関係を確立するために注釈付きイベントからの知識を取り入れたソースドメイン内のエンティティグループ化
2) 対象ドメインのエンティティ識別は,2つのドメインのエンティティ間の識別を高めるために,擬似ラベリングとコントラスト学習に依存している。
3つのソースと3つのターゲットデータセットにまたがる広範な実験を行い、いくつかのシナリオにおいて、我々のメソッドがベースラインを5倍の絶対値で上回ることを示す。
関連論文リスト
- A Two-Stage Framework with Self-Supervised Distillation For Cross-Domain
Text Classification [63.338588280577106]
クロスドメインテキスト分類は、ラベル付きデータを持たないターゲットドメインにモデルを適応させることを目的としている。
クロスドメインテキスト分類のための2段階フレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-18T06:21:40Z) - Give Me Your Trained Model: Domain Adaptive Semantic Segmentation
without Source Data [63.60200857555127]
対象ドメインにトレーニングされたソースモデルのみを提供するクロスドメインセマンティックセマンティックセマンティクスタスクを提案する。
具体的には、DAS$3$は3つのスキーム、すなわち特徴アライメント、自己学習、情報伝達から構成される。
ドメイン間および都市間駆動データセットの大規模な結果により、ソースデータへのアクセスを必要とするメソッドと同等のDAS$3$が検証される。
論文 参考訳(メタデータ) (2021-06-22T10:21:39Z) - Curriculum CycleGAN for Textual Sentiment Domain Adaptation with
Multiple Sources [68.31273535702256]
我々は,C-CycleGAN(C-CycleGAN)という,新しいインスタンスレベルのMDAフレームワークを提案する。
C-CycleGANは、(1)異なるドメインからのテキスト入力を連続的な表現空間にエンコードする事前訓練されたテキストエンコーダ、(2)ソースとターゲットドメイン間のギャップを埋めるカリキュラムインスタンスレベルの適応を伴う中間ドメインジェネレータ、(3)中間ドメインで最終感情分類のために訓練されたタスク分類器の3つのコンポーネントから構成される。
3つのベンチマークデータセットに対して広範な実験を行い、最先端のDAアプローチよりも大幅に向上した。
論文 参考訳(メタデータ) (2020-11-17T14:50:55Z) - Learning causal representations for robust domain adaptation [31.261956776418618]
多くの現実世界のアプリケーションでは、ターゲットのドメインデータが常に利用できるとは限らない。
本稿では,学習段階において対象ドメインデータが利用できない場合について検討する。
本稿では,深層オートエンコーダと因果構造学習を統一モデルに統合したCausal AutoEncoder (CAE)を提案する。
論文 参考訳(メタデータ) (2020-11-12T11:24:03Z) - Domain Adaptation for Semantic Parsing [68.81787666086554]
本稿では,ドメイン適応のための新しいセマンティクスを提案する。このセマンティクスでは,ソースドメインと比較して,対象ドメインのアノテーション付きデータがはるかに少ない。
我々のセマンティックな利点は、2段階の粗大なフレームワークから得ており、2段階の異なる正確な処理を提供できる。
ベンチマークデータセットの実験により、我々の手法はいくつかの一般的なドメイン適応戦略より一貫して優れていることが示された。
論文 参考訳(メタデータ) (2020-06-23T14:47:41Z) - Multi-source Domain Adaptation for Visual Sentiment Classification [92.53780541232773]
マルチソース・ドメイン適応(MDA)手法をMSGAN(Multi-source Sentiment Generative Adversarial Network)と呼ぶ。
複数のソースドメインからのデータを扱うために、MSGANはソースドメインとターゲットドメインの両方のデータが同じ分布を共有する、統一された感情潜在空間を見つけることを学ぶ。
4つのベンチマークデータセットで実施された大規模な実験により、MSGANは視覚的感情分類のための最先端のMDAアプローチよりも大幅に優れていることが示された。
論文 参考訳(メタデータ) (2020-01-12T08:37:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。