論文の概要: Name Tagging Under Domain Shift via Metric Learning for Life Sciences

• arxiv url: http://arxiv.org/abs/2401.10472v1
• Date: Fri, 19 Jan 2024 03:49:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 16:53:38.589245
• Title: Name Tagging Under Domain Shift via Metric Learning for Life Sciences
• Title（参考訳）: Metric Learning for Life Sciences によるドメインシフト下での名前タグ付け
• Authors: Hongyi Liu, Qingyun Wang, Payam Karisani, Heng Ji
• Abstract要約: バイオメディカルドメインで訓練された名前タグ付けモデルを強化するための転写学習の適用性について検討する。 このようなモデルをトレーニングするための一般的なプラクティスは、ラベル付きソースデータ上でモデルを事前トレーニングし、ラベル付きターゲットサンプルのハンドフルでそれを微調整することです。 本稿では、ソースドメインからターゲットドメインに知識を転送すると同時に、ソースエンティティとターゲットエンティティを特徴空間の別々の領域に投影するモデルを提案する。
• 参考スコア（独自算出の注目度）: 60.28614660153841
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Name tagging is a key component of Information Extraction (IE), particularly in scientific domains such as biomedicine and chemistry, where large language models (LLMs), e.g., ChatGPT, fall short. We investigate the applicability of transfer learning for enhancing a name tagging model trained in the biomedical domain (the source domain) to be used in the chemical domain (the target domain). A common practice for training such a model in a few-shot learning setting is to pretrain the model on the labeled source data, and then, to finetune it on a hand-full of labeled target examples. In our experiments we observed that such a model is prone to mis-labeling the source entities, which can often appear in the text, as the target entities. To alleviate this problem, we propose a model to transfer the knowledge from the source domain to the target domain, however, at the same time, to project the source entities and target entities into separate regions of the feature space. This diminishes the risk of mis-labeling the source entities as the target entities. Our model consists of two stages: 1) entity grouping in the source domain, which incorporates knowledge from annotated events to establish relations between entities, and 2) entity discrimination in the target domain, which relies on pseudo labeling and contrastive learning to enhance discrimination between the entities in the two domains. We carry out our extensive experiments across three source and three target datasets, and demonstrate that our method outperforms the baselines, in some scenarios by 5\% absolute value.
• Abstract（参考訳）: 名前のタグ付けは情報抽出(IE)の重要な要素であり、特に生物医学や化学などの科学分野では大きな言語モデル(LLM)、例えばChatGPTが不足している。 バイオメディカルドメイン(ソースドメイン)でトレーニングされた名前タグモデルを,化学ドメイン(ターゲットドメイン)で使用するための転写学習の適用性について検討した。 このようなモデルを数ショットの学習環境でトレーニングするための一般的な実践は、ラベル付きソースデータ上でモデルを事前訓練し、ラベル付きターゲットサンプルのハンドフルで微調整することである。 我々の実験では、そのようなモデルは、しばしばテキストに現れるソースエンティティを、ターゲットエンティティとして誤ってラベル付けする傾向があることを観察した。 この問題を軽減するため、我々は、ソースドメインからターゲットドメインへ知識を転送するモデルを提案するが、同時に、ソースエンティティを投影し、ターゲットエンティティを機能空間の別々の領域に投影するモデルを提案する。 これにより、ソースエンティティをターゲットエンティティと誤ラベルするリスクが軽減される。 私たちのモデルは2つの段階からなる。 1) エンティティ間の関係を確立するために注釈付きイベントからの知識を取り入れたソースドメイン内のエンティティグループ化 2) 対象ドメインのエンティティ識別は,2つのドメインのエンティティ間の識別を高めるために,擬似ラベリングとコントラスト学習に依存している。 3つのソースと3つのターゲットデータセットにまたがる広範な実験を行い、いくつかのシナリオにおいて、我々のメソッドがベースラインを5倍の絶対値で上回ることを示す。

関連論文リスト

• Pulling Target to Source: A New Perspective on Domain Adaptive Semantic Segmentation [80.1412989006262]
  ドメイン適応セマンティックセグメンテーションは、ラベル付きソースドメインからラベルなしターゲットドメインに知識を転送することを目的としています。 我々はT2S-DAを提案し、T2S-DAはドメイン適応のためのソースにターゲットを引っ張る形式として解釈する。
  論文  参考訳（メタデータ） (2023-05-23T07:09:09Z)
• Meta-causal Learning for Single Domain Generalization [102.53303707563612]
  単一ドメインの一般化は、単一のトレーニングドメイン(ソースドメイン)からモデルを学び、それを複数の未確認テストドメイン(ターゲットドメイン)に適用することを目的としている。 既存の方法は、ターゲットドメインをカバーするためのトレーニングドメインの配布拡大に重点を置いているが、ソースとターゲットドメイン間のドメインシフトを見積もることはできない。 そこで本研究では,まず,対象ドメインとして補助ドメインを構築することによってドメインシフトをシミュレートし,ドメインシフトの原因を解析し,最終的にモデル適応のためのドメインシフトを低減する,新たな学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-07T15:46:38Z)
• Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。 本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。 提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-25T14:33:33Z)
• Curriculum CycleGAN for Textual Sentiment Domain Adaptation with Multiple Sources [68.31273535702256]
  我々は,C-CycleGAN(C-CycleGAN)という,新しいインスタンスレベルのMDAフレームワークを提案する。 C-CycleGANは、(1)異なるドメインからのテキスト入力を連続的な表現空間にエンコードする事前訓練されたテキストエンコーダ、(2)ソースとターゲットドメイン間のギャップを埋めるカリキュラムインスタンスレベルの適応を伴う中間ドメインジェネレータ、(3)中間ドメインで最終感情分類のために訓練されたタスク分類器の3つのコンポーネントから構成される。 3つのベンチマークデータセットに対して広範な実験を行い、最先端のDAアプローチよりも大幅に向上した。
  論文  参考訳（メタデータ） (2020-11-17T14:50:55Z)
• Learning causal representations for robust domain adaptation [31.261956776418618]
  多くの現実世界のアプリケーションでは、ターゲットのドメインデータが常に利用できるとは限らない。 本稿では,学習段階において対象ドメインデータが利用できない場合について検討する。 本稿では,深層オートエンコーダと因果構造学習を統一モデルに統合したCausal AutoEncoder (CAE)を提案する。
  論文  参考訳（メタデータ） (2020-11-12T11:24:03Z)
• Physically-Constrained Transfer Learning through Shared Abundance Space for Hyperspectral Image Classification [14.840925517957258]
  本稿では、ソースとターゲットドメイン間のギャップを埋める新しい転送学習手法を提案する。 提案手法は,共有空間を経由した物理制約付き移動学習と呼ばれる。
  論文  参考訳（メタデータ） (2020-08-19T17:41:37Z)
• Domain Adaption for Knowledge Tracing [65.86619804954283]
  本稿では,DAKT問題に対処するための新しい適応型フレームワーク,すなわち知識追跡(AKT)を提案する。 まず,Deep Knowledge Trace(DKT)に基づく教育的特徴(スリップ,推測,質問文など)を取り入れ,優れた知識追跡モデルを得る。 第2の側面として、3つのドメイン適応プロセスを提案し、採用する。まず、ターゲットモデルトレーニングに有用なソースインスタンスを選択するために、自動エンコーダを事前訓練する。
  論文  参考訳（メタデータ） (2020-01-14T15:04:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。