論文の概要: Generalizing through Forgetting -- Domain Generalization for Symptom Event Extraction in Clinical Notes

• arxiv url: http://arxiv.org/abs/2209.09485v1
• Date: Tue, 20 Sep 2022 05:53:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 18:19:07.127014
• Title: Generalizing through Forgetting -- Domain Generalization for Symptom Event Extraction in Clinical Notes
• Title（参考訳）: クリニカルノートにおける症状イベント抽出のためのドメインの一般化
• Authors: Sitong Zhou, Kevin Lybarger, Meliha Yetisgen Mari Ostendorf
• Abstract要約: プレトレーニングデータと微調整データを用いた症状抽出のための領域一般化を提案する。 ソース領域における頻繁な症状語を動的にマスキングする領域一般化手法を提案する。 実験の結果,対象領域からの距離が遠い場合,マスキングおよび適応型事前学習法により性能が著しく向上することが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Symptom information is primarily documented in free-text clinical notes and is not directly accessible for downstream applications. To address this challenge, information extraction approaches that can handle clinical language variation across different institutions and specialties are needed. In this paper, we present domain generalization for symptom extraction using pretraining and fine-tuning data that differs from the target domain in terms of institution and/or specialty and patient population. We extract symptom events using a transformer-based joint entity and relation extraction method. To reduce reliance on domain-specific features, we propose a domain generalization method that dynamically masks frequent symptoms words in the source domain. Additionally, we pretrain the transformer language model (LM) on task-related unlabeled texts for better representation. Our experiments indicate that masking and adaptive pretraining methods can significantly improve performance when the source domain is more distant from the target domain.
• Abstract（参考訳）: 症状情報は、主にフリーテキストの臨床ノートに記録されており、下流のアプリケーションには直接アクセスできない。 この課題に対処するためには、様々な施設や専門分野にまたがる臨床言語の変化に対処できる情報抽出アプローチが必要である。 本稿では, 施設, 専門, 患者集団の観点から, 対象領域と異なる事前訓練データと微調整データを用いた症状抽出のための領域一般化について述べる。 変圧器を用いたジョイントエンティティと関係抽出法を用いて症状イベントを抽出する。 ドメイン固有の特徴への依存を軽減するため,ソースドメイン内の頻繁な症状語を動的にマスキングする領域一般化手法を提案する。 さらに、より優れた表現のために、タスク関連未ラベルテキスト上でトランスフォーマー言語モデル(LM)を事前訓練する。 実験により,マスキングおよび適応事前学習手法は,ソース領域が対象領域からより遠い場合,性能を著しく向上できることが示唆された。

関連論文リスト

• Source-Free Domain Adaptation for Medical Image Segmentation via Prototype-Anchored Feature Alignment and Contrastive Learning [57.43322536718131]
  医用画像セグメンテーションのための2段階のソースフリードメイン適応(SFDA)フレームワークを提案する。 プロトタイプアンコールされた特徴アライメントの段階では,まず,事前学習した画素ワイド分類器の重みを原プロトタイプとして利用する。 そこで,本研究では,目標となる特徴とクラスプロトタイプとの整合性を期待するコストを最小化し,双方向輸送を導入する。
  論文  参考訳（メタデータ） (2023-07-19T06:07:12Z)
• SwitchPrompt: Learning Domain-Specific Gated Soft Prompts for Classification in Low-Resource Domains [14.096170976149521]
  SwitchPromptは、汎用ドメインからさまざまな低リソースドメインへのデータセットでトレーニングされた言語モデルを適応するための、新しくて軽量なプロンプト手法である。 筆者らは,SwitchPromptを用いた場合の一般領域事前学習言語モデルの有効性を3つのテキスト分類ベンチマークで検証した。 彼らはしばしば、ベースライン・オブ・ザ・アーツ・プロンプト法で訓練されたドメイン固有の手法を最大10.7%の精度で上回っている。
  論文  参考訳（メタデータ） (2023-02-14T07:14:08Z)
• Single-domain Generalization in Medical Image Segmentation via Test-time Adaptation from Shape Dictionary [64.5632303184502]
  ドメインの一般化は通常、モデル学習のために複数のソースドメインからのデータを必要とする。 本稿では,1つのソースドメインのみで最悪のシナリオ下でモデルを学習し,異なる未確認対象ドメインに直接一般化する,重要な単一ドメインの一般化問題について考察する。 本稿では,領域間で不変なセグメンテーションのセグメンテーション先情報を抽出し,統合する医用画像セグメンテーションにおいて,この問題に対処する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-06-29T08:46:27Z)
• Domain-Agnostic Prior for Transfer Semantic Segmentation [197.9378107222422]
  教師なしドメイン適応(UDA)はコンピュータビジョンコミュニティにおいて重要なトピックである。 ドメインに依存しない事前学習(DAP)を用いてドメイン間表現学習を規則化する機構を提案する。 我々の研究は、UDAがより良いプロキシ、おそらく他のデータモダリティの恩恵を受けていることを明らかにしている。
  論文  参考訳（メタデータ） (2022-04-06T09:13:25Z)
• DILBERT: Customized Pre-Training for Domain Adaptation withCategory Shift, with an Application to Aspect Extraction [25.075552473110676]
  事前訓練手順に対する一般的なアプローチは、いくつかのケースでは自然に準最適である。 本稿では,この課題に対処することを目的としたBERTの微調整手法を提案する。 我々は、このスキームをDILBERT: Domain Invariant Learning with BERTと命名し、教師なしドメイン適応設定におけるアスペクト抽出のためにカスタマイズする。
  論文  参考訳（メタデータ） (2021-09-01T18:49:44Z)
• Self-Rule to Adapt: Generalized Multi-source Feature Learning Using Unsupervised Domain Adaptation for Colorectal Cancer Tissue Detection [9.074125289002911]
  教師付き学習はラベル付きデータの可用性によって制限される。 本稿では、自己教師付き学習を利用してドメイン適応を行うSRAを提案する。
  論文  参考訳（メタデータ） (2021-08-20T13:52:33Z)
• Interventional Domain Adaptation [81.0692660794765]
  ドメイン適応(DA)は、ソースドメインからターゲットドメインに学習した差別的特徴を転送することを目的としている。 標準的なドメイン不変学習は、素早い相関に悩まされ、ソース固有性を誤って転送する。 ドメイン固有部分とドメイン共有部分とを区別する反ファクト機能を作成します。
  論文  参考訳（メタデータ） (2020-11-07T09:53:13Z)
• Domain Adversarial Fine-Tuning as an Effective Regularizer [80.14528207465412]
  自然言語処理(NLP)では、下流タスクに転送される事前訓練された言語モデル(LM)が、最先端の結果を得るために最近示されている。 標準的な微調整は、事前トレーニング中にキャプチャされた汎用ドメイン表現を分解することができる。 本稿では,新しい正規化手法である After; 有効正規化器としてのドメイン・アダクショナル・ファイン・チューニングを提案する。
  論文  参考訳（メタデータ） (2020-09-28T14:35:06Z)
• Domain Adaptation for Semantic Parsing [68.81787666086554]
  本稿では,ドメイン適応のための新しいセマンティクスを提案する。このセマンティクスでは,ソースドメインと比較して,対象ドメインのアノテーション付きデータがはるかに少ない。 我々のセマンティックな利点は、2段階の粗大なフレームワークから得ており、2段階の異なる正確な処理を提供できる。 ベンチマークデータセットの実験により、我々の手法はいくつかの一般的なドメイン適応戦略より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-23T14:47:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。