論文の概要: Drug and Disease Interpretation Learning with Biomedical Entity Representation Transformer

• arxiv url: http://arxiv.org/abs/2101.09311v1
• Date: Fri, 22 Jan 2021 20:01:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-20 17:22:20.016741
• Title: Drug and Disease Interpretation Learning with Biomedical Entity Representation Transformer
• Title（参考訳）: 生体組織表現トランスフォーマを用いた薬物・疾患解釈学習
• Authors: Zulfat Miftahutdinov, Artur Kadurin, Roman Kudrin, and Elena Tutubalina
• Abstract要約: 自由形式のテキストにおける概念正規化は、あらゆるテキストマイニングパイプラインにおいて重要なステップです。 微調整BERTアーキテクチャに基づくシンプルで効果的な2段階のニューラルアプローチを提案する。
• 参考スコア（独自算出の注目度）: 9.152161078854146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Concept normalization in free-form texts is a crucial step in every text-mining pipeline. Neural architectures based on Bidirectional Encoder Representations from Transformers (BERT) have achieved state-of-the-art results in the biomedical domain. In the context of drug discovery and development, clinical trials are necessary to establish the efficacy and safety of drugs. We investigate the effectiveness of transferring concept normalization from the general biomedical domain to the clinical trials domain in a zero-shot setting with an absence of labeled data. We propose a simple and effective two-stage neural approach based on fine-tuned BERT architectures. In the first stage, we train a metric learning model that optimizes relative similarity of mentions and concepts via triplet loss. The model is trained on available labeled corpora of scientific abstracts to obtain vector embeddings of concept names and entity mentions from texts. In the second stage, we find the closest concept name representation in an embedding space to a given clinical mention. We evaluated several models, including state-of-the-art architectures, on a dataset of abstracts and a real-world dataset of trial records with interventions and conditions mapped to drug and disease terminologies. Extensive experiments validate the effectiveness of our approach in knowledge transfer from the scientific literature to clinical trials.
• Abstract（参考訳）: 自由形式のテキストにおける概念正規化は、すべてのテキストマイニングパイプラインにおいて重要なステップである。 変換器(BERT)からの双方向エンコーダ表現に基づくニューラルアーキテクチャは、バイオメディカル領域において最先端の結果を得た。 創薬・開発の分野では、医薬品の有効性と安全性を確立するために臨床試験が必要である。 ラベル付きデータがないゼロショット設定において,一般バイオメディカル領域から臨床試験領域への概念正規化の移行の有効性を検討した。 本稿では,微調整bertアーキテクチャに基づく,単純かつ効果的な2段階ニューラルアプローチを提案する。 最初の段階では、三重項損失による言及や概念の相対的類似性を最適化する計量学習モデルを訓練する。 このモデルは、概念名のベクトル埋め込みとテキストからの実体参照を得るために、利用可能なラベル付き科学抽象のコーパスに基づいて訓練される。 第2段階では, 埋め込み空間において, 特定の臨床文献に最も近い概念名表現を見いだす。 我々は,抽象のデータセットや,薬物や疾患の用語にマッピングされた介入や条件を伴う実世界の治験記録データセット上で,最先端のアーキテクチャを含むいくつかのモデルを評価した。 科学的文献から臨床試験への知識伝達における我々のアプローチの有効性を検証する。

関連論文リスト

• Efficient Biomedical Entity Linking: Clinical Text Standardization with Low-Resource Techniques [0.0]
  複数の用語は、臨床エンティティと呼ばれることができる同じコア概念を参照することができる。 UMLS(Unified Medical Language System)のようなオントロジーは、何百万もの臨床エンティティを格納するために開発・維持されている。 そこで本稿では,エンティティの曖昧さを解消するために,コンテキストベースとコンテキストレスの省力化手法を提案する。
  論文  参考訳（メタデータ） (2024-05-24T01:14:33Z)
• A Textbook Remedy for Domain Shifts: Knowledge Priors for Medical Image Analysis [48.84443450990355]
  ディープネットワークは、医学的なスキャンに適用すると、例外のない状況で失敗することが多いため、自然画像の解析において広く成功している。 胸部X線や皮膚病変画像の文脈において、異なる病院から採取したデータや、性別、人種などの人口統計学的変数によって構築されたデータなど、ドメインシフトに対するモデル感度に焦点をあてる。 医学教育からインスピレーションを得て,自然言語で伝達される明示的な医学知識を基盤としたディープネットワークを提案する。
  論文  参考訳（メタデータ） (2024-05-23T17:55:02Z)
• Hierarchical Pretraining for Biomedical Term Embeddings [4.69793648771741]
  階層データに基づく新しいバイオメディカル用語表現モデルであるHiPrBERTを提案する。 HiPrBERTは階層的な情報からペアワイズ距離を効果的に学習し,さらにバイオメディカルな応用に極めて有用な埋め込みを実現できることを示す。
  論文  参考訳（メタデータ） (2023-07-01T08:16:00Z)
• Development and validation of a natural language processing algorithm to pseudonymize documents in the context of a clinical data warehouse [53.797797404164946]
  この研究は、この領域でツールやリソースを共有する際に直面する困難を浮き彫りにしている。 臨床文献のコーパスを12種類に分類した。 私たちは、ディープラーニングモデルと手動ルールの結果をマージして、ハイブリッドシステムを構築します。
  論文  参考訳（メタデータ） (2023-03-23T17:17:46Z)
• Applying unsupervised keyphrase methods on concepts extracted from discharge sheets [7.102620843620572]
  各内容が記録されている部分を特定し、また、臨床テキストから意味を抽出するための重要な概念を特定する必要がある。 本研究では,臨床自然言語処理技術を用いて,これらの課題に対処した。 一般的な教師なしキーフレーズ抽出手法が検証され,評価されている。
  論文  参考訳（メタデータ） (2023-03-15T20:55:25Z)
• Improving the Factual Accuracy of Abstractive Clinical Text Summarization using Multi-Objective Optimization [3.977582258550673]
  本稿では,知識誘導多目的最適化を用いた臨床テキストの抽象的要約の事実的精度向上のためのフレームワークを提案する。 本研究では,知識誘導多目的最適化を用いた臨床テキストの抽象的要約の事実的精度向上のための枠組みを提案する。
  論文  参考訳（メタデータ） (2022-04-02T07:59:28Z)
• Self-supervised Answer Retrieval on Clinical Notes [68.87777592015402]
  本稿では,ドメイン固有パスマッチングのためのトランスフォーマー言語モデルをトレーニングするためのルールベースのセルフスーパービジョンであるCAPRを紹介する。 目的をトランスフォーマーベースの4つのアーキテクチャ、コンテキスト文書ベクトル、ビ-、ポリエンコーダ、クロスエンコーダに適用する。 本稿では,ドメイン固有パスの検索において,CAPRが強いベースラインを上回り,ルールベースおよび人間ラベル付きパスを効果的に一般化することを示す。
  論文  参考訳（メタデータ） (2021-08-02T10:42:52Z)
• Clinical Named Entity Recognition using Contextualized Token Representations [49.036805795072645]
  本稿では,各単語の意味的意味をより正確に把握するために,文脈型単語埋め込み手法を提案する。 言語モデル(C-ELMo)とC-Flair(C-Flair)の2つの深い文脈型言語モデル(C-ELMo)を事前訓練する。 明示的な実験により、静的単語埋め込みとドメインジェネリック言語モデルの両方と比較して、我々のモデルは劇的に改善されている。
  論文  参考訳（メタデータ） (2021-06-23T18:12:58Z)
• A Meta-embedding-based Ensemble Approach for ICD Coding Prediction [64.42386426730695]
  国際疾病分類 (icd) は、世界中で臨床コーディングに使われているデファクトコードである。 これらのコードにより、医療提供者は償還を請求し、診断情報の効率的な保管と検索を容易にします。 提案手法は,日常的な医学データと科学論文の外部知識を用いて,効果的に単語ベクトルを訓練することにより,神経モデルの性能を高める。
  論文  参考訳（メタデータ） (2021-02-26T17:49:58Z)
• UmlsBERT: Clinical Domain Knowledge Augmentation of Contextual Embeddings Using the Unified Medical Language System Metathesaurus [73.86656026386038]
  事前学習プロセス中にドメイン知識を統合するコンテキスト埋め込みモデルであるUmlsBERTを紹介する。 これらの2つの戦略を適用することで、UmlsBERTは、臨床領域の知識を単語埋め込みにエンコードし、既存のドメイン固有モデルより優れている。
  論文  参考訳（メタデータ） (2020-10-20T15:56:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。