Fugu-MT 論文翻訳(概要): Chemical Identification and Indexing in PubMed Articles via BERT and Text-to-Text Approaches

論文の概要: Chemical Identification and Indexing in PubMed Articles via BERT and Text-to-Text Approaches

arxiv url: http://arxiv.org/abs/2111.15622v1
Date: Tue, 30 Nov 2021 18:21:06 GMT
ステータス: 処理完了
システム内更新日: 2021-12-01 14:40:11.002918
Title: Chemical Identification and Indexing in PubMed Articles via BERT and Text-to-Text Approaches
Title（参考訳）: BERTとテキスト・テキスト・アプローチによる公開記事の化学的同定とインデックス化
Authors: Virginia Adams, Hoo-Chang Shin, Carol Anderson, Bo Liu, Anas Abidin
Abstract要約: Biocreative VII Track-2 チャレンジは、名前付きエンティティ認識、エンティティリンク(またはエンティティ正規化)、トピックインデックスタスクで構成される。 BERTベースのBioMegatronモデルで最高の性能を得る。従来のNER法に加えて,新しいテキスト・トゥ・テキストや「プロンプト」をベースとした手法を用いて,名前付きエンティティ認識とエンティティリンクを試みている。
参考スコア（独自算出の注目度）: 3.7462395049372894
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The Biocreative VII Track-2 challenge consists of named entity recognition, entity-linking (or entity-normalization), and topic indexing tasks -- with entities and topics limited to chemicals for this challenge. Named entity recognition is a well-established problem and we achieve our best performance with BERT-based BioMegatron models. We extend our BERT-based approach to the entity linking task. After the second stage of pretraining BioBERT with a metric-learning loss strategy called self-alignment pretraining (SAP), we link entities based on the cosine similarity between their SAP-BioBERT word embeddings. Despite the success of our named entity recognition experiments, we find the chemical indexing task generally more challenging. In addition to conventional NER methods, we attempt both named entity recognition and entity linking with a novel text-to-text or "prompt" based method that uses generative language models such as T5 and GPT. We achieve encouraging results with this new approach.
Abstract（参考訳）: Biocreative VII Track-2 チャレンジは、名前付きエンティティ認識、エンティティリンク(またはエンティティ正規化)、トピックインデックスタスクで構成される。名前付きエンティティ認識は確立された問題であり、BERTベースのBioMegatronモデルで最高の性能を達成する。 BERTベースのアプローチをエンティティリンクタスクに拡張します。 SAP(Self-alignment Pretraining)と呼ばれるメトリクス学習損失戦略でBioBERTを事前訓練した後、SAP-BioBERTワード埋め込みのコサイン類似性に基づいてエンティティをリンクする。命名されたエンティティ認識実験の成功にもかかわらず、化学インデクシングタスクは一般的に困難である。従来の NER 法に加えて,T5 や GPT などの生成言語モデルを用いた新しいテキスト・トゥ・テキストや "prompt" ベースの手法と,名前付きエンティティ認識とエンティティリンクの両方を試みる。我々はこの新しいアプローチで奨励的な結果を得る。

関連論文リスト

Disambiguation of Company names via Deep Recurrent Networks [101.90357454833845]
企業名文字列の埋め込みである教師付き学習を通じて,Siamese LSTM Network を抽出する手法を提案する。私たちは、ラベル付けされるサンプルを優先するActive Learningアプローチが、より効率的な全体的な学習パイプラインをもたらす方法を分析します。
論文参考訳（メタデータ） (2023-03-07T15:07:57Z)
Nested Named Entity Recognition from Medical Texts: An Adaptive Shared Network Architecture with Attentive CRF [53.55504611255664]
ネスト現象によるジレンマを解決するために,ASACと呼ばれる新しい手法を提案する。提案手法は,適応共有(AS)部と注意条件付きランダムフィールド(ACRF)モジュールの2つの鍵モジュールを含む。我々のモデルは、異なるカテゴリのエンティティ間の暗黙の区別と関係をキャプチャすることで、より良いエンティティ表現を学ぶことができる。
論文参考訳（メタデータ） (2022-11-09T09:23:56Z)
Hierarchical Transformer Model for Scientific Named Entity Recognition [0.20646127669654832]
名前付きエンティティ認識のためのシンプルで効果的なアプローチを提案する。提案手法の主な考え方は、入力サブワードシーケンスをBERTのような事前学習された変換器で符号化することである。科学的NERのための3つのベンチマークデータセットに対するアプローチを評価した。
論文参考訳（メタデータ） (2022-03-28T12:59:06Z)
WCL-BBCD: A Contrastive Learning and Knowledge Graph Approach to Named Entity Recognition [15.446770390648874]
WCL-BBCD (Word Contrastive Learning with BERT-BiLSTM-CRF-DBpedia)を提案する。モデルはまずテキスト中の文ペアを訓練し、コサイン類似性により文ペア内の単語間の類似度を計算し、その類似性を通じて名前付きエンティティ認識タスクに使用されるBERTモデルを微調整する。最後に、単語短縮による認識を緩和するため、認識結果を知識グラフなどの事前知識と組み合わせて補正する。
論文参考訳（メタデータ） (2022-03-14T08:29:58Z)
Knowledge-Rich Self-Supervised Entity Linking [58.838404666183656]
Knowledge-RIch Self-Supervision(KRISSBERT$)は400万のUMLSエンティティのためのユニバーサルエンティティリンカーである。提案手法はゼロショット法と少数ショット法を仮定し,利用可能であればエンティティ記述やゴールドレファレンスラベルを簡単に組み込むことができる。ラベル付き情報を一切使わずに400万のUMLSエンティティのためのユニバーサルエンティティリンカである$tt KRISSBERT$を生成する。
論文参考訳（メタデータ） (2021-12-15T05:05:12Z)
Improving Tagging Consistency and Entity Coverage for Chemical Identification in Full-text Articles [17.24298646089662]
本論文は,BioCreative VII Track 2 チャレンジの化学識別タスクに提案されたシステムに関する技術的報告である。タグの一貫性とエンティティカバレッジを様々な手法で改善することを目的としている。課題の公式評価では,ベースラインモデルを大幅に上回り,NERでは1位にランクインした。
論文参考訳（メタデータ） (2021-11-20T13:13:58Z)
Discovering Drug-Target Interaction Knowledge from Biomedical Literature [107.98712673387031]
人体における薬物と標的(DTI)の相互作用は、生物医学や応用において重要な役割を担っている。毎年何百万もの論文がバイオメディカル分野で出回っているので、文学からDTIの知識を自動的に発見することは、業界にとって急激な需要となっている。生成的アプローチを用いて,この課題に対する最初のエンドツーエンドソリューションについて検討する。我々はDTI三重項をシーケンスとみなし、Transformerベースのモデルを使ってエンティティや関係の詳細なアノテーションを使わずに直接生成する。
論文参考訳（メタデータ） (2021-09-27T17:00:14Z)
Fast and Effective Biomedical Entity Linking Using a Dual Encoder [48.86736921025866]
文書中の複数の言及を1ショットで解決するBERTベースのデュアルエンコーダモデルを提案する。本稿では,提案モデルが既存のBERTモデルよりも複数倍高速であり,バイオメディカルエンティティリンクの精度に競争力があることを示す。
論文参考訳（メタデータ） (2021-03-08T19:32:28Z)
A hybrid deep-learning approach for complex biochemical named entity recognition [9.657827522380712]
化学物質と薬物のエンティティ認識(ner)は生化学研究において重要な情報抽出領域である。本稿では,NERの認識精度向上のためのハイブリッド深層学習手法を提案する。
論文参考訳（メタデータ） (2020-12-20T01:30:07Z)
UmlsBERT: Clinical Domain Knowledge Augmentation of Contextual Embeddings Using the Unified Medical Language System Metathesaurus [73.86656026386038]
事前学習プロセス中にドメイン知識を統合するコンテキスト埋め込みモデルであるUmlsBERTを紹介する。これらの2つの戦略を適用することで、UmlsBERTは、臨床領域の知識を単語埋め込みにエンコードし、既存のドメイン固有モデルより優れている。
論文参考訳（メタデータ） (2020-10-20T15:56:31Z)
NLNDE: Enhancing Neural Sequence Taggers with Attention and Noisy Channel for Robust Pharmacological Entity Detection [11.98821166621488]
我々は,BioNLP Open Shared Tasks 2019のPharmaCoNERコンペティションの最初のサブトラックに参加したシステムについて述べる。提案システムは,特に異なる技術を組み合わせることで,有望な結果を達成し,競争において最大88.6%のF1に達する。
論文参考訳（メタデータ） (2020-07-02T11:17:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。