論文の概要: EMBRE: Entity-aware Masking for Biomedical Relation Extraction

• arxiv url: http://arxiv.org/abs/2401.07877v1
• Date: Mon, 15 Jan 2024 18:12:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 16:11:04.018303
• Title: EMBRE: Entity-aware Masking for Biomedical Relation Extraction
• Title（参考訳）: EMBRE:生物医学関係抽出のためのエンティティ対応マスキング
• Authors: Mingjie Li and Karin Verspoor
• Abstract要約: 本稿では,関係抽出のためのEMBRE (Entity-Aware Masking for Biomedical Relation extract) 法を提案する。 具体的には、バックボーンモデルとエンティティマスキングの目的を事前学習することにより、エンティティ知識をディープニューラルネットワークに統合する。
• 参考スコア（独自算出の注目度）: 12.821610050561256
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Information extraction techniques, including named entity recognition (NER) and relation extraction (RE), are crucial in many domains to support making sense of vast amounts of unstructured text data by identifying and connecting relevant information. Such techniques can assist researchers in extracting valuable insights. In this paper, we introduce the Entity-aware Masking for Biomedical Relation Extraction (EMBRE) method for biomedical relation extraction, as applied in the context of the BioRED challenge Task 1, in which human-annotated entities are provided as input. Specifically, we integrate entity knowledge into a deep neural network by pretraining the backbone model with an entity masking objective. We randomly mask named entities for each instance and let the model identify the masked entity along with its type. In this way, the model is capable of learning more specific knowledge and more robust representations. Then, we utilize the pre-trained model as our backbone to encode language representations and feed these representations into two multilayer perceptron (MLPs) to predict the logits for relation and novelty, respectively. The experimental results demonstrate that our proposed method can improve the performances of entity pair, relation and novelty extraction over our baseline.
• Abstract（参考訳）: 名前付きエンティティ認識(NER)や関係抽出(RE)などの情報抽出技術は多くのドメインにおいて重要であり、関連情報を識別・接続することで大量の非構造化テキストデータを理解することを支援する。 このような手法は研究者が貴重な洞察を引き出すのに役立つ。 本稿では,バイオメディカルリレーション抽出のためのEntity-Aware Masking for Biomedical Relation extract (EMBRE)法について紹介する。 具体的には、エンティティマスキングの目的にバックボーンモデルを事前トレーニングすることで、エンティティ知識をディープニューラルネットワークに統合する。 各インスタンスに名前付きエンティティをランダムにマスクし、そのタイプとともにモデルにマスク付きエンティティを識別させます。 このように、モデルはより具体的な知識とより堅牢な表現を学ぶことができる。 そして,事前学習モデルを用いて言語表現を符号化し,それらの表現を2つの多層パーセプトロン(MLP)に供給し,関係性および新規性のロジットを予測する。 実験の結果,提案手法はベースライン上でのエンティティペア,関係,ノベルティ抽出の性能を向上させることができることがわかった。

関連論文リスト

• BioMNER: A Dataset for Biomedical Method Entity Recognition [25.403593761614424]
  本稿では,生物医学的手法による実体認識のための新しいデータセットを提案する。 我々は、人間のアノテーションを支援するために、自動的なBioMethodエンティティ認識と情報検索システムを採用している。 実験の結果,言語モデルのパラメータ数が大きくなると,実体抽出パターンの有効同化が著しく阻害されることが判明した。
  論文  参考訳（メタデータ） (2024-06-28T16:34:24Z)
• Learning to Extract Structured Entities Using Language Models [52.281701191329]
  機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。 タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。 我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
  論文  参考訳（メタデータ） (2024-02-06T22:15:09Z)
• MLIP: Enhancing Medical Visual Representation with Divergence Encoder and Knowledge-guided Contrastive Learning [48.97640824497327]
  本稿では、画像テキストのコントラスト学習を通じて、言語情報を視覚領域に統合するための案内信号として、ドメイン固有の医療知識を活用する新しいフレームワークを提案する。 我々のモデルには、設計した分散エンコーダによるグローバルコントラスト学習、局所トークン・知識・パッチアライメントコントラスト学習、知識誘導型カテゴリレベルのコントラスト学習、エキスパートナレッジによるコントラスト学習が含まれる。 特に、MLIPは、限られた注釈付きデータであっても最先端の手法を超越し、医療表現学習の進歩におけるマルチモーダル事前学習の可能性を強調している。
  論文  参考訳（メタデータ） (2024-02-03T05:48:50Z)
• Multi-level biomedical NER through multi-granularity embeddings and enhanced labeling [3.8599767910528917]
  本稿では,複数のモデルの強みを統合するハイブリッドアプローチを提案する。 BERTは、文脈化された単語の埋め込み、文字レベルの情報キャプチャのための事前訓練されたマルチチャネルCNN、およびテキスト内の単語間の依存関係のシーケンスラベリングとモデル化のためのBiLSTM + CRFを提供する。 我々は、ベンチマークi2b2/2010データセットを用いて、F1スコア90.11を達成する。
  論文  参考訳（メタデータ） (2023-12-24T21:45:36Z)
• Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement Learning [53.00683059396803]
  マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。 本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。 本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
  論文  参考訳（メタデータ） (2023-10-06T10:40:46Z)
• UMLS-KGI-BERT: Data-Centric Knowledge Integration in Transformers for Biomedical Entity Recognition [4.865221751784403]
  この研究は、UMLSからテキストシーケンスを抽出することにより、バイオメディカルトランスフォーマーエンコーダLMの言語表現を強化するためのデータ中心パラダイムに寄与する。 予め訓練したLMの拡張およびスクラッチからのトレーニングによる実験の結果から,複数の生物医学的,臨床的な名前付きエンティティ認識(NER)タスクにおける下流性能の向上が示された。
  論文  参考訳（メタデータ） (2023-07-20T18:08:34Z)
• Nested Named Entity Recognition from Medical Texts: An Adaptive Shared Network Architecture with Attentive CRF [53.55504611255664]
  ネスト現象によるジレンマを解決するために,ASACと呼ばれる新しい手法を提案する。 提案手法は,適応共有(AS)部と注意条件付きランダムフィールド(ACRF)モジュールの2つの鍵モジュールを含む。 我々のモデルは、異なるカテゴリのエンティティ間の暗黙の区別と関係をキャプチャすることで、より良いエンティティ表現を学ぶことができる。
  論文  参考訳（メタデータ） (2022-11-09T09:23:56Z)
• Improving Biomedical Pretrained Language Models with Knowledge [22.61591249168801]
  UMLS知識基盤の知識を明示的に活用したバイオメディカルプリトレーニング言語モデル「KeBioLM」を提案します。 具体的には、PubMedアブストラクトからエンティティを抽出し、UMLSにリンクします。 次に、まずテキストのみのエンコーディング層を適用してエンティティ表現を学習し、集合エンティティ表現にテキストエンティティ融合エンコーディングを適用するナレッジアウェア言語モデルを訓練する。
  論文  参考訳（メタデータ） (2021-04-21T03:57:26Z)
• G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification [49.53651166356737]
  診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。 2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
  論文  参考訳（メタデータ） (2021-01-27T19:28:04Z)
• Panoptic Feature Fusion Net: A Novel Instance Segmentation Paradigm for Biomedical and Biological Images [91.41909587856104]
  本稿では,本研究における意味的特徴とインスタンス的特徴を統一するPanoptic Feature Fusion Net(PFFNet)を提案する。 提案するPFFNetには,インスタンス予測を意味的特徴に組み込むための残注意特徴融合機構が組み込まれている。 様々なバイオメディカルおよび生物学的データセットにおいて、最先端のいくつかの手法を上回ります。
  論文  参考訳（メタデータ） (2020-02-15T09:19:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。