論文の概要: Knowledge-augmented Pre-trained Language Models for Biomedical Relation Extraction

• arxiv url: http://arxiv.org/abs/2505.00814v1
• Date: Thu, 01 May 2025 19:16:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-05 17:21:19.807353
• Title: Knowledge-augmented Pre-trained Language Models for Biomedical Relation Extraction
• Title（参考訳）: バイオメディカルリレーション抽出のための知識強化事前学習言語モデル
• Authors: Mario Sänger, Ulf Leser,
• Abstract要約: 自動関係抽出(RE)のための微調整事前学習言語モデル(PLM)における追加コンテキスト情報の導入による性能向上に関する研究 本研究は,一貫した評価枠組み内での4つの関係シナリオにまたがる5つのデータセットの文脈情報によって強化されたPLMを評価することで,この研究ギャップに対処する。 文脈情報の導入は, 全体的な改善に留まらず, 微調整中に外部データを含む場合, より小さなPLMに対して大きなメリットが示された。
• 参考スコア（独自算出の注目度）: 3.13957359732631
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic relationship extraction (RE) from biomedical literature is critical for managing the vast amount of scientific knowledge produced each year. In recent years, utilizing pre-trained language models (PLMs) has become the prevalent approach in RE. Several studies report improved performance when incorporating additional context information while fine-tuning PLMs for RE. However, variations in the PLMs applied, the databases used for augmentation, hyper-parameter optimization, and evaluation methods complicate direct comparisons between studies and raise questions about the generalizability of these findings. Our study addresses this research gap by evaluating PLMs enhanced with contextual information on five datasets spanning four relation scenarios within a consistent evaluation framework. We evaluate three baseline PLMs and first conduct extensive hyperparameter optimization. After selecting the top-performing model, we enhance it with additional data, including textual entity descriptions, relational information from knowledge graphs, and molecular structure encodings. Our findings illustrate the importance of i) the choice of the underlying language model and ii) a comprehensive hyperparameter optimization for achieving strong extraction performance. Although inclusion of context information yield only minor overall improvements, an ablation study reveals substantial benefits for smaller PLMs when such external data was included during fine-tuning.
• Abstract（参考訳）: 生物医学文献からの自動関係抽出(RE)は、毎年生産される膨大な量の科学知識を管理するために重要である。 近年,プレトレーニング言語モデル(PLM)の利用がREの主流となっている。 いくつかの研究報告では、REのための微調整PLMにおいて、追加のコンテキスト情報の導入による性能向上が報告されている。 しかしながら, PLMの変動, 拡張, ハイパーパラメータ最適化, 評価手法に使用されるデータベースは, 研究間の直接比較を複雑にし, これらの発見の一般化可能性に関する疑問を提起する。 本研究は,一貫した評価枠組み内での4つの関係シナリオにまたがる5つのデータセットの文脈情報によって強化されたPLMを評価することで,この研究ギャップに対処する。 3つのベースラインPLMを評価し、まず広帯域ハイパーパラメータ最適化を行う。 トップパフォーマンスモデルを選択した後、テキストエンティティ記述、知識グラフからのリレーショナル情報、分子構造エンコーディングなどの追加データで拡張する。 以上の結果から,本研究の重要性が示唆された。 一 基礎となる言語モデルの選択及び選択 二 強力な抽出性能を達成するための総合的ハイパーパラメータ最適化 文脈情報の導入は, 全体的な改善に留まらず, 微調整中に外部データを含む場合, より小さなPLMに対して大きなメリットが示された。

関連論文リスト

• Knowledge Hierarchy Guided Biological-Medical Dataset Distillation for Domain LLM Training [10.701353329227722]
  学術文献から高品質なテキストトレーニングデータの蒸留を自動化する枠組みを提案する。 われわれのアプローチは、バイオメディカル領域とより密接に一致した質問を自己評価し、生成する。 本手法は,生命科学領域の事前学習モデルと比較して,質問応答タスクを大幅に改善する。
  論文  参考訳（メタデータ） (2025-01-25T07:20:44Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• ExaRanker-Open: Synthetic Explanation for IR using Open-Source LLMs [60.81649785463651]
  ExaRanker-Openを導入し、オープンソース言語モデルを適用して、説明を生成する。 以上の結果から,LLMのサイズが大きくなるにつれて,説明の組み込みが神経ランク付けを継続的に促進することが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-09T11:23:14Z)
• Learning to Extract Structured Entities Using Language Models [52.281701191329]
  機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。 タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。 我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
  論文  参考訳（メタデータ） (2024-02-06T22:15:09Z)
• Mining experimental data from Materials Science literature with Large Language Models: an evaluation study [1.9849264945671101]
  本研究は,大規模言語モデル (LLM) の教材科学における科学的資料から構造化情報を抽出する能力を評価することを目的としている。 我々は,情報抽出における2つの重要な課題に焦点をあてる: (i) 研究材料と物性の名前を付けたエンティティ認識(NER) と, (ii) それらのエンティティ間の関係抽出(RE) である。 これらのタスクの実行におけるLCMの性能は、BERTアーキテクチャとルールベースのアプローチ(ベースライン)に基づいて従来のモデルと比較される。
  論文  参考訳（メタデータ） (2024-01-19T23:00:31Z)
• Improving Small Language Models on PubMedQA via Generative Data Augmentation [4.96649519549027]
  大規模言語モデル (LLM) は自然言語処理の分野で顕著な進歩を遂げている。 小型言語モデル(SLM)はその効率で知られているが、限られた能力と訓練データに悩まされることが多い。 医療領域におけるSLMの改善を目的とした,LLMに基づく生成データ拡張を用いた新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-12T23:49:23Z)
• Can LMs Generalize to Future Data? An Empirical Analysis on Text Summarization [50.20034493626049]
  最近の学習済み言語モデル(PLM)は、既存の抽象的な要約データセットにおいて有望な結果をもたらす。 既存の要約ベンチマークは、標準の事前学習コーパスと微調整データセットと時間的に重複する。 要約モデルに格納されたパラメトリック知識は、将来のデータに対する生成した要約の忠実度に大きく影響することを示す。
  論文  参考訳（メタデータ） (2023-05-03T08:08:07Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。