論文の概要: Benchmarking Large Language Models for Biomedical Relation Extraction

• arxiv url: http://arxiv.org/abs/2609.19071v1
• Date: Thu, 23 Jul 2026 05:42:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.611619
• Title: Benchmarking Large Language Models for Biomedical Relation Extraction
• Title（参考訳）: 生物医学関係抽出のための大規模言語モデルのベンチマーク
• Abstract要約: SNPAコーパス上で,SNP,ハイブリッドアーキテクチャ,最先端LLMなどの多様なNLPモデルをベンチマークした。 OpenAI O1は、非微細化文レベル分類のための少数ショット学習を用いて、最先端のSOTA(State-of-the-art)を達成した。 Gemini 2.0 Pro はこのタスクの最初の LLM 評価において最高 (F1 0.60) を達成した。
• 参考スコア（独自算出の注目度）: 3.09837566739141
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Extracting SNP-phenotype associations from biomedical literature is vital but challenging. We benchmarked diverse NLP models, including MLMs, hybrid architectures, and state-of-the-art LLMs (Gemini 2.0, OpenAI O-series, Qwen, Mistral), on the SNPPhenA corpus across three tasks: sentence-level, abstract-level, and association strength classification. OpenAI O1 achieved state-of-the-art (SOTA) results using few-shot learning for non-finetuned sentence-level classification (F1 0.89) and established a new SOTA for abstract-level classification (F1 0.82). Association strength classification proved difficult, though fine-tuned Gemini 2.0 Pro performed best (F1 0.60) in the first LLM evaluation of this task. Proprietary LLMs, especially in few-shot (O1) or fine-tuned (Gemini 2.0 Pro) settings, significantly outperformed other models. These findings confirm the power of modern LLMs for genomic knowledge extraction.
• Abstract（参考訳）: 生物医学文献からSNP-フェノタイプ関連を抽出することは重要であるが困難である。 我々は, SNPPhenAコーパス上で, MLM, ハイブリッドアーキテクチャ, 最先端LPM (Gemini 2.0, OpenAI O-Series, Qwen, Mistral) を含む多種多様なNLPモデルを, 文レベル, 抽象レベル, 関連強度分類の3つのタスクでベンチマークした。 OpenAI O1は、非きめ細かい文レベルの分類(F1 0.89)の少数ショット学習を用いて、最先端(SOTA)の結果を達成し、抽象レベルの分類のための新しいSOTA(F1 0.82)を確立した。 協会の強度の分類は難しいが、細調整されたジェミニ2.0 Proは、このタスクの最初のLCM評価において最高(F1 0.60)を達成した。 特に数ショット (O1) や微調整 (Gemini 2.0 Pro) 設定のプロプライエタリ LLM は、他のモデルよりも大幅に優れていた。 これらの結果から,現代のLLMのゲノム知識抽出能力が確認された。

関連論文リスト

• Binary Token-Level Classification with DeBERTa for All-Type MWE Identification: A Lightweight Approach with Linguistic Enhancement [1.8429656136522097]
  本稿では,バイナリトークンレベルの分類,言語的特徴の統合,データ拡張を組み合わせた,MWE識別のための包括的アプローチを提案する。 我々のDeBERTa-v3大規模モデルは、CoAMデータセット上で69.8%のF1を達成し、このデータセットで最高の結果(Qwen-72B, 57.8% F1)を12ポイント上回り、パラメータは165倍少ない。
  論文  参考訳（メタデータ） (2026-01-27T08:42:54Z)
• Automated Identification of Incidentalomas Requiring Follow-Up: A Multi-Anatomy Evaluation of LLM-Based and Supervised Approaches [5.958100741754613]
  インシデントアロマの微細な病変レベル検出のために,大規模言語モデル(LLM)を教師付きベースラインと比較した。 そこで我々は,病変タグ付き入力と解剖学的認識を用いた新しい推論手法を導入し,基礎モデル推論を推し進めた。 解剖学的インフォームドGPT-OSS-20bモデルが最も高い性能を示し, 奇形腫陽性マクロF1の0.79。
  論文  参考訳（メタデータ） (2025-12-05T08:49:57Z)
• Automated Analysis of Learning Outcomes and Exam Questions Based on Bloom's Taxonomy [0.0]
  本稿では,ブルームの分類に基づく試験質問と学習結果の自動分類について検討する。 6つの認知カテゴリをラベル付けした600文の小さなデータセットを、従来の機械学習(ML)モデルを用いて処理した。
  論文  参考訳（メタデータ） (2025-11-14T02:31:12Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 既存のスケーリングテクニック,特に選択的マージ,および混合の変種をベンチマークする。 次に、異種モデル動物園の選択と集約のための最適な戦略を定式化する。 我々の手法は、マージ可能なモデルのクラスタリング、最適なマージ戦略選択、クラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• LLM-based MOFs Synthesis Condition Extraction using Few-Shot Demonstrations [31.35595673239483]
  大規模言語モデル(LLM)は、この長年の問題に対する破壊的な新しい解決策を提供する。 本稿では,LLMの文脈内学習パラダイムについて紹介する。 提案した少数ショットLLMの合成,構造推定,材料設計性能は,いずれもゼロショットLLMとベースライン法を大きく上回っている。
  論文  参考訳（メタデータ） (2024-08-06T14:53:25Z)
• Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning [52.29522018586365]
  我々は,事前訓練された大規模モデルからより小型のLCMを開発するための効果的な方法として構造化プルーニングについて検討した。 提案手法では,(1)階層,頭部,中間および隠蔽次元をエンド・ツー・エンドに除去することで,より大きなモデルを特定のターゲット形状にプルーニングするターゲット構造化プルーニングと,(2)各トレーニングバッチにおけるサンプルデータの構成を,異なるドメイン間での損失に基づいて動的に更新する動的バッチローディングという2つの重要な手法を用いる。
  論文  参考訳（メタデータ） (2023-10-10T15:13:30Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。