論文の概要: A Benchmark for End-to-End Zero-Shot Biomedical Relation Extraction with LLMs: Experiments with OpenAI Models

• arxiv url: http://arxiv.org/abs/2504.04083v1
• Date: Sat, 05 Apr 2025 07:08:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:12:48.346499
• Title: A Benchmark for End-to-End Zero-Shot Biomedical Relation Extraction with LLMs: Experiments with OpenAI Models
• Title（参考訳）: LLMを用いたエンド・ツー・エンドゼロショットバイオメディカルリレーション抽出のためのベンチマーク:OpenAIモデルによる実験
• Authors: Aviv Brokman, Xuguang Ai, Yuhang Jiang, Shashank Gupta, Ramakanth Kavuluru,
• Abstract要約: バイオメディカルリレーション抽出タスクの多種多様なサンプリングにおいて,OpenAI LLMの性能パターンについて検討した。 ゼロショット性能は微調整法に近いことが判明した。
• 参考スコア（独自算出の注目度）: 7.923208324118286
• License:
• Abstract: Objective: Zero-shot methodology promises to cut down on costs of dataset annotation and domain expertise needed to make use of NLP. Generative large language models trained to align with human goals have achieved high zero-shot performance across a wide variety of tasks. As of yet, it is unclear how well these models perform on biomedical relation extraction (RE). To address this knowledge gap, we explore patterns in the performance of OpenAI LLMs across a diverse sampling of RE tasks. Methods: We use OpenAI GPT-4-turbo and their reasoning model o1 to conduct end-to-end RE experiments on seven datasets. We use the JSON generation capabilities of GPT models to generate structured output in two ways: (1) by defining an explicit schema describing the structure of relations, and (2) using a setting that infers the structure from the prompt language. Results: Our work is the first to study and compare the performance of the GPT-4 and o1 for the end-to-end zero-shot biomedical RE task across a broad array of datasets. We found the zero-shot performances to be proximal to that of fine-tuned methods. The limitations of this approach are that it performs poorly on instances containing many relations and errs on the boundaries of textual mentions. Conclusion: Recent large language models exhibit promising zero-shot capabilities in complex biomedical RE tasks, offering competitive performance with reduced dataset curation and NLP modeling needs at the cost of increased computing, potentially increasing medical community accessibility. Addressing the limitations we identify could further boost reliability. The code, data, and prompts for all our experiments are publicly available: https://github.com/bionlproc/ZeroShotRE
• Abstract（参考訳）: 目的:ゼロショットの方法論は、NLPを使用するために必要なデータセットアノテーションとドメインの専門知識のコストを削減することを約束します。 人間の目標に合わせて訓練された生成的大規模言語モデルは、様々なタスクで高いゼロショット性能を達成した。 現在,これらのモデルが生医学的関係抽出(RE)にどの程度効果があるかは定かではない。 この知識ギャップに対処するために,多種多様なREタスクのサンプリングを通して,OpenAI LLMの性能パターンを探索する。 方法:OpenAI GPT-4-turboとその推論モデルo1を用いて、7つのデータセット上でエンドツーエンドのRE実験を行う。 我々はGPTモデルのJSON生成機能を使って構造化された出力を生成する。(1)関係の構造を記述する明示的なスキーマを定義することにより、(2)プロンプト言語から構造を推論する設定を使用する。 結果:本研究は,幅広いデータセットを対象としたエンドツーエンドのゼロショットバイオメディカルREタスクにおいて,GPT-4とo1の性能を調査,比較した最初のものである。 ゼロショット性能は微調整法に近いことが判明した。 このアプローチの制限は、多くのリレーションシップを含むインスタンスや、テキスト参照の境界におけるerrが不十分であることだ。 結論:最近の大規模言語モデルは、複雑なバイオメディカルREタスクにおいて有望なゼロショット機能を示し、データセットのキュレーションを減らし、NLPモデリングの需要を増大させ、医療コミュニティのアクセシビリティを向上する可能性がある。 識別する制限に対処することで、信頼性をさらに高めることができます。 すべての実験のためのコード、データ、プロンプトは、https://github.com/bionlproc/ZeroShotRE.comで公開されている。

関連論文リスト

• Improving Equity in Health Modeling with GPT4-Turbo Generated Synthetic Data: A Comparative Study [1.85743121594882]
  デモグラフィック群は、しばしば医学データセットで異なるレートで表現される。 これらの違いは機械学習アルゴリズムに偏りを生じさせ、より表現しやすいグループのパフォーマンスが向上する。 1つの有望な解決策は、非表現的データセットの潜在的な悪影響を軽減するために合成データを生成することである。
  論文  参考訳（メタデータ） (2024-12-20T20:49:17Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)
• Improving Entity Recognition Using Ensembles of Deep Learning and Fine-tuned Large Language Models: A Case Study on Adverse Event Extraction from Multiple Sources [13.750202656564907]
  副作用イベント(AE)抽出は、免疫の安全プロファイルを監視し解析するために重要である。 本研究では,AE抽出における大規模言語モデル(LLM)と従来のディープラーニングモデルの有効性を評価することを目的とする。
  論文  参考訳（メタデータ） (2024-06-26T03:56:21Z)
• ExaRanker-Open: Synthetic Explanation for IR using Open-Source LLMs [60.81649785463651]
  ExaRanker-Openを導入し、オープンソース言語モデルを適用して、説明を生成する。 以上の結果から,LLMのサイズが大きくなるにつれて,説明の組み込みが神経ランク付けを継続的に促進することが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-09T11:23:14Z)
• Relation Extraction in underexplored biomedical domains: A diversity-optimised sampling and synthetic data generation approach [0.0]
  ラベル付きデータの空間性は関係抽出モデルの開発に障害となる。 我々は、最初のキュレートされた評価データセットを作成し、LOTUSデータベースから文献項目を抽出し、トレーニングセットを構築する。 我々は,オープンな大規模言語モデルを用いた生成タスクと数ショット学習として,標準微調整の性能を評価する。
  論文  参考訳（メタデータ） (2023-11-10T19:36:00Z)
• BioREx: Improving Biomedical Relation Extraction by Leveraging Heterogeneous Datasets [7.7587371896752595]
  生物医学的関係抽出(RE)は、生物医学的自然言語処理(NLP)研究における中心的な課題である。 本稿では、個々のデータセットのデータの均一性を体系的に解決し、それらを大きなデータセットに組み合わせるための新しいフレームワークを提案する。 評価の結果,BioRExは個々のデータセットでトレーニングしたベンチマークシステムよりも大幅に高い性能を示すことがわかった。
  論文  参考訳（メタデータ） (2023-06-19T22:48:18Z)
• TSGM: A Flexible Framework for Generative Modeling of Synthetic Time Series [61.436361263605114]
  時系列データは、研究者と産業組織間のデータの共有を妨げるため、しばしば不足または非常に敏感である。 本稿では,合成時系列の生成モデリングのためのオープンソースフレームワークである時系列生成モデリング(TSGM)を紹介する。
  論文  参考訳（メタデータ） (2023-05-19T10:11:21Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)
• An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
  放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。 近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。 これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
  論文  参考訳（メタデータ） (2023-04-17T17:13:42Z)
• Does Synthetic Data Generation of LLMs Help Clinical Text Mining? [51.205078179427645]
  臨床テキストマイニングにおけるOpenAIのChatGPTの可能性を検討する。 本稿では,高品質な合成データを大量に生成する新たな学習パラダイムを提案する。 提案手法により,下流タスクの性能が大幅に向上した。
  論文  参考訳（メタデータ） (2023-03-08T03:56:31Z)
• ZeroGen: Efficient Zero-shot Learning via Dataset Generation [28.454620513642034]
  柔軟で効率的なゼロショート学習手法であるZeroGenについて検討する。 ゼロショットタスクが与えられた場合、まず、教師なしの方法で PLM を用いて、スクラッチからデータセットを生成する。 テキスト分類、質問応答、自然言語推論といった異なるNLPタスクの実験と分析は、ZeroGenの有効性を示している。
  論文  参考訳（メタデータ） (2022-02-16T08:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。