Fugu-MT 論文翻訳(概要): LLMs are not Zero-Shot Reasoners for Biomedical Information Extraction

論文の概要: LLMs are not Zero-Shot Reasoners for Biomedical Information Extraction

arxiv url: http://arxiv.org/abs/2408.12249v1
Date: Thu, 22 Aug 2024 09:37:40 GMT
ステータス: 処理完了
システム内更新日: 2024-08-23 14:33:24.948552
Title: LLMs are not Zero-Shot Reasoners for Biomedical Information Extraction
Title（参考訳）: LLMは生体情報抽出のためのゼロショット共振器ではない
Authors: Aishik Nagar, Viktor Schlegel, Thanh-Tung Nguyen, Hao Li, Yuping Wu, Kuluhan Binici, Stefan Winkler,
Abstract要約: 大規模言語モデル(LLM)は、医療分野のアプリケーションにますます採用されている。 LLMがバイオメディカル領域で伝統的に追求されるタスクでどの程度うまく機能するかは不明である。
参考スコア（独自算出の注目度）: 13.965777046473885
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) are increasingly adopted for applications in healthcare, reaching the performance of domain experts on tasks such as question answering and document summarisation. Despite their success on these tasks, it is unclear how well LLMs perform on tasks that are traditionally pursued in the biomedical domain, such as structured information extration. To breach this gap, in this paper, we systematically benchmark LLM performance in Medical Classification and Named Entity Recognition (NER) tasks. We aim to disentangle the contribution of different factors to the performance, particularly the impact of LLMs' task knowledge and reasoning capabilities, their (parametric) domain knowledge, and addition of external knowledge. To this end we evaluate various open LLMs -- including BioMistral and Llama-2 models -- on a diverse set of biomedical datasets, using standard prompting, Chain-of-Thought (CoT) and Self-Consistency based reasoning as well as Retrieval-Augmented Generation (RAG) with PubMed and Wikipedia corpora. Counter-intuitively, our results reveal that standard prompting consistently outperforms more complex techniques across both tasks, laying bare the limitations in the current application of CoT, self-consistency and RAG in the biomedical domain. Our findings suggest that advanced prompting methods developed for knowledge- or reasoning-intensive tasks, such as CoT or RAG, are not easily portable to biomedical tasks where precise structured outputs are required. This highlights the need for more effective integration of external knowledge and reasoning mechanisms in LLMs to enhance their performance in real-world biomedical applications.
Abstract（参考訳）: 大規模言語モデル(LLM)は、医療分野のアプリケーションにますます採用され、質問応答や文書要約といったタスクにおけるドメインエキスパートのパフォーマンスに到達している。これらのタスクの成功にもかかわらず、構造化情報引き渡しなど、伝統的にバイオメディカル領域で追求されるタスクにおいて、LLMがどの程度うまく機能するかは明らかではない。本稿では,このギャップを突破するために,医学分類と名前付きエンティティ認識(NER)タスクにおけるLCM性能を系統的にベンチマークする。 LLMのタスク知識と推論能力の影響、(パラメトリック)ドメイン知識、外部知識の追加など、パフォーマンスに対するさまざまな要因の貢献を解消することを目的としている。この目的のために、標準プロンプト、CoT(Chain-of-Thought)、自己整合性に基づく推論、PubMedとWikipediaのコーパスを備えたRetrieval-Augmented Generation(RAG)を使用して、BioMistralとLlama-2モデルを含む様々なオープンLLMを、多様なバイオメディカルデータセットに基づいて評価しました。この結果から,CoT,自己整合性,RAGのバイオメディカル領域での応用における限界を克服し,標準化の促進が両タスクのより複雑なテクニックを一貫して上回っていることが明らかとなった。以上の結果から,CoTやRAGのような知識・推論集約的なタスクのために開発された高度なプロンプト法は,正確な構造化出力を必要とするバイオメディカルタスクに容易には適用できないことが示唆された。このことは、現実世界のバイオメディカルアプリケーションの性能を高めるために、LCMにおける外部知識と推論メカニズムのより効果的な統合の必要性を強調している。

関連論文リスト

Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
論文参考訳（メタデータ） (2024-11-14T06:19:18Z)
Demystifying Large Language Models for Medicine: A Primer [50.83806796466396]
大規模言語モデル(LLM)は、医療のさまざまな側面に革命をもたらすことのできる、変革的なAIツールのクラスである。本チュートリアルは、LSMを臨床実践に効果的に統合するために必要なツールを医療専門家に提供することを目的としている。
論文参考訳（メタデータ） (2024-10-24T15:41:56Z)
Unveiling and Consulting Core Experts in Retrieval-Augmented MoE-based LLMs [64.9693406713216]
RAGシステムの有効性に寄与する内部メカニズムは未解明のままである。実験の結果,複数のコアグループの専門家がRAG関連行動に主に関与していることが判明した。本稿では,専門家の活性化を通じてRAGの効率性と有効性を高めるためのいくつかの戦略を提案する。
論文参考訳（メタデータ） (2024-10-20T16:08:54Z)
Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。現在の手法はバイナリ分類に重点を置いており、人間とAIのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
論文参考訳（メタデータ） (2024-10-18T08:14:10Z)
A Survey for Large Language Models in Biomedicine [31.719451674137844]
このレビューは、PubMed、Web of Science、arXivなどのデータベースから得られた484の出版物の分析に基づいている。我々は、診断支援、薬物発見、パーソナライズドメディカル医療を含む幅広いバイオメディカル・タスクにおいて、ゼロショット学習におけるLLMの能力について検討する。データプライバシの懸念、限定されたモデル解釈可能性、データセットの品質の問題、倫理など、LLMがバイオメディシック領域で直面する課題について論じる。
論文参考訳（メタデータ） (2024-08-29T12:39:16Z)
SeRTS: Self-Rewarding Tree Search for Biomedical Retrieval-Augmented Generation [50.26966969163348]
大規模言語モデル(LLM)は,検索増強世代(RAG)の進展に伴い,生物医学領域において大きな可能性を示した。既存の検索強化アプローチは、様々なクエリやドキュメント、特に医療知識クエリに対処する上で、課題に直面している。モンテカルロ木探索(MCTS)と自己回帰パラダイムに基づく自己回帰木探索(SeRTS)を提案する。
論文参考訳（メタデータ） (2024-06-17T06:48:31Z)
Large Language Models Illuminate a Progressive Pathway to Artificial Healthcare Assistant: A Review [16.008511195589925]
大規模言語モデル(LLM)は、人間のレベルの言語理解と推論を模倣する有望な能力を示している。本稿では,医学におけるLSMの応用と意義について概説する。
論文参考訳（メタデータ） (2023-11-03T13:51:36Z)
Inspire the Large Language Model by External Knowledge on BioMedical Named Entity Recognition [3.427366431933441]
大規模言語モデル(LLM)は多くのNLPタスク、特に生成タスクにおいて支配的な性能を示す。 LLMを利用して、バイオメディカルNERタスクをエンティティスパン抽出とエンティティタイプ決定に分解する。実験の結果,2段階のBioNERアプローチでは,以前の数発のLDMベースラインと比較して有意な改善が見られた。
論文参考訳（メタデータ） (2023-09-21T17:39:53Z)
Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文参考訳（メタデータ） (2023-05-30T22:05:11Z)
Large Language Models, scientific knowledge and factuality: A framework to streamline human expert evaluation [0.0]
本研究は,生物医学的背景知識と対話するための大規模言語モデルの可能性を探るものである。フレームワークには3つの評価ステップが含まれており、それぞれが流布、即応的なアライメント、セマンティック・コヒーレンス、事実的知識、生成した応答の特異性という3つの側面を逐次評価する。この研究は、ChatGPT、GPT-4、Llama 2を含む11の最先端のLLMを2つのプロンプトベースタスクで持つ能力に関する体系的な評価を提供する。
論文参考訳（メタデータ） (2023-05-28T22:46:21Z)
Large Language Models for Biomedical Knowledge Graph Construction: Information extraction from EMR notes [0.0]
大規模言語モデル(LLM)に基づくエンドツーエンド機械学習ソリューションを提案する。 KG構築プロセスで使用される物質は、疾患、因子、治療、および疾患を経験中に患者と共存する症状である。提案手法の応用は加齢に伴う黄斑変性に対して実証される。
論文参考訳（メタデータ） (2023-01-29T15:52:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。