Fugu-MT 論文翻訳(概要): M-QALM: A Benchmark to Assess Clinical Reading Comprehension and Knowledge Recall in Large Language Models via Question Answering

論文の概要: M-QALM: A Benchmark to Assess Clinical Reading Comprehension and Knowledge Recall in Large Language Models via Question Answering

arxiv url: http://arxiv.org/abs/2406.03699v1
Date: Thu, 6 Jun 2024 02:43:21 GMT
ステータス: 処理完了
システム内更新日: 2024-06-07 18:35:44.964085
Title: M-QALM: A Benchmark to Assess Clinical Reading Comprehension and Knowledge Recall in Large Language Models via Question Answering
Title（参考訳）: M-QALM:質問応答による大規模言語モデルにおける臨床読解と知識リコールの評価ベンチマーク
Authors: Anand Subramanian, Viktor Schlegel, Abhinav Ramesh Kashyap, Thanh-Tung Nguyen, Vijay Prakash Dwivedi, Stefan Winkler,
Abstract要約: 我々は,3つのジェネラリストと3つの専門的なバイオメディカルサブドメインにおいて,22のデータセットに関する大規模な実験研究を行うために,複数選択と抽象質問応答を用いた。 15個のLLMの性能の多面的解析により、リコールや理解の向上につながる命令チューニングなどの成功要因が明らかになった。最近提案されたドメイン適応モデルには十分な知識が欠如している可能性があるが、収集した医療知識データセットを直接微調整することは、奨励的な結果を示している。我々は、必要な知識を単に思い出し、提示された知識と統合するモデルの能力の間に大きなギャップがあることを明らかにする、スキル指向手動エラー解析で定量的結果を補完する。
参考スコア（独自算出の注目度）: 14.198330378235632
License: http://creativecommons.org/licenses/by/4.0/
Abstract: There is vivid research on adapting Large Language Models (LLMs) to perform a variety of tasks in high-stakes domains such as healthcare. Despite their popularity, there is a lack of understanding of the extent and contributing factors that allow LLMs to recall relevant knowledge and combine it with presented information in the clinical and biomedical domain: a fundamental pre-requisite for success on down-stream tasks. Addressing this gap, we use Multiple Choice and Abstractive Question Answering to conduct a large-scale empirical study on 22 datasets in three generalist and three specialist biomedical sub-domains. Our multifaceted analysis of the performance of 15 LLMs, further broken down by sub-domain, source of knowledge and model architecture, uncovers success factors such as instruction tuning that lead to improved recall and comprehension. We further show that while recently proposed domain-adapted models may lack adequate knowledge, directly fine-tuning on our collected medical knowledge datasets shows encouraging results, even generalising to unseen specialist sub-domains. We complement the quantitative results with a skill-oriented manual error analysis, which reveals a significant gap between the models' capabilities to simply recall necessary knowledge and to integrate it with the presented context. To foster research and collaboration in this field we share M-QALM, our resources, standardised methodology, and evaluation results, with the research community to facilitate further advancements in clinical knowledge representation learning within language models.
Abstract（参考訳）: 大規模言語モデル(LLM)を適用して、医療などの高度な領域で様々なタスクを実行するための、鮮明な研究がある。それらの人気にもかかわらず、LLMが関連する知識を思い出し、臨床および生物医学領域における提示された情報と組み合わせることができる範囲の理解と貢献要因が欠如している。このギャップに対処するために、我々は、22のデータセットを3つのジェネラリストと3つの専門的なバイオメディカルサブドメインで大規模に研究するために、Multiple Choice and Abstractive Question Answeringを使用します。 15個のLLMの性能を多面的に分析し、さらに知識とモデルアーキテクチャの源泉であるサブドメインによって分解し、リコールと理解の改善につながる命令チューニングなどの成功要因を明らかにする。さらに、最近提案されたドメイン適応モデルでは十分な知識が不足している可能性があるが、収集した医療知識データセットを直接微調整することで、未確認のサブドメインへの一般化が促進されることを示す。我々は、必要な知識を単に思い出し、提示されたコンテキストと統合するモデルの能力の間に大きなギャップがあることを明らかにする、スキル指向手動エラー分析で定量的結果を補完する。この分野での研究・協力を促進するため、我々は、言語モデルにおける臨床知識表現学習のさらなる進歩を促進するために、M-QALM、我々の資源、標準化された方法論、評価結果を研究コミュニティと共有する。

関連論文リスト

Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community Retrieval [61.70489848327436]
KAREは、知識グラフ(KG)コミュニティレベルの検索と大規模言語モデル(LLM)推論を統合する新しいフレームワークである。 MIMIC-IIIでは最大10.8～15.0%、MIMIC-IVでは12.6～12.7%である。
論文参考訳（メタデータ） (2024-10-06T18:46:28Z)
Diagnostic Reasoning in Natural Language: Computational Model and Application [68.47402386668846]
言語基底タスク(NL-DAR)の文脈における診断誘導推論(DAR)について検討する。パール構造因果モデルに基づくNL-DARの新しいモデリングフレームワークを提案する。得られたデータセットを用いて,NL-DARにおける人間の意思決定過程を解析する。
論文参考訳（メタデータ） (2024-09-09T06:55:37Z)
Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
論文参考訳（メタデータ） (2024-06-11T15:58:59Z)
Mitigating Hallucinations in Large Language Models via Self-Refinement-Enhanced Knowledge Retrieval [14.58181631462891]
大規模言語モデル(LLM)は、様々な領域で顕著な機能を示している。幻覚への感受性は、医療などの重要な分野への展開に重大な課題をもたらす。我々は,LLMの応答の事実性を高めるために,自己精製強化知識グラフ検索法(Re-KGR)を提案する。
論文参考訳（メタデータ） (2024-05-10T15:40:50Z)
A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。 Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。 RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
論文参考訳（メタデータ） (2024-05-10T02:48:45Z)
Quantitative knowledge retrieval from large language models [4.155711233354597]
大規模言語モデル(LLM)は、説得力のある自然言語配列を生成する能力について広く研究されている。本稿では,データ解析作業を支援するための定量的知識検索のメカニズムとして,LLMの実現可能性について検討する。
論文参考訳（メタデータ） (2024-02-12T16:32:37Z)
MedLM: Exploring Language Models for Medical Question Answering Systems [2.84801080855027]
大きな言語モデル(LLM)とその高度な生成能力は、様々なNLPタスクにおいて有望であることを示している。本研究の目的は,医療用Q&Aにおける一般用および医療用蒸留機の性能を比較することである。この知見は、医学領域における特定の用途における異なるLMの適合性に関する貴重な知見を提供する。
論文参考訳（メタデータ） (2024-01-21T03:37:47Z)
Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
論文参考訳（メタデータ） (2023-12-21T14:26:57Z)
Exploring the Cognitive Knowledge Structure of Large Language Models: An Educational Diagnostic Assessment Approach [50.125704610228254]
大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
論文参考訳（メタデータ） (2023-10-12T09:55:45Z)
Large Language Models, scientific knowledge and factuality: A framework to streamline human expert evaluation [0.0]
本研究は,生物医学的背景知識と対話するための大規模言語モデルの可能性を探るものである。フレームワークには3つの評価ステップが含まれており、それぞれが流布、即応的なアライメント、セマンティック・コヒーレンス、事実的知識、生成した応答の特異性という3つの側面を逐次評価する。この研究は、ChatGPT、GPT-4、Llama 2を含む11の最先端のLLMを2つのプロンプトベースタスクで持つ能力に関する体系的な評価を提供する。
論文参考訳（メタデータ） (2023-05-28T22:46:21Z)
Are Large Language Models Ready for Healthcare? A Comparative Study on Clinical Language Understanding [12.128991867050487]
大規模言語モデル(LLM)は、医療を含む様々な分野で大きな進歩を遂げている。本研究では,臨床言語理解タスクの領域における最先端LCMの評価を行った。
論文参考訳（メタデータ） (2023-04-09T16:31:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。