論文の概要: MedG-KRP: Medical Graph Knowledge Representation Probing

• arxiv url: http://arxiv.org/abs/2412.10982v2
• Date: Tue, 17 Dec 2024 02:06:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:59:13.459123
• Title: MedG-KRP: Medical Graph Knowledge Representation Probing
• Title（参考訳）: MedG-KRP:医学グラフ知識表現探索
• Authors: Gabriel R. Rosenbaum, Lavender Yao Jiang, Ivaxi Sheth, Jaden Stryker, Anton Alyakin, Daniel Alexander Alber, Nicolas K. Goff, Young Joon Fred Kwon, John Markert, Mustafa Nasir-Moin, Jan Moritz Niehues, Karl L. Sangwon, Eunice Yang, Eric Karl Oermann,
• Abstract要約: 大規模言語モデル(LLM)は、最近、強力なツールとして登場し、多くの医学的応用を見つけている。 LLMの生物医学的推論能力を評価するための知識グラフ(KG)に基づく手法を提案する。 GPT-4, Llama3-70b, PalmyraMed-70bは, 特殊な医療モデルである。
• 参考スコア（独自算出の注目度）: 0.6496030410305753
• License:
• Abstract: Large language models (LLMs) have recently emerged as powerful tools, finding many medical applications. LLMs' ability to coalesce vast amounts of information from many sources to generate a response-a process similar to that of a human expert-has led many to see potential in deploying LLMs for clinical use. However, medicine is a setting where accurate reasoning is paramount. Many researchers are questioning the effectiveness of multiple choice question answering (MCQA) benchmarks, frequently used to test LLMs. Researchers and clinicians alike must have complete confidence in LLMs' abilities for them to be deployed in a medical setting. To address this need for understanding, we introduce a knowledge graph (KG)-based method to evaluate the biomedical reasoning abilities of LLMs. Essentially, we map how LLMs link medical concepts in order to better understand how they reason. We test GPT-4, Llama3-70b, and PalmyraMed-70b, a specialized medical model. We enlist a panel of medical students to review a total of 60 LLM-generated graphs and compare these graphs to BIOS, a large biomedical KG. We observe GPT-4 to perform best in our human review but worst in our ground truth comparison; vice-versa with PalmyraMed, the medical model. Our work provides a means of visualizing the medical reasoning pathways of LLMs so they can be implemented in clinical settings safely and effectively.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、最近、強力なツールとして登場し、多くの医学的応用を見つけている。 LLMが多くの情報源から膨大な量の情報を収集し、人間の専門家と同様のプロセスを生成する能力は、臨床用途にLLMを配備する可能性を見出した。 しかし、医学は正確な推論が最優先の分野である。 LLMのテストに頻繁に使用されるMCQA(Multiple choice question answering)ベンチマークの有効性を疑問視する研究者も多い。 研究者や臨床医は、LLMが医療現場に配備される能力に完全に自信を持っていなければならない。 そこで本研究では,LLMの生物医学的推論能力を評価するための知識グラフ(KG)に基づく手法を提案する。 基本的には、LSMが医学的概念をどうリンクするかを地図化し、それらの理由をよりよく理解する。 GPT-4, Llama3-70b, PalmyraMed-70bは, 特殊な医療モデルである。 医学生のパネルで総計60 LLM 生成グラフをレビューし,これらのグラフをバイオメディカル KG である BIOS と比較した。 我々は、GPT-4が人間のレビューにおいて最善を尽くすのを観察するが、地上の真実比較では最悪である。 本研究は, LLMの医学的推論経路を可視化し, 安全かつ効果的に臨床現場で実施するための手段を提供する。

関連論文リスト

• MEG: Medical Knowledge-Augmented Large Language Models for Question Answering [37.3562521243773]
  本稿では,医療知識を付加したLCMのパラメータ効率向上手法であるMEGを提案する。 本手法は,4つの医用マルチチョイスデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2024-11-06T12:57:58Z)
• The Potential of LLMs in Medical Education: Generating Questions and Answers for Qualification Exams [9.802579169561781]
  大規模言語モデル(LLM)は、数発のプロンプトに基づいて、医学的資格試験の質問とそれに対応する回答を生成することができる。 研究によると、LSMは数発のプロンプトを使った後、現実世界の医学試験の質問を効果的に模倣できることがわかった。
  論文  参考訳（メタデータ） (2024-10-31T09:33:37Z)
• MedExQA: Medical Question Answering Benchmark with Multiple Explanations [2.2246416434538308]
  本稿では,MedExQAについて紹介する。MedExQAは,医学的知識に関する大規模言語モデル (LLM) の理解を説明を通じて評価するための,医学的質問応答の新しいベンチマークである。 5つの異なる医療専門分野のデータセットを構築することで、現在の医療QAベンチマークの大きなギャップに対処する。 本研究は、医学LLMにおける説明可能性の重要性を強調し、分類精度以上のモデルを評価する効果的な方法論を提案し、特定の分野である音声言語病理学に光を当てる。
  論文  参考訳（メタデータ） (2024-06-10T14:47:04Z)
• MEDITRON-70B: Scaling Medical Pretraining for Large Language Models [91.25119823784705]
  大きな言語モデル(LLM)は、医療知識へのアクセスを民主化することができる。 医療領域に適応した7Bおよび70BパラメータのオープンソースLLMスイートであるMEDITRONをリリースする。
  論文  参考訳（メタデータ） (2023-11-27T18:49:43Z)
• ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
  我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。 我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
  論文  参考訳（メタデータ） (2023-11-10T12:25:32Z)
• A Survey of Large Language Models in Medicine: Progress, Application, and Challenge [85.09998659355038]
  大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。 本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
  論文  参考訳（メタデータ） (2023-11-09T02:55:58Z)
• Augmenting Black-box LLMs with Medical Textbooks for Biomedical Question Answering (Published in Findings of EMNLP 2024) [48.17095875619711]
  LLMs Augmented with Medical Textbooks (LLM-AMT)を提案する。 LLM-AMTは、プラグイン・アンド・プレイモジュールを使用して、権威ある医学教科書をLLMのフレームワークに統合する。 検索コーパスとしての医学教科書は,医学領域におけるウィキペディアよりも効果的な知識データベースであることが確認された。
  論文  参考訳（メタデータ） (2023-09-05T13:39:38Z)
• MedAlign: A Clinician-Generated Dataset for Instruction Following with Electronic Medical Records [60.35217378132709]
  大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。 医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。 我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
  論文  参考訳（メタデータ） (2023-08-27T12:24:39Z)
• Can large language models build causal graphs? [54.74910640970968]
  大規模言語モデル(LLM)は因果グラフの構築プロセスを容易にする機会である。 LLMは、ユーザが使用する単語、コンテキスト、およびプロンプトの選定に脆弱であることが示されている。
  論文  参考訳（メタデータ） (2023-03-07T22:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。