論文の概要: MedPAIR: Measuring Physicians and AI Relevance Alignment in Medical Question Answering

• arxiv url: http://arxiv.org/abs/2505.24040v1
• Date: Thu, 29 May 2025 22:23:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.688142
• Title: MedPAIR: Measuring Physicians and AI Relevance Alignment in Medical Question Answering
• Title（参考訳）: MedPAIR:医学的質問応答における医師とAI関連性アライメントの測定
• Authors: Yuexing Hao, Kumail Alhamoud, Hyewon Jeong, Haoran Zhang, Isha Puri, Philip Torr, Mike Schaekermann, Ariel D. Stern, Marzyeh Ghassemi,
• Abstract要約: 大規模言語モデル (LLM) は様々なQAベンチマークで顕著な性能を示した。 我々は,医師研修生とLCMがQA質問に答える際の関連情報を優先する方法を評価するために,MedPAIRデータセットを導入した。
• 参考スコア（独自算出の注目度）: 29.289606699835293
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable performance on various medical question-answering (QA) benchmarks, including standardized medical exams. However, correct answers alone do not ensure correct logic, and models may reach accurate conclusions through flawed processes. In this study, we introduce the MedPAIR (Medical Dataset Comparing Physicians and AI Relevance Estimation and Question Answering) dataset to evaluate how physician trainees and LLMs prioritize relevant information when answering QA questions. We obtain annotations on 1,300 QA pairs from 36 physician trainees, labeling each sentence within the question components for relevance. We compare these relevance estimates to those for LLMs, and further evaluate the impact of these "relevant" subsets on downstream task performance for both physician trainees and LLMs. We find that LLMs are frequently not aligned with the content relevance estimates of physician trainees. After filtering out physician trainee-labeled irrelevant sentences, accuracy improves for both the trainees and the LLMs. All LLM and physician trainee-labeled data are available at: http://medpair.csail.mit.edu/.
• Abstract（参考訳）: 大言語モデル(LLM)は、標準化された医療試験を含む様々なQAベンチマークで顕著な性能を示した。 しかし、正しい答えだけでは正しい論理は保証されず、モデルが欠陥のあるプロセスを通して正確な結論に達する可能性がある。 そこで本研究では,医師研修生とLCMがQA質問に答える際の関連情報をどのように優先順位付けするかを評価するために,MedPAIRデータセットを提案する。 我々は,36名の医師研修生から1,300対のQA対の注釈を取得し,各文章を質問項目内にラベル付けして関連性を確認した。 これらの関連性評価をLLMと比較し,これらの「関連性」サブセットが医師研修生とLLMの下流作業成績に及ぼす影響を更に評価した。 LLMは,医師研修生のコンテンツ関連性評価と一致しないことが多い。 医師にラベル付けされた無関係な文章をフィルタリングすると、訓練生とLLMの両方の精度が向上する。 LLMおよび医師登録データはすべて、http://medpair.csail.mit.edu/で入手できる。

関連論文リスト

• Fact or Guesswork? Evaluating Large Language Model's Medical Knowledge with Structured One-Hop Judgment [108.55277188617035]
  大規模言語モデル(LLM)は、様々な下流タスクドメインで広く採用されているが、実際の医学的知識を直接呼び起こし適用する能力はいまだ探索されていない。 既存の医療QAベンチマークの多くは、複雑な推論やマルチホップ推論を評価しており、LSM固有の医療知識を推論能力から切り離すことが困難である。 LLMの1ホップの医療知識を測定するために特別に設計されたデータセットであるMedical Knowledge Judgmentを紹介する。
  論文  参考訳（メタデータ） (2025-02-20T05:27:51Z)
• MedExQA: Medical Question Answering Benchmark with Multiple Explanations [2.2246416434538308]
  本稿では,MedExQAについて紹介する。MedExQAは,医学的知識に関する大規模言語モデル (LLM) の理解を説明を通じて評価するための,医学的質問応答の新しいベンチマークである。 5つの異なる医療専門分野のデータセットを構築することで、現在の医療QAベンチマークの大きなギャップに対処する。 本研究は、医学LLMにおける説明可能性の重要性を強調し、分類精度以上のモデルを評価する効果的な方法論を提案し、特定の分野である音声言語病理学に光を当てる。
  論文  参考訳（メタデータ） (2024-06-10T14:47:04Z)
• Performance of large language models in numerical vs. semantic medical knowledge: Benchmarking on evidence-based Q&As [1.0034156461900003]
  大規模言語モデル(LLM)は言語ベースの臨床実践の多くの側面において有望な結果を示す。 包括的医療知識グラフ(50,00以上の査読済み記事から得られたデータ)を用いて「EBMQA」を作成しました。 私たちはこのデータセットを、最先端の2つのLLMであるChat-GPT4とClaude3-Opusについて24,500以上の質問を使ってベンチマークした。 いずれのLLMも数値QAよりもセマンティックに優れており,Claude3は数値QAでGPT4を上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-06-06T08:41:46Z)
• Don't Ignore Dual Logic Ability of LLMs while Privatizing: A Data-Intensive Analysis in Medical Domain [19.46334739319516]
  本研究では, LLMの二重論理能力が, 医療領域の民営化過程における影響について検討した。 以上の結果から,LLMに汎用ドメイン二重論理データを組み込むことによって,LLMの二重論理能力が向上するだけでなく,精度も向上することが示唆された。
  論文  参考訳（メタデータ） (2023-09-08T08:20:46Z)
• Augmenting Black-box LLMs with Medical Textbooks for Biomedical Question Answering [48.17095875619711]
  LLMs Augmented with Medical Textbooks (LLM-AMT)を提案する。 LLM-AMTは、プラグイン・アンド・プレイモジュールを使用して、権威ある医学教科書をLLMのフレームワークに統合する。 検索コーパスとしての医学教科書は,医学領域におけるウィキペディアよりも効果的な知識データベースであることが確認された。
  論文  参考訳（メタデータ） (2023-09-05T13:39:38Z)
• MedAlign: A Clinician-Generated Dataset for Instruction Following with Electronic Medical Records [60.35217378132709]
  大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。 医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。 我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
  論文  参考訳（メタデータ） (2023-08-27T12:24:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。