論文の概要: Do AI chatbots find what experts would? Effects of model, user role, and sample size on study retrieval for medical questions
- arxiv url: http://arxiv.org/abs/2608.13786v1
- Date: Thu, 13 Aug 2026 21:38:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.214472
- Title: Do AI chatbots find what experts would? Effects of model, user role, and sample size on study retrieval for medical questions
- Title（参考訳）: AIチャットボットは、専門家が求めるものを見つけるか? : モデル、ユーザロール、サンプルサイズが医学的質問に対する学習検索に及ぼす影響
- Abstract要約: ChatGPT, Claude Sonnet 5, Gemini 3.1 Pro, ChatGPT GPT-5.5の評価を行った。
我々は,2026年のコクラン・データベース・オブ・システマティック・レビュー(英語版)第6号と第7号の20件のレビュー・質問から,臨床的な疑問に適応したモデルを奨励した。
コクランの39.2%$pm$29.8%は研究を含み、5.0%$pm$9.4%は除外された研究である。
- 参考スコア（独自算出の注目度）: 9.17137908309045
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) chatbots are increasingly used to answer clinical questions with citations to relevant clinical studies. Prior research has largely focused on citation fabrication, leaving a gap in evaluating the quality of retrieved studies and the factors driving their selection. In this study, we evaluated three general-purpose LLM chatbots: Claude Sonnet 5, Gemini 3.1 Pro, and ChatGPT GPT-5.5. We prompted the models with clinical questions adapted from 20 review questions in Issues 6 and 7 of the 2026 Cochrane Database of Systematic Reviews, simulating patient, clinician, and evidence-synthesis researcher roles. Each chatbot was queried under each user role with four independent repetitions, yielding 720 responses. Each chatbot was asked to support its answers with primary clinical citations, which we benchmarked against the included and excluded study sets of the Cochrane reviews. On average, a chatbot response retrieved 39.2% $\pm$ 29.8% of Cochrane included studies, while citing 5.0% $\pm$ 9.4% of excluded studies. Recall of Cochrane included studies varied significantly by model and user role. ChatGPT achieved higher recall than Claude or Gemini (63.1% $\pm$ 29.5% vs. 37.0% $\pm$ 23.8% vs. 17.3% $\pm$ 13.1%; $p=2.0\times10^{-5}$). The researcher role yielded higher recall than the clinician or patient roles (42.8% $\pm$ 30.8% vs. 38.6% $\pm$ 28.9% vs. 36.1% $\pm$ 29.3%; $p=2.0\times10^{-5}$). Controlling for publication year, citations per year, and open-access status, sample size was the only independently significant predictor of retrieval (odds ratio 1.80 per 1-unit increase in log sample size, 95% CI 1.37-2.36, $p=2.34\times10^{-5}$). These findings suggest that while LLM chatbots can retrieve some studies identified by expert reviewers, their performance varies by model and user role, and they exhibit a bias toward clinical trials with larger sample sizes.
- Abstract（参考訳）: 大規模言語モデル(LLM)チャットボットは、関連する臨床研究への引用による臨床問題への回答にますます使用される。
従来の研究は、抽出された研究の質とそれらの選択を駆動する要因を評価するためのギャップを残して、引用生成に重点を置いてきた。
本研究では,Claude Sonnet 5, Gemini 3.1 Pro, ChatGPT GPT-5.5の3種類の汎用LLMチャットボットについて検討した。
我々は,2026年のコクランレビューデータベース第6号と第7号のレビュー問題,患者のシミュレート,臨床医,エビデンス・シンセサイザー・研究者の役割から,20件のレビュー質問に適合した臨床質問のモデルを奨励した。
各チャットボットは、4つの独立した繰り返しで各ユーザロールでクエリされ、720のレスポンスが得られた。
各チャットボットは、その回答を一次臨床引用でサポートするよう求められ、コクランレビューの内包および除外された研究セットに対してベンチマークを行った。
平均して、チャットボットの回答は39.2%$\pm$29.8%で、コクランの研究は5.0%$\pm$9.4%だった。
Cochraneのリコールには、モデルとユーザの役割によって大きく異なる研究が含まれている。
ChatGPT は Claude や Gemini よりも高いリコールを達成した(63.1% $\pm$ 29.5% vs. 37.0% $\pm$ 23.8% vs. 17.3% $\pm$ 13.1%; $p=2.0\times10^{-5}$)。
研究者の役割は臨床医や患者よりも高いリコールを得た(42.8%$\pm$30.8%対38.6%$\pm$28.9%対36.1%$\pm$29.3%;$p=2.0\times10^{-5}$)。
出版年、年1回の引用、オープンアクセス状態、サンプルサイズは、単独で重要な検索予測器であった(1ユニット当たり1.80回のログサンプルサイズの増加、95% CI 1.37-2.36, $p=2.34\times10^{-5}$)。
以上の結果から, LLMチャットボットは, 専門家が特定したいくつかの研究を検索できるが, その性能はモデルやユーザの役割によって異なり, より大きなサンプルサイズの臨床試験に対するバイアスが生じることが示唆された。
関連論文リスト
- Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。
すべてのモデルはヒンディー語で最小の精度を達成する。
原因ではなく検索は エラーの70%以上を 引き起こします
論文 参考訳（メタデータ） (2026-05-21T17:42:07Z) - ClinicalBench: Stress-Testing Assertion-Aware Retrieval for Cross-Admission Clinical QA on MIMIC-IV [0.0]
推論ベンチマークはクリーンインプットの臨床的パフォーマンスを測定する。
我々は, 否定, 時間性, 家族反対の帰属が正しい答えを誤ったものに戻すことができる, 実際の EHR ノートを検索することで, 推論の段階を評価する。
EpiKGは、アサーションラベルと時間性タグを患者の知識グラフに格納し、質問意図による検索をルーティングする。
論文 参考訳（メタデータ） (2026-05-11T18:47:52Z) - Same Verdict, Different Reasons: LLM-as-a-Judge and Clinician Disagreement on Medical Chatbot Completeness [49.2667937337333]
不完全な患者の医療反応を検出するために,この仮定をストレステストする。
我々は,2つの臨床診断データセットにわたる3つの粒度(General-Likert,Analytical-Rubric,Dynamic-Checklist)と3つのバックボーンモデルを評価する。
論文 参考訳（メタデータ） (2026-03-26T19:01:55Z) - PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。
我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。
LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
論文 参考訳（メタデータ） (2026-03-02T00:50:39Z) - AI chatbots versus human healthcare professionals: a systematic review and meta-analysis of empathy in patient care [0.10262304700896197]
医療における人工知能(AI)ベースのチャットボットの利用は急速に拡大している。
一部の研究は、AIチャットボットが人間の医療専門家(HCP)よりも共感的に優れていることを示唆している。
我々は,AIチャットボットとヒトHCPを共感尺度で比較する研究のために,複数のデータベースを検索した。
13の研究では、AIに対する感情評価が統計的に有意に高く、皮膚科では人間の反応が好まれる2つの研究しか報告されていない。
論文 参考訳（メタデータ） (2026-02-05T13:09:19Z) - Large language models provide unsafe answers to patient-posed medical questions [0.12568469427065204]
AnthropicによるClaude、GoogleによるGemini、OpenAIによるGPT-4o、MetaによるLlama3-70B、新しいデータセットであるHealthAdviceの4つの公開チャットボットの安全性を比較した。
問題は21.6%(クラド)から43.2%(ラマ)に変化し、安全でない反応は5%(クラド)から13%(GPT-4o, Llama)に変化している。
論文 参考訳（メタデータ） (2025-07-25T02:55:36Z) - Development and Evaluation of HopeBot: an LLM-based chatbot for structured and interactive PHQ-9 depression screening [48.355615275247786]
HopeBotは、PHQ-9(Patent Health Questionnaire-9)を検索強化世代とリアルタイムの明確化を用いて管理する。
内部調査では、英国と中国の132人の成人が、自己管理版とチャットボット版の両方を完成させた。
全体の87.1%は、ホープボットの再利用や推奨を表明している。
論文 参考訳（メタデータ） (2025-07-08T13:41:22Z) - Quriosity: Analyzing Human Questioning Behavior and Causal Inquiry through Curiosity-Driven Queries [92.1651731484397]
本稿では,3つの情報源から自然発生の13.5Kの質問を集めたQuriosityを紹介する。
分析の結果,データセットに因果的疑問(最大42%)が存在することが明らかとなった。
論文 参考訳（メタデータ） (2024-05-30T17:55:28Z) - Performance of ChatGPT-3.5 and GPT-4 on the United States Medical
Licensing Examination With and Without Distractions [17.813396230160095]
本研究は,ChatGPTが提供する医療アドバイスの精度に及ぼす医療データと小話の混合の影響について検討した。
我々は、Mechanical Turkプラットフォームを用いて、人間の参加者から小さな講演文を収集した。
ChatGPT-4は、以前の3.5バージョンよりも正確で、小さな講演では、医療勧告を提供する能力が損なわれていないようである。
論文 参考訳（メタデータ） (2023-09-12T05:54:45Z) - A Generic Deep Learning Based Cough Analysis System from Clinically
Validated Samples for Point-of-Need Covid-19 Test and Severity Levels [85.41238731489939]
臨床検体8,380名を対象に,Covid-19の迅速一次スクリーニングツールの検出性能について検討した。
提案手法は,経験的モード分解(EMD)に基づくアルゴリズムであり,その後に音声特徴量に基づく分類を行う。
DeepCoughの2つの異なるバージョン、すなわちDeepCough2DとDeepCough3Dのテンソル次元について検討した。
論文 参考訳（メタデータ） (2021-11-10T19:39:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。