論文の概要: A Scalable Approach to Benchmarking the In-Conversation Differential Diagnostic Accuracy of a Health AI

• arxiv url: http://arxiv.org/abs/2412.12538v1
• Date: Tue, 17 Dec 2024 05:02:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:57:40.348657
• Title: A Scalable Approach to Benchmarking the In-Conversation Differential Diagnostic Accuracy of a Health AI
• Title（参考訳）: ヘルスAIの会話内差診断精度のベンチマークのためのスケーラブルなアプローチ
• Authors: Deep Bhatt, Surya Ayyagari, Anuruddh Mishra,
• Abstract要約: 本研究では、健康AIシステムを評価するためのスケーラブルなベンチマーク手法を提案する。 提案手法では,14の専門分野に400の検証済み臨床ヴィグネットを用いて,現実的な臨床行為をシミュレートするためにAIを利用した患者アクターを用いた。 8月は81.8%(327/400件)の診断精度、85.0%(340/400件)のトップ2の診断精度を達成し、従来の症状チェッカーを上回った。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Diagnostic errors in healthcare persist as a critical challenge, with increasing numbers of patients turning to online resources for health information. While AI-powered healthcare chatbots show promise, there exists no standardized and scalable framework for evaluating their diagnostic capabilities. This study introduces a scalable benchmarking methodology for assessing health AI systems and demonstrates its application through August, an AI-driven conversational chatbot. Our methodology employs 400 validated clinical vignettes across 14 medical specialties, using AI-powered patient actors to simulate realistic clinical interactions. In systematic testing, August achieved a top-one diagnostic accuracy of 81.8% (327/400 cases) and a top-two accuracy of 85.0% (340/400 cases), significantly outperforming traditional symptom checkers. The system demonstrated 95.8% accuracy in specialist referrals and required 47% fewer questions compared to conventional symptom checkers (mean 16 vs 29 questions), while maintaining empathetic dialogue throughout consultations. These findings demonstrate the potential of AI chatbots to enhance healthcare delivery, though implementation challenges remain regarding real-world validation and integration of objective clinical data. This research provides a reproducible framework for evaluating healthcare AI systems, contributing to the responsible development and deployment of AI in clinical settings.
• Abstract（参考訳）: 医療における診断ミスは重要な課題であり、健康情報のためのオンラインリソースに切り替える患者が増えている。 AIを利用したヘルスケアチャットボットは有望だが、診断能力を評価するための標準化されたスケーラブルなフレームワークは存在しない。 本研究では、ヘルスAIシステムを評価するためのスケーラブルなベンチマーク手法を導入し、AI駆動の会話チャットボットである8月までの応用を実証する。 提案手法では,14の専門分野に400の検証済み臨床ヴィグネットを用いて,現実的な臨床行為をシミュレートするためにAIを利用した患者アクターを用いた。 体系的な検査では、オーガスタは81.8%(327/400例)の診断精度、85.0%(340/400例)の診断精度を達成し、従来の症状チェッカーよりも著しく優れていた。 このシステムは、専門家の紹介において95.8%の正確さを示し、従来の症状チェッカー(平均16対29の質問)に比べて47%少ない質問を必要とした。 これらの結果は、現実のバリデーションと客観的な臨床データの統合に関して実装上の課題が残っているが、AIチャットボットが医療提供を促進する可能性を示している。 この研究は、医療AIシステムを評価するための再現可能なフレームワークを提供し、臨床環境におけるAIの開発と展開に寄与する。

関連論文リスト

• Which Client is Reliable?: A Reliable and Personalized Prompt-based Federated Learning for Medical Image Question Answering [51.26412822853409]
  本稿では,医学的視覚的質問応答(VQA)モデルのための,パーソナライズド・フェデレーションド・ラーニング(pFL)手法を提案する。 提案手法では,学習可能なプロンプトをTransformerアーキテクチャに導入し,膨大な計算コストを伴わずに,多様な医療データセット上で効率的にトレーニングする。
  論文  参考訳（メタデータ） (2024-10-23T00:31:17Z)
• Detecting Bias and Enhancing Diagnostic Accuracy in Large Language Models for Healthcare [0.2302001830524133]
  バイアスドAIによる医療アドバイスと誤診は患者の安全を脅かす可能性がある。 本研究では、医療における倫理的かつ正確なAIを促進するために設計された新しいリソースを紹介する。
  論文  参考訳（メタデータ） (2024-10-09T06:00:05Z)
• Towards Accountable AI-Assisted Eye Disease Diagnosis: Workflow Design, External Validation, and Continual Learning [5.940140611616894]
  AIは診断精度が保証されるが、臨床および多様な集団の検証が不十分なため、現実の応用問題に直面している。 本研究は、年齢関連黄斑変性(AMD)診断と分類重症度に関するケーススタディを通じて、医療用AIの下流アカウンタビリティのギャップに対処する。
  論文  参考訳（メタデータ） (2024-09-23T15:01:09Z)
• GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI [67.09501109871351]
  LVLM(Large Vision-Language Model)は、画像、テキスト、生理学的信号などの多様なデータタイプを扱うことができる。 GMAI-MMBenchは、よく分類されたデータ構造と、これまででもっとも包括的な一般医療用AIベンチマークである。 38の医療画像モダリティ、18の臨床関連タスク、18の部門、視覚質問回答(VQA)フォーマットの4つの知覚的粒度からなる284のデータセットで構成されている。
  論文  参考訳（メタデータ） (2024-08-06T17:59:21Z)
• End-To-End Clinical Trial Matching with Large Language Models [0.6151041580858937]
  大言語モデル(LLM)を用いた臨床試験のためのエンドツーエンドパイプラインを提案する。 本研究は,93.3%の症例において関連する候補試験を同定し,88.0%の予備的精度を達成している。 私たちの完全なエンドツーエンドパイプラインは、自律的または人間の監督の下で運用することができ、オンコロジーに限定されません。
  論文  参考訳（メタデータ） (2024-07-18T12:36:26Z)
• TrialBench: Multi-Modal Artificial Intelligence-Ready Clinical Trial Datasets [57.067409211231244]
  本稿では,マルチモーダルデータ(例えば,薬物分子,疾患コード,テキスト,分類・数値的特徴)と臨床治験設計における8つの重要な予測課題をカバーするAIreadyデータセットを精巧にキュレートした。 データセットのユーザビリティと信頼性を確保するため、各タスクに基本的な検証方法を提供する。 このようなオープンアクセスデータセットが利用可能になることは、臨床試験設計のための高度なAIアプローチの開発を促進することを期待する。
  論文  参考訳（メタデータ） (2024-06-30T09:13:10Z)
• Towards Conversational Diagnostic AI [32.84876349808714]
  本稿では,診断対話に最適化されたLarge Language Model (LLM)ベースのAIシステムであるAMIE(Articulate Medical Intelligence Explorer)を紹介する。 AMIEは、さまざまな疾患条件にまたがって学習をスケールするための自動フィードバック機構を備えた、セルフプレイベースのシミュレート環境を使用する。 AMIEの診断精度は, 専門医によると32例中28例, 患者アクターでは26例中24例で高い成績を示した。
  論文  参考訳（メタデータ） (2024-01-11T04:25:06Z)
• Validating polyp and instrument segmentation methods in colonoscopy through Medico 2020 and MedAI 2021 Challenges [58.32937972322058]
  メディコオートマチックポリープセグメンテーション(Medico 2020)と「メディコ:医療画像の透明性(MedAI 2021)」コンペティション。 本報告では, それぞれのコントリビューションを包括的に分析し, ベストパフォーマンスメソッドの強さを強調し, クリニックへの臨床翻訳の可能性について考察する。
  論文  参考訳（メタデータ） (2023-07-30T16:08:45Z)
• Exploring linguistic feature and model combination for speech recognition based automatic AD detection [61.91708957996086]
  音声ベースの自動ADスクリーニングシステムは、他の臨床スクリーニング技術に代わる非侵襲的でスケーラブルな代替手段を提供する。 専門的なデータの収集は、そのようなシステムを開発する際に、モデル選択と特徴学習の両方に不確実性をもたらす。 本稿では,BERT と Roberta の事前学習したテキストエンコーダのドメイン微調整の堅牢性向上のための特徴とモデルの組み合わせ手法について検討する。
  論文  参考訳（メタデータ） (2022-06-28T05:09:01Z)
• Detecting Spurious Correlations with Sanity Tests for Artificial Intelligence Guided Radiology Systems [22.249702822013045]
  放射線学におけるAIの展開における重要な要素は、開発システムの有効性と安全性への信頼を得ることである。 現在のゴールド標準アプローチは、一般化データセットのパフォーマンスの分析検証を行うことである。 間違った理由から,システムが開発データに対して良好に動作するかどうかを特定するための,一連の健全性テストについて述べる。
  論文  参考訳（メタデータ） (2021-03-04T14:14:05Z)
• Identification of Ischemic Heart Disease by using machine learning technique based on parameters measuring Heart Rate Variability [50.591267188664666]
  本研究は,243名の非侵襲的特徴(年齢,性別,左室容積率,HRV15)を用いて,一連のANNの訓練と評価を行った。 最高の結果は、7つの入力パラメータと7つの隠れノードを使用して、トレーニングと検証データセットに対して98.9%と82%の精度で得られた。
  論文  参考訳（メタデータ） (2020-10-29T19:14:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。