論文の概要: MMTClinic: Multimodal, Multilingual Time Series Question Answering and Reasoning Benchmark for Clinical Domain
- arxiv url: http://arxiv.org/abs/2609.04842v1
- Date: Fri, 04 Sep 2026 07:59:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:23.966139
- Title: MMTClinic: Multimodal, Multilingual Time Series Question Answering and Reasoning Benchmark for Clinical Domain
- Title（参考訳）: MMTClinic : 臨床領域における多言語・多言語時系列質問への回答と回答
- Abstract要約: MMTClinic(MMTClinic)は、複雑な推論と臨床時系列を含む質問応答タスクに関する大規模な言語モデルを評価するために設計されたベンチマークである。
英語、ヒンディー語、ベンガル語、マラティ語、タミル語という5つの言語にまたがる3万のQAペア(15,000の複数選択質問(MCQ)、15,000のオープンエンド質問)が含まれている。
ゼロショット,少数ショット,チェーンオブ思想設定において,13の最先端LCMを評価した。
- 参考スコア（独自算出の注目度）: 17.198422651795912
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Time-series data in clinical settings is crucial for capturing dynamic changes in a patient's health over time, enabling timely diagnosis, personalized treatment, and early detection of critical events. However, the development of clinically reliable and linguistically inclusive medical AI systems remains a significant challenge, primarily due to the lack of multimodal, multilingual, and time-series-grounded benchmarks that reflect the complexity of real-world clinical scenarios. To fill this gap, we present MMTClinic, a benchmark designed to evaluate large language models (LLMs) on complex reasoning and question-answering tasks involving clinical time-series. MMTClinic combines text, medical images, and multivariate physiological signals and includes 30,000 QA pairs (15,000 multiple choice questions (MCQs) and 15,000 open-ended questions) across five languages: English, Hindi, Bengali, Marathi, and Tamil. These questions cover three important clinical tasks---mortality prediction, heart rate forecasting, and SOFA score estimation. We evaluate 13 state-of-the-art LLMs in zero-shot, few-shot, and chain-of-thought settings. Our evaluation reveals notable differences in model performance across tasks, languages, and modalities, highlighting current limitations in clinical reasoning capabilities. MMTClinic provides a valuable resource for advancing multilingual, multimodal, and time-series-aware medical AI research. The dataset will be made publicly available on successful acceptance of the work.
- Abstract（参考訳）: 臨床環境での時系列データは、患者の健康状態の動的変化を時間とともに捉え、タイムリーな診断、パーソナライズされた治療、および重要な出来事の早期発見を可能にするために重要である。
しかし、臨床的に信頼性が高く言語的に包括的な医療AIシステムの開発は、主に実世界の臨床シナリオの複雑さを反映したマルチモーダル、多言語、時系列のベンチマークが欠如していることから、依然として重要な課題である。
このギャップを埋めるために, MMTClinic は, 臨床時系列を含む複雑な推論や質問応答タスクにおいて, 大規模言語モデル (LLM) を評価するために設計されたベンチマークである。
MMTClinicはテキスト、医療画像、多変量生理信号を組み合わせており、英語、ヒンディー語、ベンガル語、マラティ語、タミル語という5つの言語に3万のQAペア(15,000の複数選択質問(MCQ)と15,000のオープンエンド質問を含む。
これらの質問は、死亡予測、心拍数予測、SOFAスコア推定の3つの重要な臨床的タスクをカバーしている。
ゼロショット,少数ショット,チェーンオブ思想設定において,13の最先端LCMを評価した。
本評価では,タスク,言語,モダリティのモデル性能に顕著な差異がみられ,臨床推論能力の限界が指摘されている。
MMTClinicは、多言語、マルチモーダル、時系列対応の医療AI研究を進めるための貴重なリソースを提供する。
データセットは、作業の受理が成功したときに公開されます。
関連論文リスト
- A Cost-Effective Multimodal LLM Reasoning Framework for Question Answering over Irregular Clinical Time Series [10.789471760777564]
不規則な臨床時系列(ICTS)に対する質問応答は、幅広い医療応用において重要な役割を担っている。
近年のマルチモーダル時系列大言語モデル (LLM) は, 汎用時系列QAにおいて有望であることを示す。
我々は,ICTSデータに対する質問応答のための費用対効果の高いマルチモーダルLCM推論フレームワークであるClinPRISMを提案する。
論文 参考訳（メタデータ） (2026-07-28T16:33:41Z) - MedRealMM: A Real-World Multimodal Benchmark for Chinese Online Medical Consultation [28.25494396319652]
大規模言語モデル (LLMs) は、オンライン医療相談においてますます普及しているが、既存のベンチマークは実際の臨床実践と整合性に乏しいままである。
textbfMedRealMMは、特定されていない患者と医師の相互作用から構築されたマルチモーダルオンライン医療相談のための大規模ベンチマークである。
MedRealMMは、Multimodal Clinical Challenge Point (MCCP)抽出フレームワークを使用して、真のコンサルティングトラジェクトリにおける臨床的に要求される瞬間を特定する。
論文 参考訳（メタデータ） (2026-07-10T06:52:05Z) - MedMosaic: A Challenging Large Scale Benchmark of Diverse Medical Audio [0.0]
MedMosaicは、現実的な臨床制約の下で言語と音声の推論モデルをベンチマークするために設計されたデータセットである。
MedMosaicは、条件に関連した生理的音を含む様々な種類の医療オーディオを特徴としている。
データセットには合計46,701の質問回答ペアが含まれており、複数選択、シーケンシャルなマルチターン、オープンな質問回答などのカテゴリにまたがっている。
論文 参考訳（メタデータ） (2026-05-01T16:06:27Z) - Simulating Viva Voce Examinations to Evaluate Clinical Reasoning in Large Language Models [51.91760712805404]
大規模言語モデル(LLM)におけるシーケンシャルな臨床推論を評価するためのベンチマークであるVivaBenchを紹介する。
本データセットは,医療訓練における(口頭)検査をシミュレートする対話的シナリオとして構成された1762名の医師による臨床ヴィグネットから構成される。
本分析では,臨床における認知的誤りを反映するいくつかの障害モードを同定した。
論文 参考訳（メタデータ） (2025-10-11T16:24:35Z) - TemMed-Bench: Evaluating Temporal Medical Image Reasoning in Vision-Language Models [54.48710348910535]
既存の医学推論ベンチマークは、主に1回の訪問からの画像に基づいて患者の状態を分析することに焦点を当てている。
臨床訪問における患者の状態の変化を分析するための最初のベンチマークであるTemMed-Benchを紹介する。
論文 参考訳（メタデータ） (2025-09-29T17:51:26Z) - MedQARo: A Large-Scale Benchmark for Medical Question Answering in Romanian [50.767415194856135]
ルーマニア初の大規模医療QAベンチマークであるMedQARoを紹介する。
がん患者に関連する102,646のQAペアからなる高品質で大規模なデータセットを構築した。
論文 参考訳（メタデータ） (2025-08-22T13:48:37Z) - MedAtlas: Evaluating LLMs for Multi-Round, Multi-Task Medical Reasoning Across Diverse Imaging Modalities and Clinical Text [25.102399692530245]
MedAtlasは、現実的な医学的推論タスクにおいて、大きな言語モデルを評価するための新しいベンチマークフレームワークである。
MedAtlasの特徴は、マルチターン・ダイアログ、マルチモーダル・メディカル・イメージ・インタラクション、マルチタスク統合、高臨床的忠実性である。
それぞれの症例は、実際の診断から派生したもので、テキスト医療史とCT、MRI、PET、超音波、X線などの複数の画像モダリティの時間的相互作用を取り入れている。
論文 参考訳（メタデータ） (2025-08-13T17:32:17Z) - Medchain: Bridging the Gap Between LLM Agents and Clinical Practice with Interactive Sequence [68.05876437208505]
臨床ワークフローの5つの重要な段階をカバーする12,163の臨床症例のデータセットであるMedChainを提示する。
フィードバック機構とMCase-RAGモジュールを統合したAIシステムであるMedChain-Agentも提案する。
論文 参考訳（メタデータ） (2024-12-02T15:25:02Z) - MedTsLLM: Leveraging LLMs for Multimodal Medical Time Series Analysis [6.30440420617113]
MedTsLLMは、時系列データとリッチな文脈情報をテキスト形式で統合し、生理的信号を解析する汎用多モーダル大規模言語モデル(LLM)フレームワークである。
本研究は,連続時間における意味的セグメンテーション,境界検出,異常検出という,臨床的関連性のある3つのタスクを実行する。
我々のモデルは、深層学習モデル、他のLSM、および複数の医療領域における臨床方法など、最先端のベースラインよりも優れています。
論文 参考訳（メタデータ） (2024-08-14T18:57:05Z) - Large Language Models in the Clinic: A Comprehensive Benchmark [63.21278434331952]
診療所の大規模言語モデル(LLM)をよりよく理解するためのベンチマークであるClimateBenchを構築した。
まず、さまざまな臨床言語の生成、理解、推論タスクを含む11の既存のデータセットを収集します。
次に,現実の実践において複雑だが一般的である6つの新しいデータセットと臨床タスクを構築した。
ゼロショット設定と少数ショット設定の両方で、20個のLDMを広範囲に評価する。
論文 参考訳（メタデータ） (2024-04-25T15:51:06Z) - AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。
この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。
高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
論文 参考訳（メタデータ） (2024-02-15T06:46:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。