論文の概要: MedMT-Bench: Can LLMs Memorize and Understand Long Multi-Turn Conversations in Medical Scenarios?

• arxiv url: http://arxiv.org/abs/2603.23519v1
• Date: Fri, 06 Mar 2026 12:17:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 02:36:13.005006
• Title: MedMT-Bench: Can LLMs Memorize and Understand Long Multi-Turn Conversations in Medical Scenarios?
• Title（参考訳）: MedMT-Bench:LLMは医療シナリオにおける長期多段階会話を記憶・理解できるか?
• Abstract要約: 我々は、MedMT-Benchという医療用マルチターンインストラクションをベンチマークで紹介する。 手動のエキスパート編集によって改良されたシーン・バイ・シーンデータ合成によるベンチマークを構築した。 各テストケースは平均22ラウンド(52ラウンドのコンテキスト)で、5種類の難しい命令が続く。
• 参考スコア（独自算出の注目度）: 9.531847251088488
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated impressive capabilities across various specialist domains and have been integrated into high-stakes areas such as medicine. However, as existing medical-related benchmarks rarely stress-test the long-context memory, interference robustness, and safety defense required in practice. To bridge this gap, we introduce MedMT-Bench, a challenging medical multi-turn instruction following benchmark that simulates the entire diagnosis and treatment process. We construct the benchmark via scene-by-scene data synthesis refined by manual expert editing, yielding 400 test cases that are highly consistent with real-world application scenarios. Each test case has an average of 22 rounds (maximum of 52 rounds), covering 5 types of difficult instruction following issues. For evaluation, we propose an LLM-as-judge protocol with instance-level rubrics and atomic test points, validated against expert annotations with a human-LLM agreement of 91.94\%. We test 17 frontier models, all of which underperform on MedMT-Bench (overall accuracy below 60.00\%), with the best model reaching 59.75\%. MedMT-Bench can be an essential tool for driving future research towards safer and more reliable medical AI. The benchmark is available in https://openreview.net/attachment?id=aKyBCsPOHB&name=supplementary_material
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な専門分野にまたがる印象的な能力を示しており、医学のような高度な分野に統合されている。 しかし、既存の医療関連ベンチマークでは、ロングコンテキストメモリ、干渉堅牢性、実際必要とされる安全防衛をストレステストすることは稀である。 このギャップを埋めるために,MedMT-Benchを導入し,診断と治療の過程全体をシミュレートした医用マルチターン・インストラクションのベンチマークを行った。 手動のエキスパート編集によって改良されたシーン・バイ・シーンのデータ合成によるベンチマークを構築し,実世界のアプリケーションシナリオと高度に整合した400のテストケースを生成する。 各テストケースは平均22ラウンド(最大52ラウンド)で、5種類の難しい命令が続く。 評価のために,LLM-as-judgeプロトコルをインスタンスレベルのルーリックとアトミックなテストポイントで提案する。 我々は17のフロンティアモデルをテストし、いずれもMedMT-Bench(全精度が60.00\%未満)で性能が低く、最高のモデルは59.75\%に達した。 MedMT-Benchは、より安全で信頼性の高い医療AIに向けた将来の研究を推進するための重要なツールとなる。 ベンチマークはhttps://openreview.net/attachment? id=aKyBCsPOHB&name=supplementary_ Materials

関連論文リスト

• Evaluating Large Language Models in Dynamic Clinical Decision-Making with Standardized Patient Cases [71.12461204050985]
  MedSP1000 (MedSP1000) は、SP由来の臨床エージェント評価のための対話型ベンチマークである。 ピアレビューされたSPの授業ケースを、定義されたSPケーススクリプト、臨床環境コンテキスト、人為的な構造化ルーブリックで実行可能なシナリオに変換する。 MedSP1000を多種多様な汎用および医療用LLMに適用すると、静的ベンチマークの性能がそのような教育シナリオに確実に変換されないことが分かる。
  論文  参考訳（メタデータ） (2026-06-03T17:17:16Z)
• MedLoCoMo: A Long-Context Multi-Session Medical Dialogue Benchmark for Large Language Models [35.75305337108171]
  MedLoCoMo(MedLoCoMo)は、多段階医療対話に対する患者固有の臨床推論のベンチマークである。 我々はMIMIC-IVとMIMIC-IV-Noteの記録からMedLoCoMoを構築する。 このベンチマークには、平均1,669.8ターン、29.7セッション、74,512.2トークンを含む100の患者タイムラインが含まれている。
  論文  参考訳（メタデータ） (2026-05-31T03:40:07Z)
• Medmarks: A Comprehensive Open-Source LLM Benchmark Suite for Medical Tasks [12.131182745922843]
  Medmarksは、質問応答、情報抽出、医療計算、オープンな臨床推論にまたがる30のベンチマークを備えた、完全なオープンソース評価スイートである。 検証基準とLCM-as-a-Judgeを用いて,71構成の61モデルの体系的評価を行う。
  論文  参考訳（メタデータ） (2026-05-02T12:29:03Z)
• QuarkMedBench: A Real-World Scenario Driven Benchmark for Evaluating Large Language Models [8.050059911826338]
  LLM(Large Language Models)は、標準化された医療試験に優れるが、高いスコアは、現実世界の医療クエリに対する高品質な応答に変換できないことが多い。 実世界の医療LCM評価に適した生態学的に有効なベンチマークであるQuarkMedBenchを紹介する。
  論文  参考訳（メタデータ） (2026-03-14T01:51:43Z)
• MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
  我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。 6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。 結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
  論文  参考訳（メタデータ） (2025-08-22T08:38:16Z)
• Structured Outputs Enable General-Purpose LLMs to be Medical Experts [50.02627258858336]
  大規模言語モデル(LLM)は、しばしばオープンエンドの医学的問題に苦しむ。 本稿では,構造化医療推論を利用した新しいアプローチを提案する。 我々の手法は85.8のファクチュアリティスコアを達成し、微調整されたモデルを上回る。
  論文  参考訳（メタデータ） (2025-03-05T05:24:55Z)
• Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
  MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
  論文  参考訳（メタデータ） (2024-08-22T17:01:34Z)
• GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI [67.09501109871351]
  LVLM(Large Vision-Language Model)は、画像、テキスト、生理学的信号などの多様なデータタイプを扱うことができる。 GMAI-MMBenchは、よく分類されたデータ構造と、これまででもっとも包括的な一般医療用AIベンチマークである。 38の医療画像モダリティ、18の臨床関連タスク、18の部門、視覚質問回答(VQA)フォーマットの4つの知覚的粒度からなる284のデータセットで構成されている。
  論文  参考訳（メタデータ） (2024-08-06T17:59:21Z)
• Capabilities of Gemini Models in Medicine [100.60391771032887]
  医療専門のマルチモーダルモデルであるMed-Geminiを紹介する。 メドジェニーニを14の医療ベンチマークで評価し,その内10に新たな最先端(SoTA)性能を確立した。 我々の結果は、Med-Geminiの可能性を示唆する証拠を提供するが、より厳密な評価は実世界の展開に先立って重要である。
  論文  参考訳（メタデータ） (2024-04-29T04:11:28Z)
• AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
  我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。 この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。 高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-15T06:46:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。