論文の概要: Japanese Stroke LLM Evaluation: A Conversational Benchmark for Safe Stroke Care in Japanese Using Large Language Models

• arxiv url: http://arxiv.org/abs/2609.16739v1
• Date: Tue, 15 Sep 2026 07:13:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.383465
• Title: Japanese Stroke LLM Evaluation: A Conversational Benchmark for Safe Stroke Care in Japanese Using Large Language Models
• Title（参考訳）: 日本語ストロークLLM評価:大規模言語モデルを用いた日本語の安全ストロークケアのための会話ベンチマーク
• Abstract要約: 大規模言語モデル (LLM) は, 複数項目の医療知識試験において, 医師に比較可能な性能を達成している。 マルチターン日本語会話において,脳卒中と関連条件を10例作成し,LLMを評価した。 クロード・ファイブ5は最高スコア(87.4%)を達成し、致命的なミスはゼロだった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Background: Large language models (LLMs) have achieved physician-comparable performance on multiple-choice medical knowledge examinations, but their capabilities in clinical history taking, urgency assessment, and safety remain insufficiently evaluated. We proposed Japanese Stroke LLM Evaluation, a multi-turn conversational benchmark for stroke care in Japanese, and evaluated LLM performance and safety under practice-oriented conditions. Methods: We created 10 stroke and related-condition cases and evaluated LLMs in multi-turn Japanese conversations. The LLM acted as physician, while a board-certified neurosurgeon acted as simulated patient and evaluator. Each case comprised history-taking and action phases scored using pre-specified criteria. Errors that could directly threaten life were defined as critical mistakes. The safety threshold was at least 80% overall with zero critical mistakes. Eighteen models were evaluated in October 2025 and June 2026. Results: Claude Fable 5 achieved the highest score (87.4%) with zero critical mistakes, followed by Claude Opus 4.7 (80.3%) and GLM-5.2 (75.6%). Two leaders met the safety threshold. Eleven models made 17 critical mistakes, including failure to confirm laboratory results or blood glucose before t-PA, surgery before airway stabilization, omission of cervical vascular evaluation, and t-PA outside its indication. History-taking question count correlated with history-taking score (r = 0.648, p = 0.007). Conclusions: Japanese Stroke LLM Evaluation provides a benchmark for LLM performance under practice-oriented conditions, including a cap on history-taking questions. Cases and evaluations were created by neurosurgical specialists rather than using an LLM-as-judge approach. Performance improved across cloud-based and on-premise models in 2026, with some exceeding the safety threshold. Further evaluation using real-world cases is required.
• Abstract（参考訳）: 背景: 大規模言語モデル (LLMs) は, 臨床経過, 緊急性評価, 安全性の面から, 医師に比較可能な成績が得られたが, 臨床歴, 緊急性評価, 安全性の面からの評価は不十分である。 本研究では, ストロークケアのためのマルチターン対話型ベンチマークである日本語Stroke LLM Evaluationを提案し, 実践指向条件下でのLLMの性能と安全性について検討した。 方法: マルチターン日本語会話において, ストロークおよび関連条件を10件作成し, LLMを評価した。 LLMは医師として機能し、脳神経外科医は模擬患者と評価者として機能した。 それぞれのケースは、予め特定された基準を用いて、履歴取得と行動フェーズで構成された。 生命を直接脅かすことができる誤りは、致命的な誤りと定義された。 安全性の閾値は少なくとも80%であり、致命的なミスはゼロだった。 2025年10月と2026年6月に18機が評価された。 結果: クロード・ファブル5は最高スコア(87.4%)で致命的なミスがゼロとなり、クロード・オプス4.7 (80.3%) と GLM-5.2 (75.6%) が続いた。 2人のリーダーが安全基準を満たしました。 11モデルがT-PA前に検査結果や血糖値の確認に失敗したこと、気道安定化前の手術、頸部血管評価の欠如、t-PAの表示外など17の重大な誤りを犯した。 ヒストリーテイク質問数とヒストリーテイクスコア(r = 0.648, p = 0.007)は相関した。 結論: 日系ストロークLLM評価は, 実践指向条件下でのLLM性能のベンチマークを提供する。 症例と評価は, LLM-as-judgeアプローチではなく, 神経外科の専門家によって作成された。 2026年には、クラウドベースとオンプレミスのモデルでパフォーマンスが向上し、安全性のしきい値を超えるものもあった。 実世界の事例を用いたさらなる評価が必要である。

関連論文リスト

• Evaluating Large Language Models in Dynamic Clinical Decision-Making with Standardized Patient Cases [71.12461204050985]
  MedSP1000 (MedSP1000) は、SP由来の臨床エージェント評価のための対話型ベンチマークである。 ピアレビューされたSPの授業ケースを、定義されたSPケーススクリプト、臨床環境コンテキスト、人為的な構造化ルーブリックで実行可能なシナリオに変換する。 MedSP1000を多種多様な汎用および医療用LLMに適用すると、静的ベンチマークの性能がそのような教育シナリオに確実に変換されないことが分かる。
  論文  参考訳（メタデータ） (2026-06-03T17:17:16Z)
• A Decade-Scale Benchmark Evaluating LLMs' Clinical Practice Guidelines Detection and Adherence in Multi-turn Conversations [60.2076951536797]
  大規模言語モデル(LLM)は、医療シナリオにますます多くデプロイされている。 LLMが会話中に臨床ガイドラインを特定・遵守できるのかは不明確である。 CPGBenchは、LSMの臨床ガイドラインの検出と付着能力をベンチマークする自動フレームワークである。
  論文  参考訳（メタデータ） (2026-03-26T09:00:55Z)
• PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
  大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。 我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。 LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
  論文  参考訳（メタデータ） (2026-03-02T00:50:39Z)
• LiveClin: A Live Clinical Benchmark without Leakage [50.45415584327275]
  LiveClinは、実際の臨床実践を近似するために設計されたライブベンチマークである。 本研究は,患者を臨床経過全体にわたる複雑なマルチモーダルな評価シナリオに転換する。 LiveClin上で26のモデルを評価すると、これらの実世界のシナリオの難しさが明らかとなり、最高性能のモデルではケース精度が35.7%に達した。
  論文  参考訳（メタデータ） (2026-02-18T03:59:46Z)
• Clinical Validation of Medical-based Large Language Model Chatbots on Ophthalmic Patient Queries with LLM-based Evaluation [1.6570903210287165]
  ドメイン固有の大きな言語モデルは、眼科における患者教育、トリアージ、臨床決定を支援するために、ますます使われてきている。 本研究は,眼科関連患者の質問に対する回答として,Meerkat-7B,BioMistral-7B,OpenBioLLM-8B,MedLLaMA3-v20の4つの小症例について検討した。 全体として、LLMは安全な眼科的質問応答の可能性を示したが、そのギャップは臨床深度とコンセンサスに留まった。
  論文  参考訳（メタデータ） (2026-02-05T07:00:20Z)
• A Real-World Evaluation of LLM Medication Safety Reviews in NHS Primary Care [5.167350493769989]
  本研究は,NHSプライマリケアデータを用いたLSMベースの医薬品安全性評価システムの最初の評価である。 患者を戦略的に採取し,幅広い臨床複雑性と薬剤の安全性リスクを捉えた。 当システムでは,臨床症状の認識に強い性能を示した。
  論文  参考訳（メタデータ） (2025-12-24T11:58:49Z)
• MedHELM: Holistic Evaluation of Large Language Models for Medical Tasks [47.486705282473984]
  大規模言語モデル(LLM)は、医学試験においてほぼ完璧なスコアを得る。 これらの評価は、実際の臨床実践の複雑さと多様性を不十分に反映している。 MedHELMは,医療業務におけるLCMの性能を評価するための評価フレームワークである。
  論文  参考訳（メタデータ） (2025-05-26T22:55:49Z)
• Explainable AI for Mental Health Emergency Returns: Integrating LLMs with Predictive Modeling [2.466324275447403]
  救急部門(ED)は精神状態の回復が大きな医療負担となり、患者の24-27%が30日以内に帰国する。 大規模言語モデル(LLM)と機械学習を統合することにより、EDメンタルヘルスリターンリスクモデルの予測精度と臨床的解釈性が向上するか否かを評価する。
  論文  参考訳（メタデータ） (2025-01-21T15:41:20Z)
• Large Language Models Leverage External Knowledge to Extend Clinical Insight Beyond Language Boundaries [48.48630043740588]
  ChatGPTやMed-PaLMのような大規模言語モデル(LLM)は、様々な質問応答タスクに優れています。 我々は,その性能を高めるために,新しい文脈内学習フレームワークを開発した。
  論文  参考訳（メタデータ） (2023-05-17T12:31:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。