論文の概要: MedJev: Evaluating Zero-Shot System-One Decision Making in Medicine

• arxiv url: http://arxiv.org/abs/2610.36006v1
• Date: Mon, 26 Oct 2026 16:08:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.386597
• Title: MedJev: Evaluating Zero-Shot System-One Decision Making in Medicine
• Title（参考訳）: MedJev:ゼロショットシステムの評価 - 医療における意思決定
• Abstract要約: ラップトップ上でローカルに動作するオープンなSystem OneモデルであるMedJevを評価した。 我々は,MedJevをゼロショットLCMベースラインと比較し,GPT結果と教師付きモデルと比較した。 この結果から,医療用AIのゼロショットベースラインとして,オープンなSystem Oneモデルを確立した。
• 参考スコア（独自算出の注目度）: 1.1417805445492082
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: System One decision models such as Jev answer structured questions in a single forward pass without generating text, offering fast and computationally efficient clinical decision support. We evaluate MedJev, an open System One model that runs locally on a laptop, across ten medical benchmarks spanning medical knowledge, diagnosis, and patient level prediction using MIMIC IV and MIMIC IV ED. We compare MedJev against zero shot LLM baselines, published GPT results, and supervised models. MedJev achieves accuracies of 72.5 percent on MedQA, 75.4 percent on USMLE, and 80.1 percent on NEJM, approaching published GPT 4 performance while maintaining well calibrated confidence estimates (ECE 0.028 to 0.063). On patient level tasks, MedJev achieves an AUROC of 0.926 for In Hospital Mortality, exceeding XGBoost (0.902), but underperforms supervised models on operational outcomes such as ED Triage Admission (0.745 vs. 0.809). Patient level predictions also exhibit substantial miscalibration (In Hospital Mortality ECE 0.286). We introduce a lightweight, two parameter recalibration method that adapts predictions to local patient populations using 50 to 200 labeled examples, reducing ECE to 0.007. Our findings establish open System One models as a promising zero shot baseline for medical AI, combining competitive predictive performance with low computational cost and efficient local calibration. We release our code and evaluation harness to support future research.
• Abstract（参考訳）: システム1の決定モデルであるJevは、テキストを生成せずに単一の前方通過で構造化された質問に答え、高速で計算的に効率的な臨床決定支援を提供する。 我々は,MIMIC IV とMIMIC IV EDを用いた医療知識,診断,患者レベルの予測を対象とする10の医療ベンチマークにおいて,ラップトップ上でローカルに動作するオープンな System One モデルである MedJev を評価した。 我々は,MedJevをゼロショットLCMベースラインと比較し,GPT結果と教師付きモデルと比較した。 MedJevは、MedQAで72.5%、USMLEで75.4%、NEJMで80.1%のアキュラシーを達成し、適切に評価された信頼度(ECE 0.028から0.063)を維持しながら、GPT 4のパフォーマンスに近づいた。 患者レベルでの課題では、MedJevはXGBoost (0.902)を超える病院死亡率0.926のAUROCを達成しているが、ED Triage Admission (0.745 vs. 0.809)のような手術結果に関する監督されたモデルでは不十分である。 患者レベルの予測も重大な誤診を呈する(病院ECE 0.286)。 本稿では,50から200のラベル付き例を用いて局所患者に予測を適応させ,ECEを0.007に削減する,軽量な2つのパラメータリカバリ手法を提案する。 本研究は,医療用AIのゼロショットベースラインとしてオープンなSystem Oneモデルを確立し,競争予測性能と計算コストの低減,局所キャリブレーションの効率化を両立させた。 今後の研究を支援するため、コードと評価ハーネスをリリースします。

関連論文リスト

• Evaluating Large Language Models in Dynamic Clinical Decision-Making with Standardized Patient Cases [71.12461204050985]
  MedSP1000 (MedSP1000) は、SP由来の臨床エージェント評価のための対話型ベンチマークである。 ピアレビューされたSPの授業ケースを、定義されたSPケーススクリプト、臨床環境コンテキスト、人為的な構造化ルーブリックで実行可能なシナリオに変換する。 MedSP1000を多種多様な汎用および医療用LLMに適用すると、静的ベンチマークの性能がそのような教育シナリオに確実に変換されないことが分かる。
  論文  参考訳（メタデータ） (2026-06-03T17:17:16Z)
• Calibration, Uncertainty Communication, and Deployment Readiness in CKD Risk Prediction: A Framework Evaluation Study [0.0]
  慢性腎臓病の機械学習モデルは、しばしば内部テストセットに強い差別的スコアを与える。 UCI CKDデータセット(400例,62.5%)を用いた5つの分類器の訓練を行った。 キャリブレーション品質,コンフォーマルな予測カバレッジ,8基準の展開準備フレームワークについて検討した。
  論文  参考訳（メタデータ） (2026-05-20T17:12:48Z)
• Cerebra: A Multidisciplinary AI Board for Multimodal Dementia Characterization and Risk Assessment [56.62016795093786]
  CerebraはインタラクティブなマルチエージェントAIチームで、ERH、臨床ノート、医療画像分析のための特殊エージェントをコーディネートする。 構造化された表現を操作することで、プライバシ保護デプロイメントをサポートし、モダリティが不完全であれば、堅牢である。 Cerebraは、有識者のパフォーマンスを著しく改善し、前向き認知症リスク推定において精度を17.5ポイント向上させた。
  論文  参考訳（メタデータ） (2026-03-23T05:46:45Z)
• Explainable Admission-Level Predictive Modeling for Prolonged Hospital Stay in Elderly Populations: Challenges in Low- and Middle-Income Countries [65.4286079244589]
  長期滞在期間 (pLoS) は, 院内感染のリスクに関連する重要な要因である。 入院レベルの患者と病院の診療データを用いて, pLosの予測モデルを開発し, 解説する。
  論文  参考訳（メタデータ） (2026-01-07T23:35:24Z)
• An Automated Classifier of Harmful Brain Activities for Clinical Usage Based on a Vision-Inspired Pre-trained Framework [4.264452248986976]
  VIPEEGNetはマサチューセッツ総合病院/ハーバード医科大学から記録された脳波を用いて開発された。 多重分類では、6つのカテゴリに対するVIPEEGNETの感度は36.8%から88.2%である。
  論文  参考訳（メタデータ） (2025-07-10T02:22:13Z)
• Predicting Length of Stay in Neurological ICU Patients Using Classical Machine Learning and Neural Network Models: A Benchmark Study on MIMIC-IV [49.1574468325115]
  本研究は、MIMIC-IVデータセットに基づく神経疾患患者を対象とした、ICUにおけるLOS予測のための複数のMLアプローチについて検討する。 評価されたモデルには、古典的MLアルゴリズム(K-Nearest Neighbors、Random Forest、XGBoost、CatBoost)とニューラルネットワーク(LSTM、BERT、テンポラルフュージョントランス)が含まれる。
  論文  参考訳（メタデータ） (2025-05-23T14:06:42Z)
• Deep Survival Analysis from Adult and Pediatric Electrocardiograms: A Multi-center Benchmark Study [5.554864650304149]
  心電図(AI-ECG)に応用された人工知能は死亡予測の可能性を示している。 ミナスジェライスのBeth Israel Deaconess(MIMIC-IV)、Telehealth Network of Minas Gerais(Code-15)、Boston Children's Hospital(BCH)の3大コホートにおけるモデル設計選択の評価を行った。 我々は、地平線に基づく分類とディープサバイバル手法を畳み込みネットワークやトランスフォーマーを含むニューラルアーキテクチャと比較し、全原因死亡予測モデルを評価した。
  論文  参考訳（メタデータ） (2024-06-24T14:37:17Z)
• Quantifying Impairment and Disease Severity Using AI Models Trained on Healthy Subjects [27.786240241494436]
  Confidence-based chaRacterization of Anomalies (COBRA) スコアは、障害または疾患のある患者に提示された場合、これらのモデルの信頼性の低下を利用する。 脳卒中患者の上半身障害の現在の臨床的評価の鍵となる限界にCOBRAスコアを適用した。
  論文  参考訳（メタデータ） (2023-11-21T18:45:52Z)
• UNITE: Uncertainty-based Health Risk Prediction Leveraging Multi-sourced Data [81.00385374948125]
  我々はUNcertaInTyベースのhEalth Risk Prediction(UNITE)モデルを提案する。 UNITEは、複数ソースの健康データを活用した正確な疾患リスク予測と不確実性推定を提供する。 非アルコール性脂肪肝疾患(NASH)とアルツハイマー病(AD)の実態予測タスクにおけるUNITEの評価を行った。 UNITEはAD検出のF1スコアで最大0.841点、NASH検出のPR-AUCで最大0.609点を達成し、最高のベースラインで最大19%の高パフォーマンスを達成している。
  論文  参考訳（メタデータ） (2020-10-22T02:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。