論文の概要: Decision and System One models in rheumatology: accuracy and calibration on specialty-training examination questions and diagnostic case vignettes

• arxiv url: http://arxiv.org/abs/2610.40318v1
• Date: Thu, 29 Oct 2026 15:53:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.109677
• Title: Decision and System One models in rheumatology: accuracy and calibration on specialty-training examination questions and diagnostic case vignettes
• Title（参考訳）: 慢性関節リウマチにおける決定とシステム1モデル:専門訓練試験質問の精度と校正と診断症例のビゲット
• Abstract要約: 慢性関節リウマチ検査と診断ヴィグネットの判定とシステム1モデルの評価を行った。 システム1の最良の性能は、検査上の問題では極めて正確であったが、診断用ヴィグネットでは精度が低く、GPT-6ゾル以下であった。
• 参考スコア（独自算出の注目度）: 0.30786914102688595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Objectives: To evaluate the accuracy and calibration of Decision and System One models on rheumatology examination questions and diagnostic vignettes. Methods: Two benchmarks were analysed: 172 rheumatology questions from Spanish specialty-training examinations (expanded RheumaMIR dataset) in Spanish and English, and 70 English diagnostic vignettes from RheumBench with 5-18 candidate diagnoses, 52 of which included the reference diagnosis. Four System One models (Jev 1.13, Clef, Microsoft-Decision-1, Laya) and GPT-6 Luna (OpenAI Decisions API) were compared with GPT-6 Sol and two local generative models. The primary outcome was accuracy; secondary outcomes included calibration, discrimination, accuracy of answers with probability >=0.90 and language differences. Results: In RheumaMIR, Jev's accuracy was 93.0% in Spanish and 91.9% in English, below GPT-6 Sol (99.4%; Holm-adjusted P<=0.005); GPT-6 Luna reached 97.7%, Clef 91.9-93.0% and Microsoft-Decision-1 86.0-87.8%, without detectable language differences. Jev's answers with probability >=0.90 (76-77% of answers) were 98.5% correct. In RheumBench, accuracy was lower: GPT-6 Sol 76.9%, GPT-6 Luna 63.5%, Clef 59.6%, Jev 50.0% and Microsoft-Decision-1 40.4% (each System One model below GPT-6 Sol, Holm-adjusted P<=0.045; chance 9.6%). Jev became overconfident (mean probability 0.659; over/underconfidence index +0.159), and its answers with probability >=0.90 (25% of cases) were 84.6% correct, against 95.5% for GPT-6 Luna (42%). Laya performed near chance in both benchmarks. Conclusion: The best-performing System One models were highly accurate on examination questions but less accurate on diagnostic vignettes, remaining below GPT-6 Sol. Jev's high-confidence predictions were less reliable on vignettes, highlighting the need for task-specific evaluation and calibration.
• Abstract（参考訳）: 目的:リウマチ検査問題と診断用ウィグレットの精度評価とシステム1モデルの校正について検討する。 方法: スペイン語および英語のRheumaMIRデータセット(拡張されたRheumaMIRデータセット)からの172のリウマトロジー質問と、RheumBenchの70の英語診断ヴィグネットと5-18の候補診断、52の基準診断を含む2つのベンチマークが分析された。 4つの System One モデル (Jev 1.13, Clef, Microsoft-Decision-1, Laya) と GPT-6 Luna (OpenAI Decisions API) を比較した。 第一の結果は精度であり、第二の結果は校正、識別、確率=0.90の答えの精度、言語の違いであった。 結果: RheumaMIRでは、Jevの精度はスペイン語で93.0%、英語で91.9%、GPT-6 Sol (99.4%、ホルム調整P<=0.005)、GPT-6 Luna は97.7%、Clef 91.9-93.0%、Microsoft-Decision-1 86.0-87.8%となり、言語差は検出できなかった。 Jev の確率 >=0.90 (76-77%) での回答は98.5% であった。 GPT-6 Sol 76.9%、GPT-6 Luna 63.5%、Clef 59.6%、Jev 50.0%、Microsoft-Decision-1 40.4%(すべてのシステム1モデルはGPT-6 Sol、ホルム調整P<=0.045、確率9.6%)。 Jevは過信(平均0.659;over/underconfidence index +0.159)となり、確率>=0.90(25%)の回答は84.6%、GPT-6 Luna(42%)は95.5%であった。 ラヤは両方のベンチマークでほぼ偶然に実行した。 結論: 最高性能の System One モデルでは, 検査問題では高い精度が得られたが, GPT-6 Sol 以下では診断ヴィグネットでは精度が低かった。 Jevの高信頼の予測はウィグネットでは信頼性が低く、タスク固有の評価と校正の必要性を強調した。

関連論文リスト

• RetiJev: Fast and Source-Grounded Ophthalmic Decision Models [49.18315352624845]
  自己回帰型大規模言語モデル(LLM)は、事前に定義されたアクション間の決定にかなりのレイテンシと計算オーバーヘッドをもたらす。 RetiJev-Dataは,78,158個の臨床診断と診断質問からなる眼科原点検コーパスである。 RetiJev は 0.8B-9B 決定モデルのファミリーで, 自己回帰的復号化を伴わず, 直接解を求める。
  論文  参考訳（メタデータ） (2026-10-22T08:59:47Z)
• Jev in Medicine: A Benchmark Evaluation [0.42970700836450487]
  Jevは、事前定義された回答オプションに確率を割り当て、外部では答えられない、非生成的な"System One"モデルである。 MetaMedQA, PubMedQA, diagnosisArena-MCQ, NEJM Case Challengesの4つのベンチマークでJev 1.13を評価した。
  論文  参考訳（メタデータ） (2026-09-27T23:33:04Z)
• RareLens: Towards End-to-End Rare Disease Care via Aligning Divergent Large Language Model Reasoning [42.80742579670377]
  RareLensは、まれな疾患の軌跡全体にわたる臨床的意思決定を支援するシステムである。 RareBenchは、33のOrphanetカテゴリと7000以上の条件にまたがる157,525件の実際のデータセットである。 検診で0.917、診断と治療で65.5%、89.8%の成績を収めた。
  論文  参考訳（メタデータ） (2026-07-25T16:58:10Z)
• A Pathology Foundation Model for Gastric Cancer with Real-World Validation [47.19073124722865]
  本稿では,実世界評価と臨床dEcision支援のための,胃科固有の基礎モデルであるGRACEについて述べる。 GRACEは, 症例37,493例のHE-stained whole-slide画像を中心に, 48,364例の多施設で開発された。 高齢の病理医に非劣性パフォーマンスを維持するように調整された場合、AI支援のワークフローは萎縮の60.7%、腸転移の82.7%をトリアージする可能性がある。
  論文  参考訳（メタデータ） (2026-06-03T12:18:06Z)
• Medical thinking with multiple images [44.04557445622649]
  我々はMedThinkVQAを紹介した。MedThinkVQAは、複数の画像で考えるためのエキスパートアノテーション付きベンチマークである。 データセットは720のテストケースを含む8,067ケースを含み、1ケースあたり平均6.62イメージである。 テストセットでは、最高のクローズドソースモデルであるClaude-4.6-Opus、Gemini-3-Pro、GPT-5.2-xhighは57.2%、55.3%、54.9%の精度しか達成できなかった。
  論文  参考訳（メタデータ） (2026-04-14T18:51:07Z)
• PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
  大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。 我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。 LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
  論文  参考訳（メタデータ） (2026-03-02T00:50:39Z)
• Hallucination Filtering in Radiology Vision-Language Models Using Discrete Semantic Entropy [2.2820819635675478]
  個別意味エントロピー(DSE)を用いて幻覚を発生させる可能性のある質問を拒絶することで、X線画像に基づく視覚質問応答(VQA)におけるブラックボックス視覚言語モデル(VLM)の精度を向上させることができる。 この振り返り調査は、2つの公開されていないデータセットを使用してDSEを評価した。
  論文  参考訳（メタデータ） (2025-10-10T10:53:33Z)
• A Comprehensive Study on Fine-Tuning Large Language Models for Medical Question Answering Using Classification Models and Comparative Analysis [0.0]
  医療問題に対する信頼性の高い回答の提供の精度と効率を改善している。 また,RoBERTaやBERTなどの各種モデルについて,その能力に基づいて検討・評価を行った。
  論文  参考訳（メタデータ） (2025-01-27T03:31:02Z)
• Enhancing Diagnostic Reliability of Foundation Model with Uncertainty Estimation in OCT Images [41.002573031087856]
  光コヒーレンストモグラフィー(OCT)における11個の網膜状態を検出するために,不確実性推定(FMUE)を用いた基礎モデルを開発した。 FMUEは2つの最先端アルゴリズムであるRETFoundとUIOSよりも96.76%高いF1スコアを獲得し、しきい値戦略を98.44%に改善した。 我々のモデルは、F1スコアが高い2人の眼科医(95.17%対61.93% &71.72%)より優れている。
  論文  参考訳（メタデータ） (2024-06-18T03:04:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。