論文の概要: Would an LLM Match into a Residency? Uncertainty, Reasoning and Image Use of Open Language Models on the Spanish MIR Examination

• arxiv url: http://arxiv.org/abs/2610.31586v1
• Date: Thu, 22 Oct 2026 17:23:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.495392
• Title: Would an LLM Match into a Residency? Uncertainty, Reasoning and Image Use of Open Language Models on the Spanish MIR Examination
• Title（参考訳）: LLMはレジデンシーにマッチするか? スペインのMIR試験におけるオープン言語モデルの不確かさ, 推論, 画像利用
• Abstract要約: スペインのMIR在留試験において,8～27億のパラメータの4つのオープンモデルの精度について検討した。 3つの大きなモデルは、およそ600から3000人の候補者の中からランク付けされ、41から43の特典がまだ開かれている。 医療の微調整は、正しい回答と正しく区別する方法を改善することなく、正確さを犠牲にして過度に自信を減らした。
• 参考スコア（独自算出の注目度）: 0.9236074230806578
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accuracy on medical examinations is common evidence offered for the clinical use of language models, yet a health system that intends to run an open model on its own hardware needs to know considerably more: whether the model recognizes when it is likely to be wrong, whether medical fine-tuning improves this ability, whether its correct answers rest on sound clinical reasoning, or whether it actually uses the images it is given. We examine these questions for four open models of 8 to 27 billion parameters on the Spanish MIR residency examination, scoring 1,552 questions from eight editions under the exam's own rules. Answering every question, the three larger models would rank among roughly the first 600 to 3,000 candidates, with 41 to 43 specialties still open to them. Abstention, however, never pays, because even their least confident answers are right more often than the 25% break-even. Medical fine-tuning reduced overconfidence at the cost of accuracy, without improving how well confidence separates right from wrong answers. Moreover, 13-38% of correct answers rejected a distractor for a clinically unsound reason that confidence did not reflect, and removing or swapping the provided contextual images left accuracy unchanged.
• Abstract（参考訳）: 医学検査の正確性は、言語モデルの臨床的使用に求められる一般的な証拠であるが、独自のハードウェア上でオープンモデルを実行しようとする健康システムは、そのモデルがいつ間違っているかを認識しているかどうか、医学的な微調整によってこの能力が改善されているかどうか、正しい答えが健全な臨床的理由に依存しているかどうか、あるいは実際に与えられた画像を使用するかどうかを、かなり知る必要がある。 スペインのMIR在留試験において,8～27億のパラメータからなる4つのオープンモデルに対するこれらの質問について検討し,試験独自のルールの下で8つの版から1,552の質問を採点した。 あらゆる疑問に答えると、3つの大きなモデルは、およそ600から3000人の候補者の中からランク付けされ、41から43の特典がまだ開かれている。 もっとも自信の持たない回答でさえ、25%の休憩時間よりも正しいことがよくあるからだ。 医療の微調整は、正しい回答と正しく区別する方法を改善することなく、正確さを犠牲にして過度に自信を減らした。 さらに,13～38%の正答率は,信頼度が反映されないという臨床的に不明瞭な理由に対する注意散らしを否定し,得られた文脈画像の削除や交換は,精度が変化しないままであった。

関連論文リスト

• The Value of System 1 Models in Medicine [27.269075135861513]
  生成言語モデルは、自由テキストでゆっくりと応答し、信頼度を低く表現する。 システム1モデルは、回答がテキストで述べられたり、医学的知識からリコールされた場合、迅速に、安価に、そして使用可能な信頼を持って決定する。 1つの決定は0.34秒から0.44秒で、オープンウェイトモデルの24から81ジュールがローカルで実行された。
  論文  参考訳（メタデータ） (2026-10-22T14:08:52Z)
• Confident but Unreliable: A Behavioral Safety Audit of Vision-Language Models on Brain MRI [1.2744523252873352]
  我々は、フロンティアマルチモーダルシステムにおいて、より広い障害モードのために、制御されたハイテイクテストベッドとして、脳MRIを使用します。 本稿では,4,102画像上の6つの命令調整型視覚言語モデル(VLM)の自動評価とパイロット実験について述べる。 モデル全体では、回答のカバレッジはほぼ完全であるが、言語化された信頼度キャリブレーションは貧弱である。 オープンエンド診断では、幻覚と禁忌は、複数の選択精度とは別々に異なることが示されている。
  論文  参考訳（メタデータ） (2026-08-03T18:42:04Z)
• Calibrated Triage, Not Autonomy: Confidence Estimation for Medical Vision-Language Models [4.0196226339562555]
  ヴィジュアル言語モデルは、画像のほとんど使用しながら、医用画像に関する質問に、ゆるやかに、自信を持って答えることができる。 我々は,5つのオープンウェイトLVLMと3つの医用視覚質問応答データセットの信頼度推定器について検討した。
  論文  参考訳（メタデータ） (2026-06-14T16:39:17Z)
• Measuring Epistemic Resilience of LLMs Under Misleading Medical Context [47.20527783144983]
  大規模言語モデル(LLMs)は、医療ライセンス試験のエキスパートレベルスコアに到達した。 誤解を招く文脈が LLM が元来正しく答える質問に注入されると、彼らは正しい答えを放棄する。 本研究は, 逆行性てんかんのレジリエンス下での正しい判断を維持できる能力と, 測定にMedMisBenchを導入している。
  論文  参考訳（メタデータ） (2026-06-10T16:27:26Z)
• JMed48k: A Multi-Profession Japanese Medical Licensing Benchmark for Vision-Language Model Evaluation [53.571125769505194]
  本稿では,視覚言語モデルを評価するための医療ライセンスベンチマークであるJMed48kを紹介する。 JMed48kは、厚生労働省が発行した公式PDF資料から作成され、48,862件の試験質問と20,142件の画像を収録している。 JMed48k-Evalは,テキストのみの質問9,905件,画像による質問2,579件を含む12,484件の回答を得た。
  論文  参考訳（メタデータ） (2026-05-21T07:20:38Z)
• MedVIGIL: Evaluating Trustworthy Medical VLMs Under Broken Visual Evidence [24.517280048376758]
  medvigilは4つの公開医療用VQAソースから作成された300ケースの評価スイートである。 あらゆるゴールド回答、拒絶オプション、候補答えセット、パラフレーズ、虚偽の前提トラップ、ROIボックス、臨床リスクレベルが臨床著者によって作成される。 メドビニル複合スコア(MCS)に要約した7つの正当性条件監査指標を報告する。 独立した放射線学者は、静電気障害率5.8%でMCS 83.3をスコアし、14.1ポイントの複合ヘッドルームを最強の監査モデルの上に残した。
  論文  参考訳（メタデータ） (2026-05-08T15:55:30Z)
• Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
  大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。 1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。 診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
  論文  参考訳（メタデータ） (2026-04-06T00:23:10Z)
• Evaluating Reasoning Faithfulness in Medical Vision-Language Models using Multimodal Perturbations [19.488236277427358]
  視覚言語モデル(VLM)は、しばしばチェーン・オブ・シント(CoT)の説明を生み出す。 胸部X線視覚質問応答(VQA)の臨床的基盤として,制御されたテキストと画像修正を用いてCoT忠実度を探索するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-13T09:28:22Z)
• Medical Hallucinations in Foundation Models and Their Impact on Healthcare [71.15392179084428]
  基礎モデルの幻覚は自己回帰訓練の目的から生じる。 トップパフォーマンスモデルは、チェーン・オブ・シークレット・プロンプトで強化された場合、97%の精度を達成した。
  論文  参考訳（メタデータ） (2025-02-26T02:30:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。