論文の概要: Benchmarking decision models against generative large language models on medical multiple-choice questions

• arxiv url: http://arxiv.org/abs/2610.38448v1
• Date: Wed, 28 Oct 2026 08:25:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.975891
• Title: Benchmarking decision models against generative large language models on medical multiple-choice questions
• Title（参考訳）: 医学的多重選択質問に対する生成的大言語モデルに対する基準決定モデル
• Abstract要約: 精度は意思決定モデルでは67.71%から89.08%、生成構成では78.32%から96.86%まで変化した。 マーキュリー・ディケイドは1000問あたり平均最終試行費が最低であった(USD 0.0069)。 3回のランに対する回答は92.30%から100%まで様々であり、確率再現性は様々である。
• 参考スコア（独自算出の注目度）: 1.334099611116506
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Medical workflows often require selecting among predefined options. We compared 13 decision models with 15 generative large language model configurations, including different reasoning settings, using 1,273 four-option MedQA questions under text-only conditions. Accuracy ranged from 67.71% to 89.08% for decision models and from 78.32% to 96.86% for generative configurations. Among the tested configurations, Mercury Decide had the lowest mean final-attempt cost (USD 0.0069 per 1,000 questions), while Clef Omni had the shortest median request duration (0.291 seconds). Decision-model probabilities distinguished correct from incorrect answers, but error rates among answers assigned probabilities of at least 0.90 ranged from 1.71% to 12.77%. Answer agreement across three runs ranged from 92.30% to 100%, while probability repeatability varied. Decision models offered resource advantages alongside lower peak accuracy; selecting models for medical workflows requires considering probability quality and repeatability together with accuracy and the resources needed to detect and correct errors.
• Abstract（参考訳）: 医療ワークフローは、事前に定義された選択肢の選択を必要とすることが多い。 テキストのみの条件下で1273の4オプションのMedQA質問を用いて,13の意思決定モデルと15の生成大言語モデル構成を比較した。 精度は意思決定モデルでは67.71%から89.08%、生成構成では78.32%から96.86%まで変化した。 テストされた構成のうち、マーキュリー・デバイドは1000問につき平均的な最終試行コスト(USD 0.0069)が最低であったが、クリーフ・オムニは最短の要求時間(0.291秒)であった。 決定モデル確率は誤った答えと正しく区別されるが、少なくとも0.90の確率を割り当てた解の誤り率は1.71%から12.77%であった。 3回のランに対する回答は92.30%から100%まで様々であり、確率再現性は様々である。 医療ワークフローのためのモデルを選択するには、精度とエラーの検出と修正に必要なリソースとともに、確率品質と再現性を考慮する必要がある。

関連論文リスト

• The Value of System 1 Models in Medicine [26.87603432529217]
  生成言語モデルは、自由テキストでゆっくりと応答し、信頼度を低く表現する。 システム1モデルは、回答がテキストで述べられたり、医学的知識からリコールされた場合、迅速に、安価に、そして使用可能な信頼を持って決定する。 1つの決定は0.34秒から0.44秒で、オープンウェイトモデルの24から81ジュールがローカルで実行された。
  論文  参考訳（メタデータ） (2026-10-22T14:08:52Z)
• RetiJev: Fast and Source-Grounded Ophthalmic Decision Models [49.18315352624845]
  自己回帰型大規模言語モデル(LLM)は、事前に定義されたアクション間の決定にかなりのレイテンシと計算オーバーヘッドをもたらす。 RetiJev-Dataは,78,158個の臨床診断と診断質問からなる眼科原点検コーパスである。 RetiJev は 0.8B-9B 決定モデルのファミリーで, 自己回帰的復号化を伴わず, 直接解を求める。
  論文  参考訳（メタデータ） (2026-10-22T08:59:47Z)
• Chinese Decision: A Family of Language Models for Single-Pass Probabilistic Decision-Making [1.8430422880689117]
  中国語決定モデルのファミリーである中国語決定について述べる。 各質問は、共有された命令と候補のプロンプトにコンパイルされる。 単一のフォワードパスは、候補文字の最終配置ログを読み出し、有効なオプションでそれらを正規化する。
  論文  参考訳（メタデータ） (2026-10-16T09:08:32Z)
• Intern-Decision: Efficient Multimodal Decision Making with Autoregressive Masked Language Modeling [26.882267847221353]
  Intern-Decisionは0.8B、2B、4Bマルチモーダル決定モデルである。 我々の自己回帰型マスキング言語は、フィールドごとに1つの決定的プレースホルダーを完全なアシスタントスケルトンに配置する。 結果は、より大きなエージェントシステムの実用的なコンポーネントとして、コンパクトな決定モデルをサポートする。
  論文  参考訳（メタデータ） (2026-10-15T16:05:48Z)
• Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
  言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。 しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。 本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T16:19:49Z)
• Benchmarking candidate coverage and rejection policy transfer in typed decision models [7.736174008951463]
  公開参照ラベルを用いてLaya,Jev,Qwen2.5-7B-Instructを比較した。 ソースキャリブレーションは、しばしばターゲットの動作点を保存するのに失敗する。 10の意図的候補を持つLayaは、スコープ外クエリの99.0%を検出するが、カバークエリの48.8%を拒否する。
  論文  参考訳（メタデータ） (2026-10-02T14:36:46Z)
• Explainable Admission-Level Predictive Modeling for Prolonged Hospital Stay in Elderly Populations: Challenges in Low- and Middle-Income Countries [65.4286079244589]
  長期滞在期間 (pLoS) は, 院内感染のリスクに関連する重要な要因である。 入院レベルの患者と病院の診療データを用いて, pLosの予測モデルを開発し, 解説する。
  論文  参考訳（メタデータ） (2026-01-07T23:35:24Z)
• Beyond Correctness: Evaluating Subjective Writing Preferences Across Cultures [87.75098311090642]
  現在の選好学習法は、標準ベンチマークで高い精度を達成するが、客観的な品質信号を取り除いた場合、顕著な性能劣化を示す。 我々は、8つのクリエイティブな著作ジャンルにまたがる1,800の人手による好みペア(1,200の英語、600の中国語)のデータセットであるWriteingPreferenceBenchを紹介した。
  論文  参考訳（メタデータ） (2025-10-16T12:23:13Z)
• Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts [119.22672589020394]
  モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。 我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
  論文  参考訳（メタデータ） (2023-06-19T18:48:15Z)
• Improving Selective Visual Question Answering by Learning from Your Peers [74.20167944693424]
  VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。 本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。 提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
  論文  参考訳（メタデータ） (2023-06-14T21:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。