論文の概要: How Reliable Are System-One Decisions in Medicine? A Comparative Study of Jev, Jev-like Models, and LLMs

• arxiv url: http://arxiv.org/abs/2610.18529v2
• Date: Fri, 16 Oct 2026 16:01:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.535573
• Title: How Reliable Are System-One Decisions in Medicine? A Comparative Study of Jev, Jev-like Models, and LLMs
• Title（参考訳）: 医療におけるシステムワンの決定はどの程度信頼性が高いか : Jev, Jevライクモデル, LLMの比較研究
• Abstract要約: Jevはその迅速で一般化可能な意思決定でかなりの注目を集めている。 本研究は15の医療データセットにまたがる様々なシステム・ワンの意思決定モデルを比較した。 Jevは、主にテキスト駆動タスクにおいて主要なモデルと競合するが、数値駆動タスクでは効果が低い。
• 参考スコア（独自算出の注目度）: 42.764309070274784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Jev has attracted considerable attention for its rapid, generalizable decision-making, yet its medical reliability remains underexplored. To address this gap, our study compares various types of system-one decision models across 15 medical datasets comprising 8,742 instances under a unified protocol. Beyond accuracy, we assess decision stability and the ability to recognize unreliable decisions. Our results show that Jev rivals leading models on primarily text-driven tasks but is less effective on numerically driven tasks, revealing a distinct capability boundary. Under question-format variations, Jev maintains strong decision consistency and small accuracy fluctuations. StartLux-27B exhibits comparable consistency, while D3-27B achieves higher overall accuracy and a lower mean decision reversal rate. But these strengths do not extend to reliable abstention awareness: most evaluated models show limitations in both recognizing missing correct answers and using optional abstention. Moreover, we find that Jev's probability-based answer selection can be improved by changing how decisions are scored: normalizing option-wise binary scores yields higher retained accuracy than choice scoring. Taken together, our findings provide early guidance for improving and applying decision models in medicine.
• Abstract（参考訳）: イェフはその迅速で一般化可能な意思決定のためにかなりの注目を集めているが、その医療的信頼性は未発見のままである。 このギャップに対処するため,本研究では,統合されたプロトコルの下で8,742インスタンスからなる15の医療データセットを対象に,システム1決定モデルのさまざまなタイプを比較した。 正確性を超えて、決定の安定性と信頼できない決定を認識できる能力を評価します。 この結果から,Jevは主にテキスト駆動型タスクにおいて先行するモデルと競合するが,数値駆動型タスクでは効果が低く,機能境界が明確であることがわかった。 質問形式のバリエーションの下では、Jevは強い決定一貫性と小さな精度の変動を維持している。 StartLux-27Bは同等の一貫性を示し、D3-27Bは全体的な精度を高め、平均決定反転率を低くする。 しかし、これらの強みは、信頼できる棄権意識にまで拡張されない。ほとんどの評価されたモデルは、欠落した正解を認識することと、オプションの棄権の使用の両方において制限を示す。 さらに、Jevの確率に基づく解選択は、判定の方法を変えることで改善できることが判明した: オプションワイドバイナリスコアの正規化は、選択スコアよりも高い保持精度が得られる。 本研究は,医学における意思決定モデルの改善と応用に関する早期ガイダンスを提供するものである。

関連論文リスト

• General Decision Models: Benchmarking and Insights Beyond Jev [43.119878552608924]
  一般的な決定モデルは、構造化された判断と選択のためのLLMの効率的な代替品として登場した。 JEValは10のアプリケーションドメインにわたる36のデータセットから11,257のインスタンスからなるベンチマークである。 一般的な決定モデルは、利用可能な証拠から決定を解くことができれば最も競争力があるが、専門家の知識を必要とすると弱くなることを示す。 本研究では,オープンウェイト LLM 独自の推論を単一パスのファーストトケイン決定に内在させる内在的 Jev-4B と内在的 Jev-27B を提案する。
  論文  参考訳（メタデータ） (2026-10-02T18:47:00Z)
• OmniMed-Jev: Calibrating LVLM Confidence for Trustworthy Medical Multimodal Decisions via System One [9.555285052728198]
  提案するOmniMed-Jevは,複数モーダル供給候補集合に対する選択,Nuul,スコア決定として,それぞれの医学的決定を表現している。 様々な画像モダリティを受け入れ、異なる予測タスクをカバーし、1つの候補条件付き確率モデルを通してそれらを表現する。 OmniMed-Jevの報告した確率トラックは、同じバックボーン、データ、スケジュールでトレーニングされた生成ベースラインに対するインターフェース制御された比較において、より正確に観察された。
  論文  参考訳（メタデータ） (2026-09-30T08:53:54Z)
• Calibrated Decision Models for Autonomous Penetration-Testing Harnesses: JEV and Laya as System One Decision Layers for LLM-Driven Pentest Agents [0.0]
  システム1決定モデルが自律的な浸透テストハーネスをどのようにサポートするかを検討する。 本稿では,TypeSafe System One (Jev) とそれのないものと13の脆弱性を含むWebターゲットとを比較した探索的NeuroSploitケーススタディを提案する。 ドメイン適応型System OneモデルであるRaveを提案し、そのトレーニングデータ、評価プロトコル、およびハーネス保証に対する潜在的影響について概説する。
  論文  参考訳（メタデータ） (2026-09-24T02:47:20Z)
• When Does Quality-Aware Multimodal Fusion Matter? A Leakage-Safe Diagnostic for Decision-Level Dependence [3.899171236602393]
  本稿では,推測時に信頼性情報を使用するかどうかを簡易に診断する手法を提案する。 感情分析のためのストレス認識とCMU-MOSEIの実験は、変動する信頼性スコアは、性能が変わらないことを示している。
  論文  参考訳（メタデータ） (2026-06-25T00:14:22Z)
• Measuring Stability Beyond Accuracy in Small Open-Source Medical Large Language Models for Pediatric Endocrinology [34.80893325510028]
  小さなオープンソース医療用大規模言語モデル(LLM)は、低リソースのデプロイメントとより広範なアクセシビリティのための有望な機会を提供する。 人体評価と臨床検査を併用して,6つの小さなオープンソース医療用LLMを評価した。
  論文  参考訳（メタデータ） (2025-12-26T14:30:53Z)
• Selective Mixup for Debiasing Question Selection in Computerized Adaptive Testing [50.805231979748434]
  コンピュータ適応テスト (Computerized Adaptive Testing, CAT) は、オンライン教育プラットフォームにおける学習者の習熟度を評価する技術である。 選択バイアスは、質問選択が推定された熟練度に強く影響されるため生じる。 本稿では,Cross-Attribute Examinee RetrievalとSelective Mixup-based Regularizationの2つの主要なモジュールからなるデバイアス化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-19T08:55:01Z)
• Uncertainty Estimation of Large Language Models in Medical Question Answering [60.72223137560633]
  大規模言語モデル(LLM)は、医療における自然言語生成の約束を示すが、事実的に誤った情報を幻覚させるリスクがある。 医学的問合せデータセットのモデルサイズが異なる人気不確実性推定(UE)手法をベンチマークする。 以上の結果から,本領域における現在のアプローチは,医療応用におけるUEの課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-07-11T16:51:33Z)
• Improving Selective Visual Question Answering by Learning from Your Peers [74.20167944693424]
  VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。 本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。 提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
  論文  参考訳（メタデータ） (2023-06-14T21:22:01Z)
• Reliable Visual Question Answering: Abstain Rather Than Answer Incorrectly [100.60560477391732]
  我々は、信頼性のある視覚的質問応答(VQA)のための問題定式化を促進する。 私たちは、彼らのカバレッジ、回答された質問の一部、そしてその部分のエラーの両方を分析します。 最高のパフォーマンスモデルは、VQA v2データセットで71%以上の精度を達成するが、そのオプションを導入することで、低いエラー(1%)のリスクを達成するために、8%未満の質問に答えることが制限されることがわかった。 これにより、マルチモーダル選択関数を用いて、予測された回答の正しさを直接推定し、例えば5.0%から16.7%のカバレッジを3倍にすることができることを示す。
  論文  参考訳（メタデータ） (2022-04-28T16:51:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。