論文の概要: Native Probability Outputs for Clinical Triage: An Evaluation of Calibration and Decision Accuracy
- arxiv url: http://arxiv.org/abs/2610.24692v1
- Date: Sat, 17 Oct 2026 13:46:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-22 16:57:13.281377
- Title: Native Probability Outputs for Clinical Triage: An Evaluation of Calibration and Decision Accuracy
- Title（参考訳）: 臨床トリアージにおけるネイティブ確率出力:校正精度と判定精度の評価
- Abstract要約: Jevを4つの汎用言語モデルと3つの入力非依存ベースラインと比較する。
JevはマクロF1 (0.461) で5つのモデルの4位にランクインするが、観測される最も低いマルチクラスのブライアスコア (0.610) を持つ。
453のHealthBenchの会話の評価により、Jev は最低の Brier スコア (0.299) を得るが、個別の緊急判断を計測する。
- 参考スコア（独自算出の注目度）: 0.08030104928697729
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Patient-facing triage requires an appropriate care recommendation and recognition of when information is insufficient. We evaluate whether Jev, a decision model that returns probabilities over predefined actions, supports both judgments. Using CARE-Bench, we compare Jev with four general-purpose language models and three input-independent baselines across 925 decision points from 439 public cases. On the public test subset, Jev ranks fourth of five models by macro-F1 (0.461) but has the lowest observed multiclass Brier score (0.610), an 18.7\% improvement over uniform prediction (case-bootstrap 95\% interval, 4.9--31.1\%). Noul has lower binary Brier than Choice (0.215 versus 0.276). A evaluation of 453 HealthBench conversations again gives Jev the lowest observed Brier score (0.299), but measures a distinct emergency-referral judgment. Jev combines lower probability error with missed clarification needs in the four-action task. Asking about information sufficiency separately increases recall but also produces frequent unnecessary clarification assignments.
- Abstract（参考訳）: 患者対応トリアージは適切なケアレコメンデーションと情報不足の認識を必要とする。
我々は、事前定義された行動よりも確率を返す決定モデルであるJevが、両方の判断をサポートするかどうかを評価する。
CARE-Benchを用いて、Jevを4つの汎用言語モデルと3つの入力非依存ベースラインと比較した。
公試のサブセットでは、JevはマクロF1(0.461)で5つのモデルの4位にランクインするが、観測される最も低いマルチクラスのブライアスコア(0.610)は、一様予測(ケース・ブートストラップ95.%間隔、4.9-31.1.%)よりも18.7.%改善している。
Noul のバイナリ Brier は Choice より低い (0.215 対 0.276)。
453のHealthBenchの会話の評価により、Jev は最低の Brier スコア (0.299) を得るが、個別の緊急判断を計測する。
Jevは4アクションタスクにおいて低い確率誤差と明確な要求の欠如を組み合わせている。
情報満足度に関する質問は、個別にリコールを増加させるだけでなく、頻繁に不要な明確化の課題も生み出す。
関連論文リスト
- Intern-Decision: Efficient Multimodal Decision Making with Autoregressive Masked Language Modeling [26.882267847221353]
Intern-Decisionは0.8B、2B、4Bマルチモーダル決定モデルである。
我々の自己回帰型マスキング言語は、フィールドごとに1つの決定的プレースホルダーを完全なアシスタントスケルトンに配置する。
結果は、より大きなエージェントシステムの実用的なコンポーネントとして、コンパクトな決定モデルをサポートする。
論文 参考訳（メタデータ） (2026-10-15T16:05:48Z) - Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。
しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。
本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
論文 参考訳（メタデータ） (2026-10-13T16:19:49Z) - How Reliable Are System-One Decisions in Medicine? A Comparative Study of Jev, Jev-like Models, and LLMs [42.764309070274784]
Jevはその迅速で一般化可能な意思決定でかなりの注目を集めている。
本研究は15の医療データセットにまたがる様々なシステム・ワンの意思決定モデルを比較した。
Jevは、主にテキスト駆動タスクにおいて主要なモデルと競合するが、数値駆動タスクでは効果が低い。
論文 参考訳（メタデータ） (2026-10-13T15:15:46Z) - Benchmarking candidate coverage and rejection policy transfer in typed decision models [7.736174008951463]
公開参照ラベルを用いてLaya,Jev,Qwen2.5-7B-Instructを比較した。
ソースキャリブレーションは、しばしばターゲットの動作点を保存するのに失敗する。
10の意図的候補を持つLayaは、スコープ外クエリの99.0%を検出するが、カバークエリの48.8%を拒否する。
論文 参考訳（メタデータ） (2026-10-02T14:36:46Z) - Evaluating and Benchmarking the System One Model Jev [1.579162290333307]
Jevは、テキストを生成しないTypeSafe AIのSystem Oneモデルである。
固定オプション、ルーブリック上の位置、あるいは文が真である確率から選択を返す。
分類,ルーティング,自然言語推論,読解,コモンセンス推論,モデレーション,法的条項解析,ルーリックスコアリングにまたがる37のデータセットに対して,Jevゼロショットを評価した。
論文 参考訳（メタデータ） (2026-09-29T14:15:04Z) - Decision Readouts for Text-Mediated Video Anomaly Detection: An Exploratory Evaluation of Jev and Qwen [9.92799001840128]
我々は,UCF-CrimeとXD-Violenceの40本の動画と400本のターゲットアンカーのスパース開発サンプルを用いて,Jev型判定と3つのQwen読み出し結果を評価した。
XDキャプションでは、Jev Noulは平均精度を75.99%、Qwen生成確率は48.47%、ローカルな順序的予想が57.81%に達した。
論文 参考訳（メタデータ） (2026-09-28T02:58:55Z) - Do System One Decisions Add Up? A Study of Probabilistic Coherence [0.0]
決定モデルは、同じ決定を小さなステップに分割した場合に、すべての質問に対して1にまとめる確率を与えることができます。
本研究は, 直接微視的予測と広いカテゴリの確率, それらのカテゴリを通して再構成された予測とを比較した。
カテゴリーレベルの総変分の平均は、Jevでは0.219から0.349、Layaでは0.424から0.689までである。
論文 参考訳（メタデータ） (2026-09-27T22:15:56Z) - Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。
9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
論文 参考訳（メタデータ） (2026-09-07T10:22:22Z) - Knowledge Index of Noah's Ark [63.143852586221534]
KINAは,261分野にわたる899項目のベンチマークである。
ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。
トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
論文 参考訳（メタデータ） (2026-06-03T17:06:49Z) - From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。
商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。
低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
論文 参考訳（メタデータ） (2026-03-02T13:02:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。