論文の概要: Typed Decision Models: An Early Evidence Audit and Evaluation Checklist

• arxiv url: http://arxiv.org/abs/2609.32160v1
• Date: Sat, 26 Sep 2026 02:28:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 19:26:26.645203
• Title: Typed Decision Models: An Early Evidence Audit and Evaluation Checklist
• Title（参考訳）: 型決定モデル:早期監査と評価チェックリスト
• Abstract要約: 型決定モデル(TDM)は、テキストを生成することなく、呼び出し元定義オプション上の確率分布を返す。 タイプセーフは2026年9月15日に商業的な型付き決定モデルであるJevをリリースし、数日以内に小さな評価と複製作業が登場した。 9月19日から24日にかけて発行された28件の論文をレビューし,その成果をラベル確率分類に関する以前の研究に関連づけた。
• 参考スコア（独自算出の注目度）: 0.49109372384514843
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Typed decision models (TDMs) return probability distributions over caller-defined options without generating text. TypeSafe released Jev, a commercial typed decision model, on 15 September 2026, and a small body of evaluation and replication work appeared within days. We review 28 papers posted between 19 and 24 September and relate their findings to earlier work on label-probability classification, constrained decoding, reranking, calibration, and model cascades. In this early literature, the typed readout itself has not shown an independent accuracy advantage over comparable label-probability readouts. Jev's clearest gains are in latency and cost, while accuracy gaps remain on harder tasks. In practical deployments, confidence is often used to decide when to defer to a stronger model or a human. We use recurring weaknesses in these studies to derive a 14-item evaluation checklist for future TDM work. Because the evidence covers only the first nine days after the release of one hosted model, the review should be read as an early evidence map rather than a settled assessment of the model class.
• Abstract（参考訳）: 型決定モデル(TDM)は、テキストを生成することなく、呼び出し元定義オプション上の確率分布を返す。 タイプセーフは2026年9月15日に商業的な型付き決定モデルであるJevをリリースし、数日以内に小さな評価と複製作業が登場した。 9月19日から24日にかけて発行された28件の論文をレビューし、ラベル確率分類、制約付き復号化、再分類、校正、モデルカスケードに関する以前の研究に関連づけた。 この初期の文献では、型付き読み出しそのものは、同等のラベル確率読み出しよりも独立した精度の利点を示していない。 Jevの最大のメリットはレイテンシとコストであり、精度のギャップは難しいタスクに留まっている。 実際の展開では、信頼性は、いつより強いモデルや人間に延期するかを決定するためにしばしば使用される。 今後のTDM作業において,14項目の評価チェックリストを導出するために,これらの研究において繰り返し弱点を用いる。 このエビデンスでは、ホストされたモデルがリリースされてから9日しか経過しないため、レビューはモデルクラスの確定した評価ではなく、早期エビデンスマップとして読むべきである。

関連論文リスト

• Calibrated Decision Models for Autonomous Penetration-Testing Harnesses: JEV and Laya as System One Decision Layers for LLM-Driven Pentest Agents [0.0]
  システム1決定モデルが自律的な浸透テストハーネスをどのようにサポートするかを検討する。 本稿では,TypeSafe System One (Jev) とそれのないものと13の脆弱性を含むWebターゲットとを比較した探索的NeuroSploitケーススタディを提案する。 ドメイン適応型System OneモデルであるRaveを提案し、そのトレーニングデータ、評価プロトコル、およびハーネス保証に対する潜在的影響について概説する。
  論文  参考訳（メタデータ） (2026-09-24T02:47:20Z)
• Evaluating Decision Models for Text Annotation in Computational Social Science [0.7792020418343021]
  決定モデルは、選択された型付き質問、ラベルセット上の確率分布、自由テキストよりも信頼スコアに答える。 最初の商用決定モデルと2つのオープンウェイトな決定モデルと、19のフロンティアとオープンウェイトな言語モデルを比較します。 我々の結果は、決定モデルがアノテーションパイプラインの第一歩として有用であることを示唆している。
  論文  参考訳（メタデータ） (2026-09-21T13:41:54Z)
• The C-index illusion: discrimination without calibration in published survival models [0.0]
  我々は3つの構造的に異なる領域にまたがって3つのサバイバル-MLモデルを再現する。 ホルム補正された家族的誤り率の下で,5つの事前登録仮説を検証した。
  論文  参考訳（メタデータ） (2026-07-21T19:13:54Z)
• A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
  大規模言語モデル(LLM)のための最初の形式的確率的評価フレームワークを紹介する。 すなわち,モデルの出力分布に関する確率保証の高い新しい指標を提案する。 私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
  論文  参考訳（メタデータ） (2024-10-04T15:44:23Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。