論文の概要: TypedBench: A Benchmark for Calibration, Framing Sensitivity, and Cost in System One Decision Models
- arxiv url: http://arxiv.org/abs/2610.11392v2
- Date: Fri, 09 Oct 2026 06:45:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.201523
- Title: TypedBench: A Benchmark for Calibration, Framing Sensitivity, and Cost in System One Decision Models
- Title（参考訳）: TypedBench: システム1決定モデルにおける校正、フラーミング感度、コストのベンチマーク
- Abstract要約: Jevのような型付き決定モデルのベンチマークを、7つのポリシー付きジェネレータと9つの評価スイートから作成する。
一致した完全予測器の有限サンプルノイズフロアに対して, パラフレーズの中央値と範囲の精度, キャリブレーション誤差を報告する。
全体として、型付き決定モデルは、ポリシーの順守、言葉遣い、確率品質、帰納的な決定結果に基づいて共同で評価されなければならない。
- 参考スコア（独自算出の注目度）: 7.3505207627577756
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: System One models output calibrated probabilities over typed answers such as categorical choices, ordinal levels, or binary outcomes, via a non-generative interface. Software can act on these probabilities through thresholds, cost-weighted choices, and escalation rules. Consequently, if these probabilities are miscalibrated or wording-sensitive, the software ma take unintended actions leaving human operators with no textual rationale to inspect. Current evaluations largely report accuracy and calibration on public classification datasets without a clear reference. We present TypedBench, a benchmark for typed decision models like Jev built from seven policy-labelled generators and nine evaluation suites. We report accuracy as median and range across paraphrases, and calibration error relative to the finite-sample noise floor of a matched, perfectly calibrated predictor. We assess probability quality through selective prediction, ordinal proper scoring rules, and realised cost under asymmetric cost matrices. We evaluate a hosted model, an open encoder, and a family of open decoders spanning 0.8B-9B parameters on identical items. The hosted model follows the stated policy but is wording-sensitive and systematically underconfident; under asymmetric costs, using its probabilities can be worse than taking its top answer. Decoders route exactly and are slow as options or questions are added. The decoder is least accurate on policy questions and degrades with more options. Overall, typed decision models must be evaluated jointly on policy adherence, wording robustness, probability quality, and induced decision outcomes.
- Abstract（参考訳）: System Oneモデルでは、分類的選択、順序レベル、バイナリ結果などの型付き回答に対して、非生成的インターフェースを介してキャリブレーションされた確率を出力する。
ソフトウェアは、しきい値、コスト重み付けの選択、エスカレーションルールを通じて、これらの確率に作用することができる。
結果として、これらの確率が誤校正されたり、言葉遣いに敏感であったりすると、ソフトウェアマは意図しない行動をとる。
現在の評価では、明確な基準のない公開分類データセットの精度と校正が報告されている。
Jevのような型付き決定モデルのベンチマークであるTypedBenchを紹介します。
一致した完全に校正された予測器の有限サンプル雑音床に対する校正誤差について, パラフレーズの中央値と範囲の精度, およびキャリブレーション誤差を報告する。
非対称なコスト行列の下で、選択的な予測、正規の適切なスコアリングルール、およびコストの実現を通じて、確率品質を評価する。
ホストモデル,オープンエンコーダ,および0.8B-9Bパラメータにまたがるオープンデコーダ群を評価した。
ホストされたモデルは、前述の方針に従っているが、言葉に敏感であり、体系的に不信感である。
デコーダは、オプションや質問が加えられるにつれて、正確にルートと速度が遅くなります。
デコーダはポリシーに関する質問に対して最小限に正確であり、選択肢を増やして分解する。
全体として、型付き決定モデルは、ポリシーの遵守、言葉の堅牢性、確率品質、帰納的な決定結果に基づいて共同で評価されなければならない。
関連論文リスト
- Evaluating System One Models for Agent Security Decisions: Reliability, Calibration, and Selective Automation [2.8852978050220766]
我々は,Jev,Laya,Decider,Bespoke Nimbleを特殊分類器および言語モデル判定器に対して評価する。
全体的な精度が高く、平均校正誤差が低いと、特定のグループ内で高い信頼性で安全な攻撃を隠蔽できる。
開発者はレビュールールの前方にある安全でないインプットをテストし、レビューモデルのミスを測定し、それらのインプットに対して誤ったアラームを無視する必要がある。
論文 参考訳（メタデータ） (2026-09-27T09:30:13Z) - Likelihood Ranking doesn't Scale Like Prompting in LLMs [91.56564968539271]
多重選択QAでは、質問セットと回答セットに標準確率ベースのスコアがまだ条件付けられている。
我々は,同じ質問対から構築された宣言文の確率ランキングに基づく補完的プロトコルについて検討する。
論文 参考訳（メタデータ） (2026-09-24T11:16:53Z) - CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。
我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。
textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
論文 参考訳（メタデータ） (2026-06-04T07:27:53Z) - Geometric Calibration and Neutral Zones for Uncertainty-Aware Multi-Class Classification [0.0]
この研究は情報幾何学と統計的学習を橋渡しし、厳密な検証を必要とするアプリケーションにおいて不確実性を認識した分類の正式な保証を提供する。
アデノ関連ウイルスの分類に関する実証的な検証は、2段階のフレームワークが72.5%のエラーをキャプチャし、34.5%のサンプルを遅延させ、自動決定エラー率を16.8%から6.9%に下げていることを示している。
論文 参考訳（メタデータ） (2025-11-26T01:29:49Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳（メタデータ） (2025-09-29T12:15:52Z) - A Novel Framework for Uncertainty Quantification via Proper Scores for Classification and Beyond [1.5229257192293202]
本稿では,機械学習における不確実性定量化のための新しい枠組みを提案する。
具体的には、カーネルベースの適切なスコアであるカーネルスコアを用いて、サンプルベースの生成モデルを評価する。
キャリブレーション・シャープネスの分解を分類を超えて一般化し、適切なキャリブレーション誤差の定義を動機付ける。
論文 参考訳（メタデータ） (2025-08-25T13:11:03Z) - Ask for More Than Bayes Optimal: A Theory of Indecisions for Classification [0.8283940114367678]
選択分類におけるミニマックスリスクの完全な評価を行う。
非漸近的保証を伴う有限サンプル校正法を提案する。
ガウス混合物と実際のデータセットの実験により、小さな不確定比がかなりの精度の向上をもたらすことが確認された。
論文 参考訳（メタデータ） (2024-12-17T11:25:51Z) - Calibrating AI Models for Wireless Communications via Conformal
Prediction [55.47458839587949]
コンフォーマル予測は,通信システムにおけるAIの設計に初めて適用される。
本稿では,形式的校正保証付き決定を生成するAIモデルを得るための一般フレームワークとしての共形予測の適用について検討する。
論文 参考訳（メタデータ） (2022-12-15T12:52:23Z) - A Study on Mitigating Hard Boundaries of Decision-Tree-based Uncertainty
Estimates for AI Models [0.0]
不確実性ラッパーは、入力品質に関連する不確実性をクラスタ化するための決定木アプローチを使用し、異なる不確実性クラスタに厳密に入力を割り当てる。
我々の目標は、解釈可能性、ランタイムの複雑さ、予測性能を維持しながら、ハードな決定境界を緩和するアプローチに置き換えることです。
論文 参考訳（メタデータ） (2022-01-10T10:29:12Z) - Calibrating Predictions to Decisions: A Novel Approach to Multi-Class
Calibration [118.26862029820447]
我々は、下流の意思決定者に対して、予測された分布と真の分布を区別不能にする必要がある新しい概念、即時校正を導入します。
決定キャリブレーションは、皮膚病変の判定と、現代のニューラルネットワークを用いたImageNet分類を改善する。
論文 参考訳（メタデータ） (2021-07-12T20:17:28Z) - Provable tradeoffs in adversarially robust classification [96.48180210364893]
我々は、ロバストなイソペリメトリに関する確率論の最近のブレークスルーを含む、新しいツールを開発し、活用する。
この結果から,データの不均衡時に増加する標準精度とロバスト精度の基本的なトレードオフが明らかになった。
論文 参考訳（メタデータ） (2020-06-09T09:58:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。