論文の概要: Confidence Is Not a Promise: A Reference Audit of Typed Decision Models

• arxiv url: http://arxiv.org/abs/2610.36311v1
• Date: Mon, 26 Oct 2026 21:33:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.437976
• Title: Confidence Is Not a Promise: A Reference Audit of Typed Decision Models
• Title（参考訳）: 信頼は約束ではない:型決定モデルの参照監査
• Abstract要約: 型付き決定モデルは、呼び出し側が提供するオプションよりも確率分布を返します。 オープンウェイトなLayaを5つのチェックポイントで比較して、ライセンスを計測します。 190以上の交換可能な評価では、ポイント推定によって選択されたしきい値が147で約束を破り、次にテストを学び、テストはそれらを全て保持し、ベータローバウンドルールは128でテストし、128でテストし、保証なしでそれより少ないアイテムを決定する。
• 参考スコア（独自算出の注目度）: 0.5076419064097734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Typed decision models return a probability distribution over options supplied by the caller, and software tends to act on that number as if it were a guarantee. We measure what it licenses, comparing the open-weight Laya, in five checkpoints, with Jev 1.13, available only through an API. A probability licenses a statement about groups of decisions, not about one decision, and a gate that promises an accuracy among the cases it decides alone keeps that promise only with a lower bound checked on data like its traffic. Across 190 exchangeable evaluations, a threshold chosen by point estimate breaks the promise in 147, Learn then Test keeps it in all of them, and a Beta lower-bound rule decides more items on average than Learn then Test in 128 and fewer in none, without its guarantee. Calibrated in English, Jev keeps a promise of 95% in 8 of 51 locales. Ordinary typing noise breaks a promise calibrated on clean text, and, in exploratory runs, training with noise raises the noisy accuracy with no loss on clean text. In four further domains, a fine-tuned Laya needs from 250 to 8,000 labels to be non-inferior to Jev, and does not get there on LIAR2. Under drift, the preregistered claim for a Bayesian retraining loop is not supported: the loop avoids needless retraining where the change does not degrade the model, at a cost equivalent to recalibration alone, and re-qualifying the threshold in every window keeps the promise more often where it does. On the monthly series of M3, neither decider predicts the direction of the next value better than a constant answer. Confidence separates right from wrong answers with an AUROC from 0.80 to 0.96, but it does not select faithful explanations, and exact coalition games of single decisions show what an explanation can still say through an API that rounds to two decimals. We release the frozen answers with a datasheet, a promise check and the code.
• Abstract（参考訳）: 型付き決定モデルは、呼び出し側が提供するオプションよりも確率分布を返します。 オープンウェイトなLayaを5つのチェックポイントで比較して、ライセンスを計測します。 確率は、決定のグループに関する声明を1つの決定ではなくライセンスし、決定するケースの中で正確性を約束するゲートは、その約束を、そのトラフィックのようなデータに対する低いバウンドチェックでのみ保持する。 190以上の交換可能な評価では、ポイント推定によって選択されたしきい値が147で約束を破り、次にテストを学び、テストはそれらを全て保持し、ベータローバウンドルールは128でテストし、128でテストし、保証なしでそれより少ないアイテムを決定する。 英語でキャリブレーションされたJevは、51の地方住民のうち8人に95%を約束している。 通常のタイピングノイズは、クリーンテキストで調整された約束を破り、探索走行では、ノイズによるトレーニングは、クリーンテキストで損なうことなくノイズの精度を高める。 さらに4つのドメインでは、微調整されたLayaは250から8000のラベルを必要とし、Jevに非依存であり、LIAR2では到達しない。 ドリフトの下では、ベイズ再トレーニングループに対する事前登録されたクレームはサポートされない: ループは、変更がモデルが分解されないような不要な再トレーニングを避ける。 M3の月次系列では、どちらの決定者も次の値の方向を一定解よりも予測しない。 信頼は、AUROCの間違った回答から0.80から0.96に分離するが、忠実な説明は選ばず、単一の決定の正確な連立ゲームは、説明が2つの10進数に丸めるAPIを通してまだ何と言うかを示している。 データシート、約束チェック、コードによる凍結した回答をリリースします。

関連論文リスト

• Benchmarking candidate coverage and rejection policy transfer in typed decision models [7.736174008951463]
  公開参照ラベルを用いてLaya,Jev,Qwen2.5-7B-Instructを比較した。 ソースキャリブレーションは、しばしばターゲットの動作点を保存するのに失敗する。 10の意図的候補を持つLayaは、スコープ外クエリの99.0%を検出するが、カバークエリの48.8%を拒否する。
  論文  参考訳（メタデータ） (2026-10-02T14:36:46Z)
• Beyond Answer Confidence: A Controlled Audit of Self-Knowledge in a Black-Box Decision Model [3.1178859467674687]
  Jevは15以上の公開データセットと6つの生成されたタスクファミリを備えた意思決定モデルであり、固定アイテムに供給される情報を変更するペアによる介入を備えている。 我々は15以上の公開データセットと6つの生成されたタスクファミリを持つ決定モデルであるJevにおいて、この区別を監査する。 解答関連情報がないため、最大0.80を有能なオプションに割り当て、観測された知識境界を超えるニュースでは精度0.21-0.33を超える。
  論文  参考訳（メタデータ） (2026-10-01T03:53:12Z)
• Evaluating and Benchmarking the System One Model Jev [1.579162290333307]
  Jevは、テキストを生成しないTypeSafe AIのSystem Oneモデルである。 固定オプション、ルーブリック上の位置、あるいは文が真である確率から選択を返す。 分類,ルーティング,自然言語推論,読解,コモンセンス推論,モデレーション,法的条項解析,ルーリックスコアリングにまたがる37のデータセットに対して,Jevゼロショットを評価した。
  論文  参考訳（メタデータ） (2026-09-29T14:15:04Z)
• Open-Jev Judgments on CallScreenBench: Calibrated One-Pass Scam Screening with a Small Language Model [12.307366979757065]
  オプションごとに1つのキャリブレーションされた確率は、1つのフォワードパスから生まれ、生成されたテキストは存在しない。 我々は、スカムコールのスクリーニングにおいて、この読み出しのオープン実装であるJevLiteをテストする。 41のホールドアウトされたCallScreenBenchシナリオ(ターン当たり577の判定)では、3列のアンサンブルがAUROC.974に到達し、キャリブレーションエラー.052、登録済みの.02マージンでLLM審査員(MiniMax-M3)に非干渉する。
  論文  参考訳（メタデータ） (2026-09-21T00:09:24Z)
• A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction [45.496856835431885]
  3D再構成モデルは、下流システムが信頼性信号として読み取る画素当たりの信頼を出力する。 4つの特性に対する信頼度、エラーのランク付けの正確さ、そのレベルが平均的に正しいかどうか、信頼範囲を越えて保持されているかどうか、そしてその間隔が真実をカバーしているかどうか。 信頼度は誤差をよくランク付けするが、予測された不確実性は、トレーニングの正確さではない条件下で読み取られると低すぎる。
  論文  参考訳（メタデータ） (2026-08-30T10:21:34Z)
• PROOF: Profiling Reliability of Object-Level Facts in Large Language Models [33.72751145910978]
  PROOFは、命令調整言語モデルにおける事実カバレッジのためのプロファイル指向のベンチマークである。 各質問には、明示的な"I don't know"オプション、"No correct option"コントロール、および9つの制御された定式化がある。 我々は166,374個のオープンウェイトモデル配置を18個のオープンウェイトモデル配置で評価し,各プロンプトと固定10%のサブセットで個別にパーターブデコーディングを行う。
  論文  参考訳（メタデータ） (2026-08-24T17:13:25Z)
• When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
  CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。 CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
  論文  参考訳（メタデータ） (2026-08-04T11:45:46Z)
• Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
  Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。 ラベルを適用すれば依存性認定正当性(D-CC)が得られる 4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
  論文  参考訳（メタデータ） (2026-07-29T15:55:31Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。