論文の概要: Beyond Calibration: Do a Typed-Decision Model's Probabilities Obey the Probability Axioms?

• arxiv url: http://arxiv.org/abs/2609.33209v1
• Date: Sun, 27 Sep 2026 04:48:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 02:08:31.994188
• Title: Beyond Calibration: Do a Typed-Decision Model's Probabilities Obey the Probability Axioms?
• Title（参考訳）: キャリブレーションを超えて:型決定モデルの確率は確率公理を満たすか?
• Abstract要約: TypeSafeのJevのような型決定モデルは、テキストの代わりに確率のある状態に関する宣言された yes/no または multiple-choice 質問に答える。 我々はこの特性、コヒーレンス(coherence)を、ラベルを必要としない論理的にリンクされた質問のバッテリーでテストする。
• 参考スコア（独自算出の注目度）: 9.59480536323465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Typed-decision models such as TypeSafe's Jev answer a declared yes/no or multiple-choice question about a state with a probability instead of text, and their evaluations report accuracy and calibration. Neither requires that the probabilities a model gives to logically related questions fit together item by item, which is what a system that acts on those probabilities needs. We test this property, coherence, with a battery of logically linked questions that needs no labels. For 160 items from ChaosNLI and PubMedQA, each with three mutually exclusive labels, we ask whether the label is X, whether it is not X, whether it is one of the other two labels, and which label applies. On 480 negation pairs, Jev's probabilities for "the label is X" and "the label is not X" miss summing to one by 0.064 on average (95% CI 0.055 to 0.072). Qwen3.8-27B, run from its official BF16 weights, misses by 0.293 with first-token probabilities and by 0.122 with verbalized probabilities. The gap to the first-token readout persists on pairs where both systems give similar probabilities, without double-negation labels, and after averaging Jev's repeated calls. Jev is not coherent either: its violations are about five times its repeat noise, and it over-endorses statements about single labels, so that its three single-label probabilities sum to 1.14 on average. The two systems also fail differently. Qwen3.8-27B's first-token readout under-endorses the complement of a label whether or not the question contains "not", rejecting both a statement and its negation in 196 of 480 pairs, and it does not become more coherent where it is more confident, whereas Jev's violations concentrate where its answer is uncertain. Because the checks need no labels, they expose biases that appear only when question forms are compared, and inconsistencies within items.
• Abstract（参考訳）: TypeSafeのJevのような型決定モデルは、テキストの代わりに確率のある状態に関する宣言されたイエス/ノーまたは複数選択の質問に答え、それらの評価は正確さと校正を報告します。 モデルが与える確率も、その確率に作用するシステムが必要とするアイテムごとに論理的に関連する質問に適合することを必要としない。 我々はこの特性、コヒーレンス(coherence)を、ラベルを必要としない論理的にリンクされた質問のバッテリーでテストする。 相互に排他的な3つのラベルを持つChaosNLIとPubMedQAの160項目について、ラベルがXなのか、Xでないのか、他の2つのラベルのうちの1つなのか、どのラベルが適用されるのかを問う。 480対の否定対について、Jevの「ラベルはX」と「ラベルはXではない」の確率は平均で0.064(95% CI 0.055 - 0.072)に誤差がある。 Qwen3.8-27Bは公式のBF16重みから成り、最初の確率で0.293、動詞化確率で0.122にずれている。 ファースト・ツーケン・リードアウトのギャップは、Jevの繰り返し呼び出しを平均化した後に、両方のシステムが二重否定ラベルなしで同様の確率を与えるペアに持続する。 その違反はリピートノイズの約5倍であり、シングルレーベルに関する声明を上書きしているため、3つのシングルラベル確率は平均1.14に等しい。 2つのシステムも異なるフェールする。 Qwen3.8-27B の最初の読み出しは、質問が "not" を含むかどうかのラベルを補足し、480対のペアのうち196 の文と否定の両方を拒絶する。 チェックにはラベルは必要ないため、質問フォームを比較した時にのみ現れるバイアスや、項目内の矛盾を露呈する。

関連論文リスト

• What Would Falsify It? A Variable Specific Evidence Standard for Mechanistic Claims About Self Explanation [0.0]
  言語モデルがすでに与えられた答えを説明するとき、その答えを生成した計算を再利用するか、あるいは回答からのみストーリーを再構築するかを示します。 検証された変数の同一性を除去する変数固有nullと、それぞれ正の統計量とをペアリングするエビデンス標準を提案する。
  論文  参考訳（メタデータ） (2026-09-26T14:26:14Z)
• Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures [33.047894767530174]
  Jevは、校正された決定のために強化学習で訓練されたモデルである。 1回の呼び出しでキャリブレーションされた確率を持つ入力について、多くの型付き質問に答える。 薬局、脱獄、偽装、迅速な注射、幻覚、プライバシー侵害、社会的偏見、報酬のハッキング、不確実性の隠蔽、電力探究という10のアライメント障害について、Jevをベンチマークしている。
  論文  参考訳（メタデータ） (2026-09-24T11:49:30Z)
• How Many Labels Does Model Choice Need? Certificates and Budgets for Selective Prediction [0.02538209532048866]
  信頼度は同じ誤差を重み付けする。 事前ラベルの低い境界は、不十分な予算を除外する。 信頼スコアの選択は、正確な選択のために1万のラベルの68-91%を読み取る。
  論文  参考訳（メタデータ） (2026-09-16T13:10:59Z)
• EviScope: Paired Counterfactual Evidence Diagnostics for Faithful and Efficient Grounded Language Models [0.0]
  接地された言語モデルシステムは、しばしば最終回答の正確さによって評価されるが、正しい答えは、間違った情報源から引き出されたり、証拠が不十分であったり、矛盾しているときに生成される。 EviScopeはペア化された反ファクトのベンチマークで、その証拠の追加、削除、注意をそらす、あるいは矛盾しながら疑問を定めている。
  論文  参考訳（メタデータ） (2026-09-15T12:18:19Z)
• Where the Verifier Fails: A Category-Level Audit of Reward Signals in RLVR [0.0]
  報酬付き強化学習(RLVR)と標準ベンチマーク評価はどちらも、無料テキスト回答をバイナリ報酬に変換する自動検証に頼っている。 以前の調査では、1つの評価ハーネスは、自身の真実の答えの94%しか受け入れず、解析を非難している。 モデルではなく検証器にメタモルフィックテストを適用し、検証された等価解の変種を生成する。 我々は、307,420以上の4つの広く使用されている検証結果に対して、回答カテゴリごとの拒絶を計測する。
  論文  参考訳（メタデータ） (2026-09-01T14:57:59Z)
• Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective [89.5370481649529]
  本稿では,PU学習のためのラベル分布視点を提案する。 そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。 提案手法の有効性を3つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2022-12-06T07:38:29Z)
• Instance-Dependent Partial Label Learning [69.49681837908511]
  部分ラベル学習は、典型的には弱教師付き学習問題である。 既存のほとんどのアプローチでは、トレーニングサンプルの間違ったラベルがランダムに候補ラベルとして選択されていると仮定している。 本稿では,各例が実数で構成された潜在ラベル分布と関連していると仮定する。
  論文  参考訳（メタデータ） (2021-10-25T12:50:26Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)
• A Second-Order Approach to Learning with Instance-Dependent Label Noise [58.555527517928596]
  ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。 人間による注釈付きラベルのエラーは、タスクの難易度レベルに依存する可能性が高いことを示しています。
  論文  参考訳（メタデータ） (2020-12-22T06:36:58Z)
• A Weaker Faithfulness Assumption based on Triple Interactions [89.59955143854556]
  より弱い仮定として, 2$-adjacency faithfulness を提案します。 より弱い仮定の下で適用可能な因果発見のための音方向規則を提案する。
  論文  参考訳（メタデータ） (2020-10-27T13:04:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。