論文の概要: Do System One Decisions Add Up? A Study of Probabilistic Coherence

• arxiv url: http://arxiv.org/abs/2609.33971v1
• Date: Sun, 27 Sep 2026 22:15:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 08:11:42.97983
• Title: Do System One Decisions Add Up? A Study of Probabilistic Coherence
• Title（参考訳）: システム1の決定は増加するか?確率的コヒーレンスの研究
• Abstract要約: 決定モデルは、同じ決定を小さなステップに分割した場合に、すべての質問に対して1にまとめる確率を与えることができます。 本研究は, 直接微視的予測と広いカテゴリの確率, それらのカテゴリを通して再構成された予測とを比較した。 カテゴリーレベルの総変分の平均は、Jevでは0.219から0.349、Layaでは0.424から0.689までである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A decision model can give probabilities that sum to one for every question yet disagree with itself when the same decision is broken into smaller steps. We study this form of probabilistic coherence in Jev and the English Laya checkpoint, using 2,500 matched examples per system across TREC, CLINC150, and MASSIVE. Across 72,000 classification questions, we compare direct fine-label predictions with broad-category probabilities and predictions reconstructed through those categories. Both systems show substantial disagreement: mean category-level total variation ranges from 0.219 to 0.349 for Jev and from 0.424 to 0.689 for Laya, on a scale where zero means exact agreement. The consequences differ sharply. On CLINC150, reconstruction reduces Jev's accuracy by 22.9 percentage points (paired 95% bootstrap interval: [-24.9, -20.9]) and improves Laya's by 21.3 points ([18.0, 24.5]). The same directions hold across all three datasets, with all six unadjusted accuracy-change intervals excluding zero. Improved accuracy can also accompany less reliable confidence: on MASSIVE, Laya gains 9.2 accuracy points while its expected calibration error rises from 0.046 to 0.124. Error analysis identifies both broad-category mistakes and within-category confusions. These findings show why decision systems need joint evaluation of accuracy, confidence calibration, and probability coherence in the workflow used by an application.
• Abstract（参考訳）: 決定モデルは、同じ決定を小さなステップに分割した場合に、すべての質問に対して1にまとめる確率を与えることができます。 本稿では, TREC, CLINC150, MASSIVEにまたがるシステム毎に2500のマッチング例を用いて, この確率的コヒーレンスをJevおよび英語ラヤチェックポイントで検討する。 72,000の分類質問を総合して, 直接的微視的予測と広いカテゴリの確率, それらのカテゴリを通して再構成された予測を比較した。 カテゴリーレベルの総変分の平均は、Jevでは0.219から0.349、Layaでは0が正確な一致を意味するスケールでは0.424から0.689の範囲である。 結果は著しく異なる。 CLINC150では、Jevの精度を22.9ポイント(95%ブートストラップ間隔 [-24.9, -20.9])削減し、ラヤの精度を21.3ポイント([18.0, 24.5])改善する。 同じ方向は、0を除く6つの未調整の精度変化間隔を持つ3つのデータセットにまたがる。 MASSIVEでは、ラヤは9.2の精度ポイントを獲得し、キャリブレーション誤差は0.046から0.124に上昇する。 誤り分析は、幅広いカテゴリーの誤りとカテゴリー内の混乱の両方を識別する。 これらの結果は,アプリケーションのワークフローにおいて,精度,信頼性校正,確率コヒーレンスを共同で評価する必要がある理由を示唆している。

関連論文リスト

• Scored vs. Generated Readouts in Behavioral Language Models: An Empirical Study of Elicitation Format [0.0]
  回答トークンのスコアリングによって得られる確率と、文章の合理化後に生成された予測とを比較した。 13個のモデルドメイン細胞が4つの小売業務を網羅し、13個の細胞のうち12個で結果がより正確にランク付けされた。
  論文  参考訳（メタデータ） (2026-09-09T08:37:46Z)
• Drift Calibration in Geometric Eye Tracking Systems [34.12106856838315]
  12人の被験者から163回の臨床試験を含む校正中心のデータセットを提示した。 共通空間外挿プロトコルを用いて,グローバル,ローカル,複合的な補正関数の評価を行う。
  論文  参考訳（メタデータ） (2026-08-30T12:05:44Z)
• PROOF: Profiling Reliability of Object-Level Facts in Large Language Models [33.72751145910978]
  PROOFは、命令調整言語モデルにおける事実カバレッジのためのプロファイル指向のベンチマークである。 各質問には、明示的な"I don't know"オプション、"No correct option"コントロール、および9つの制御された定式化がある。 我々は166,374個のオープンウェイトモデル配置を18個のオープンウェイトモデル配置で評価し,各プロンプトと固定10%のサブセットで個別にパーターブデコーディングを行う。
  論文  参考訳（メタデータ） (2026-08-24T17:13:25Z)
• What Confidence Routing Is Actually Doing: Auditing Routing, Calibration, and Commitment in Multi-Agent Deliberation [2.6977334313650565]
  マルチエージェント設計では、エージェントに対して信頼性を報告し、最高のエージェントが次に話すように要求する。 トラヒックレベルの3つの質問を分離することにより、信頼性が低下した放送プロトコルを監査する。
  論文  参考訳（メタデータ） (2026-08-18T21:39:27Z)
• Why Does the Future Branch? Identifiable Closure Tests for Stochastic Physical World Models [0.0]
  ClosurePairsは、繰り返し発生する障害を伴う互換性のあるマイクロステートを横断します。 ソースの属性は確実に回復する。 非線形相互作用ベンチマークにおける等予算分解誤差を低減する。
  論文  参考訳（メタデータ） (2026-08-01T11:07:24Z)
• Selective Prediction and Uncertainty-Aware Referral for Pap Smear Classification [3.093890460224435]
  本稿では,Herlev Papスミアデータセットの選択的予測と不確実性を考慮した参照について検討する。 ImageNet-pretrained weights with weighted random samples, and two light transformer backbones are fine-tuned on Herlev from ImageNet-pretrained weights with weighted random sample。 統計的に有意な差は認められなかった。
  論文  参考訳（メタデータ） (2026-07-15T05:47:31Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• ERRORQUAKE: Heavy-Tailed Error Severity Distributions in Open-Weight Large Language Models [0.0]
  幻覚ベンチマークは、単一のエラーカウントを報告し、すべてのエラーを同等として扱うが、間違った日付と偽の裁判所判決は、桁違いに異なる。 Errorquake-10kは、8つのドメインと5つの難易度からなる連続的な0-4重度尺度で各応答をスコアするベンチマークである。
  論文  参考訳（メタデータ） (2026-04-15T09:22:46Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)
• Distribution-free binary classification: prediction sets, confidence intervals and calibration [106.50279469344937]
  分布自由条件における二項分類のための不確実性定量化(キャリブレーション、信頼区間、予測セット)の3つの概念について検討する。 固定幅と一様質量の両双対の双対確率に対する信頼区間を導出する。 我々の「三脚」定理の結果として、双有理確率に対するこれらの信頼区間は分布自由キャリブレーションに繋がる。
  論文  参考訳（メタデータ） (2020-06-18T14:17:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。