論文の概要: Jev thinks "I don't know'', but doesn't say it: Introducing Sys1Cal-v1 Dataset for Probability Calibration

• arxiv url: http://arxiv.org/abs/2609.35342v1
• Date: Mon, 28 Sep 2026 14:59:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 06:18:15.642627
• Title: Jev thinks "I don't know'', but doesn't say it: Introducing Sys1Cal-v1 Dataset for Probability Calibration
• Title（参考訳）: とJev氏は考えるが、そうは言わない: 確率キャリブレーションのためのSys1Cal-v1データセットの導入
• Abstract要約: Jevのスコアとチョイスの解答の校正について検討する。 特に、Jevが第三の真理値を抑制すると仮定して説明できる特異な振る舞いを発見する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The appearance of Jev marked the era of System One Models, foundation models that return structured decisions with probability distributions rather than text. Aside from low cost and great speed, Jev's central promise is that these probabilities are calibrated: such claim is not backed by any public test and available external benchmarks evaluate confidence calibration, not whether every returned option probability has the right numerical meaning. To tackle this issue, we introduce Sys1Cal-v1, a dataset of True/False questions about a proposition $A$ for which the exact probability $P(A)$ is known by construction. Each item is queried through the three Jev primitives - Noul, Choice and Score - and evaluated by total variation distance from the ground-truth distribution, which can be used to estimate a soft accuracy of System One Models. We showcase the utility of Sys1Cal-v1 as a benchmark dataset by evaluating Jev and SemIf, an open-source Choice-style baseline. In this work, however, we focus even more deeply on Jev, by studying the calibration of its Score and Choice answers. In particular, we discover a peculiar behaviour that can be explained by assuming that Jev suppresses a third truth value, going beyond True and False. In other words, in \texttt{Choice} answers, $P(A)$ and $P(\neg A)$ are presented as if $P(A)+P(\neg A)=1$, while a term $P(U)\neq0$ is missing in the sum. Recovering $P(U)$ leads to an improvement of median soft accuracy in \texttt{Choice} answers from $0.771$ to $0.978$, suggesting that, even in binary decisions, Jev wants to answer with a third option:``I don't know''.
• Abstract（参考訳）: Jevの出現は、テキストではなく確率分布で構造化された決定を返す基盤モデルであるSystem One Modelsの時代を象徴した。 これらの主張は公的なテストによって裏付けられず、利用可能な外部ベンチマークは、全ての返却されたオプション確率が正しい数値的な意味を持つかどうかではなく、信頼性のキャリブレーションを評価する。 この問題に対処するため、Sys1Cal-v1を導入し、True/False の命題 $A$ について、正確な確率 $P(A)$ が構築によって知られている命題 $A$ について質問する。 各項目は,3つのJevプリミティブ – Noul, Choice, Score – を通じてクエリされ,システム1モデルのソフトな精度を推定するために使用可能な,地上構造分布からの全変動距離によって評価される。 我々は,オープンソースのChoiceスタイルベースラインであるJevとSemIfを評価することで,ベンチマークデータセットとしてSys1Cal-v1の有用性を示す。 しかし,本研究では,そのスコアとチョイスの解答の校正について,より深くJevに焦点をあてる。 特に、JevがTrueとFalseを越えて第3の真理値を抑制すると仮定することで説明できる特異な振る舞いを発見する。 言い換えれば、texttt{Choice} の答えでは、$P(A)$ と $P(\neg A)$ は、$P(A)+P(\neg A)=1$ であるのに対し、$P(U)\neq0$ という用語は和に欠けている。 P(U)$を回収すると、 \texttt{Choice} の答えが 0.771$ から $0.978$ に改善される。

関連論文リスト

• Consistency-Guided Decoding with Proof-Driven Disambiguation for Three-Way Logical Question Answering [4.878198984786631]
  3方向の論理的質問応答(QA)は、$True/False/Unknown$を前提セット$S$の仮説に割り当てる。 CGD-PDは1つの3ウェイ分類器を$H$と$H$の機械式の両方でクエリする軽量なテスト時間層である。
  論文  参考訳（メタデータ） (2026-03-12T18:26:16Z)
• Query-Efficient Locally Private Hypothesis Selection via the Scheffe Graph [45.975805184376036]
  局所的な差分プライバシーを満足するアルゴリズムを記述し、個人に対して$tildeO(k3/2)$非適応クエリを実行する。 また、Scheff'eグラフをダブする新しいオブジェクトを導入し、$Q$の分散間の差の構造をキャプチャする。
  論文  参考訳（メタデータ） (2025-09-19T17:41:15Z)
• Hypothesis Selection: A High Probability Conundrum [18.424488719261984]
  P$ への全変動距離が $mathcalH$ の最も近い仮説に匹敵する仮説を求めるアルゴリズムを提案する。 また、仮説選択を3つの代替設定で研究し、事前の作業からいくつかのオープンな質問を解決または進行させる。
  論文  参考訳（メタデータ） (2025-09-03T21:44:48Z)
• Provable Scaling Laws for the Test-Time Compute of Large Language Models [84.00141420901038]
  本研究では,大規模言語モデルのテスト時間計算において,証明可能なスケーリング法則を享受する2つのアルゴリズムを提案する。 1つは2段階ノックアウト方式のアルゴリズムで、各候補は複数の相手に対して平均勝利率で評価される。 もう1つは2段階のリーグ方式のアルゴリズムで、各候補は複数の相手に対して平均勝利率で評価される。
  論文  参考訳（メタデータ） (2024-11-29T05:29:47Z)
• IT$^3$: Idempotent Test-Time Training [95.78053599609044]
  ディープラーニングモデルは、トレーニングデータとテストデータの間の分散シフトのために、現実世界の環境にデプロイする際に苦労することが多い。 Idempotent Test-Time Training (IT$3$) は、現在のテストインスタンスのみを使用して、分散シフトへのオンザフライ適応を可能にする新しいアプローチである。 この結果から,イデオポテンスはドメインやアーキテクチャをまたいで一般化するテスト時間適応の普遍的原理を提供すると考えられる。
  論文  参考訳（メタデータ） (2024-10-05T15:39:51Z)
• Optimal level set estimation for non-parametric tournament and crowdsourcing problems [49.75262185577198]
  クラウドソーシングによって動機づけられた我々は、$d$の質問に対する$n$の専門家の回答の正しさを部分的に観察する問題を考える。 本稿では、専門家$i$が疑問に答える確率を含む行列$M$が、行と列の置換までの双等方性であることを仮定する。 我々は,この分類問題に対して最小限のアルゴリズムを最適に構築する。
  論文  参考訳（メタデータ） (2024-08-27T18:28:31Z)
• Will My Robot Achieve My Goals? Predicting the Probability that an MDP Policy Reaches a User-Specified Behavior Target [56.99669411766284]
  自律的なシステムがタスクを実行する場合、ユーザの目標を達成する確率のキャリブレーションされた見積もりを維持する必要がある。 本稿では,ユーザの目標が目標間隔として指定される設定について検討する。 我々は、共形予測を反転させて確率推定を計算する。
  論文  参考訳（メタデータ） (2022-11-29T18:41:20Z)
• Evaluating Probabilistic Inference in Deep Learning: Beyond Marginal Predictions [37.92747047688873]
  一般的に使われる$tau=1$は、多くの関心のある設定で良い決定を下すには不十分であることを示す。 さらに、$tau$が成長するにつれて、$mathbfd_mathrmKLtau$は任意の決定に対する普遍的な保証を回復する。
  論文  参考訳（メタデータ） (2021-07-20T01:55:01Z)
• Decision Theoretic Bootstrapping [1.988145627448243]
  教師付き機械学習モデルの設計とテストは、2つの基本的な分布を組み合わせる。 この問題に対する一般的な決定理論ブートストラップソリューションを提示する。
  論文  参考訳（メタデータ） (2021-03-18T02:00:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。