論文の概要: Does a Hosted Decision Model Respect Irrelevant Alternatives? A Pre-Registered Test of Option-Set Dependence in Jev
- arxiv url: http://arxiv.org/abs/2610.16655v1
- Date: Mon, 12 Oct 2026 12:10:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.369275
- Title: Does a Hosted Decision Model Respect Irrelevant Alternatives? A Pre-Registered Test of Option-Set Dependence in Jev
- Title（参考訳）: ホスト決定モデルは無関係な代替品を尊重するか?-Jevにおけるオプションセット依存の事前登録テスト
- Abstract要約: 各オプションの確率を返す決定APIは、その確率がオプション自体の特性であるかのように、定期的に使用される。
299,463コールの意図分類とトピック分類を用いて,ホスト型決定モデルであるjev-1.13.0の事前登録試験を行った。
追加オプションはすべて、ゴールドラベルと最強の間違ったラベルの間にログを移動します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decision APIs that return a probability for each option are routinely used as if those probabilities were properties of the options themselves. That reading is valid only if the model satisfies independence of irrelevant alternatives (IIA): adding an option that is neither the right answer nor its strongest rival should leave the odds between those two unchanged. We test this in a pre-registered study of jev-1.13.0, a hosted decision model, using 299,463 calls on intent classification (BANKING77, CLINC150) and topic classification (AG News). Every added option moves the log-odds between the gold label and the strongest wrong label: the root-mean-square systematic shift is 0.20-0.52 nats, 1.2 to 3 times the run-to-run variation, even when the added option takes at most 0.1% of the probability mass. The shifts are directional. An option similar to the wrong answer draws probability from it (+0.10 nats toward the gold label). A paraphrase of the wrong answer produces an intermediate pattern: the gold label's probability is almost conserved, but the paraphrase receives only about a third of the wrong answer's share rather than the half that strict substitution implies. The distortion grows steadily with the logarithm of the number of options, reaching about 1 nat at 255 options, and off-domain padding pushes the odds against the gold label. In contrast, questions packed into one call do not interact (bias < 0.001). Scoring each option with an independent yes/no question removes the option-set dependence but picks the right answer 8.7 points less often. Jev sits between two local baselines, an option-independent scorer and a prompt readout. Its probabilities are best read as relative to the option list they were computed over.
- Abstract（参考訳）: 各オプションの確率を返す決定APIは、その確率がオプション自体の特性であるかのように、定期的に使用される。
その読みは、モデルが無関係な選択肢(IIA)の独立性を満たす場合にのみ有効である。
299,463コールの意図分類(BANKING77, CLINC150)と話題分類(AG News)を用いて,Jev-1.13.0を事前登録した。
ルート平均二乗の体系的なシフトは0.20-0.52ナットであり、加算されたオプションが確率質量の0.1%を占める場合でも1.2から3倍である。
シフトは方向性です。
間違った答えに類似したオプションは、それから確率を引き出す(+0.10 nats はゴールドラベルへ向けられる)。
金のラベルの確率はほとんど保存されているが、このパラフレーズは厳密な置換が示している半分ではなく、間違った回答のシェアの約3分の1しか受け取っていない。
歪みはオプションの数の対数によって着実に増加し、255のオプションで約1Natに達する。
対照的に、1つの呼び出しに詰め込まれた質問は相互作用しない(bias < 0.001)。
それぞれのオプションを独立したイエス/ノー質問で表すと、オプションセット依存は取り除かれるが、正しい解8.7ポイントの頻度は減る。
Jevは2つのローカルベースライン、オプション非依存のスコアラとプロンプトの読み出しの間に位置する。
その確率は、計算されたオプションリストと比較して最もよく読まれる。
関連論文リスト
- Jeva: System One Models from First Principles [58.432996881401415]
Jevaは4つの重要な構造的要件に対処する、決定ネイティブなアーキテクチャです。
共有エンコーダは独立して要求と各オプションを表現し、コンパクトな決定スタックはイミュータブルなオプションメモリに対してのみ要求状態を洗練する。
評価全体を通じて、Jevaは強い型付き決定性能とほぼ完璧なヌル検出を組み合わせ、テストされた置換の下では決定の反転は行わない。
論文 参考訳（メタデータ） (2026-10-13T17:31:09Z) - Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。
しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。
本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
論文 参考訳（メタデータ） (2026-10-13T16:19:49Z) - Consider, Then Choose: Order-Invariant Decisions in System One Models [15.157325954348245]
システム1モデルは、1つのフォワードパスで型付き質問に答え、同じ入力に対して同じ答えを約束します。
答えは選択肢の順序に依存し、数が増えるにつれてますます増えていき、循環的なシフトを平均化することで、取り除くことなく、この依存を減らす。
我々は、$textbfRunoff$を提案し、その選択を考慮し、選択し、いくつかの候補を保持するために各選択肢を単独でスコアし、各候補がすべての位置を占めるリストでそれらを比較します。
トレーニングを必要とせず、2つのフォワードパスで実行でき、その答えはオプションオーダーに依存しない。
論文 参考訳（メタデータ） (2026-10-13T12:02:46Z) - AnyJev Technical Report [30.983024823617853]
型付き決定は、テキストではなく確率として返される固定されたオプションのセットの選択である。
このレポートでは、事前訓練された命令チューニング言語モデルの1つのプリフィルから型付き決定を読み取るAnyJevについて説明する。
論文 参考訳（メタデータ） (2026-09-30T23:43:04Z) - Probability Contracts: Accuracy, Coherence, and Decisions Across LLM Interfaces [10.720985236309462]
本稿では,有限世界後部を正確に接続するベンチマーク,イベントアライメントの検証,インタフェースのコヒーレンス,フェール・アウェアな決定評価について紹介する。
1000の世界の4つのモデル-インタフェース構成の中で、ケブはJevよりも集合正準後誤差が低いが、補体と粗い残差が大きい。
Jev の Event と Choice インターフェースは、有効なペアの 32.8% のバイナリアクションを、遅延コスト 0.10 で変更する。
論文 参考訳（メタデータ） (2026-09-27T19:07:58Z) - Beyond Calibration: Do a Typed-Decision Model's Probabilities Obey the Probability Axioms? [9.59480536323465]
TypeSafeのJevのような型決定モデルは、テキストの代わりに確率のある状態に関する宣言された yes/no または multiple-choice 質問に答える。
我々はこの特性、コヒーレンス(coherence)を、ラベルを必要としない論理的にリンクされた質問のバッテリーでテストする。
論文 参考訳（メタデータ） (2026-09-27T04:48:59Z) - A decodability criterion predicts when hidden-state selection beats majority voting in large language models [10.860308169044679]
本稿では,解答点隠れ状態の線形ゲートを訓練し,最上位候補を選択する動的選択結合器を提案する。
その主な貢献は、解答可能性(deodability)であり、ゲートが質問の正しい候補をどれだけ正確にランクづけしているかの漏れのない尺度である。
論文 参考訳（メタデータ） (2026-08-17T21:02:10Z) - Differentiating Choices via Commonality for Multiple-Choice Question Answering [54.04315943420376]
複数選択の質問応答は、正しい答えを選択するための貴重な手がかりを提供することができる。
既存のモデルでは、それぞれの選択を別々にランク付けし、他の選択によって提供されるコンテキストを見渡すことが多い。
本稿では,DCQAと呼ばれる共通性を識別・排除することで,選択を識別する新しいモデルを提案する。
論文 参考訳（メタデータ） (2024-08-21T12:05:21Z) - Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。
この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。
そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
論文 参考訳（メタデータ） (2023-09-07T17:44:56Z) - Improving Selective Visual Question Answering by Learning from Your
Peers [74.20167944693424]
VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。
本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。
提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
論文 参考訳（メタデータ） (2023-06-14T21:22:01Z) - Surface Form Competition: Why the Highest Probability Answer Isn't
Always Right [70.71122438366142]
Domain Conditional Pointwise Mutual Informationは、サーフェスフォームの競争を補償します。
キャリブレーション機能とアンキャリブレーション機能の両方でゼロショット性能の一貫したゲインを実現します。
論文 参考訳（メタデータ） (2021-04-16T18:57:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。