論文の概要: When Multiple Choices Are Correct: Asymmetric Probability Allocation in Jev and Other Decision Models
- arxiv url: http://arxiv.org/abs/2610.29217v1
- Date: Wed, 21 Oct 2026 05:18:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.213462
- Title: When Multiple Choices Are Correct: Asymmetric Probability Allocation in Jev and Other Decision Models
- Title（参考訳）: 複数の選択が正しい場合:Jevおよび他の決定モデルにおける非対称確率割当
- Abstract要約: 確率割当としきい値付けを3つの決定モデルで検討する。
モデルが全ての散逸子以上の正しい選択をランク付けしたとしても、これらのリストの28%から50%において、少なくとも1つの正しい選択は1/nの確率より低い確率を受け取る。
これらの割当差が確率しきい値の下での複数の正しい選択の回復にどのように影響するかを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decision models return normalized probability distributions over candidate choices, which downstream applications can use to select among choices. Although their providers emphasize the reliability of these probabilities, calibration on tasks with a single correct choice does not establish their reliability when multiple choices are correct. We evaluate three decision models (Jev, Liquid d1, and GPT-6 Luna Decisions) on three diverse datasets (MetaTool, HotpotQA, and ECtHR) to study probability allocation and thresholding. Even when models rank every correct choice above every distractor, in 28% to 50% of those lists, at least one correct choice receives a probability below the uniform probability of 1/n, where n is the number of choices. We also present each model with five identical copies of a correct choice and observe probability disparities, with mean gaps ranging from 17 to 79 percentage points. We further show how these allocation disparities affect the recovery of multiple correct choices under probability thresholding. Decision-model probabilities can rank correct choices, but a probability threshold does not identify the set of correct choices.
- Abstract（参考訳）: 決定モデルは、候補選択に対して正規化された確率分布を返す。
それらのプロバイダは、これらの確率の信頼性を強調しているが、複数の選択が正しい場合、単一の正しい選択によるタスクのキャリブレーションは、その信頼性を確立しない。
我々は,3つの多様なデータセット(MetaTool,HotpotQA,ECtHR)について,Jev,Liquid d1,GPT-6 LunaDeisionsの3つの決定モデルを評価し,確率割り当てとしきい値付けについて検討した。
モデルが全ての散逸子以上の正しい選択をランク付けしたとしても、これらのリストの28%から50%において、少なくとも1つの正しい選択は1/n以下の確率を受け取り、nは選択数である。
また、各モデルに正しい選択の5つの同一コピーを示し、確率差を17～79ポイントの範囲で観測する。
さらに、これらのアロケーション格差が、確率閾値の下での複数の正しい選択の回復にどのように影響するかを示す。
決定モデル確率は正しい選択をランク付けすることができるが、確率閾値は正しい選択の集合を特定できない。
関連論文リスト
- Does a Hosted Decision Model Respect Irrelevant Alternatives? A Pre-Registered Test of Option-Set Dependence in Jev [0.0]
各オプションの確率を返す決定APIは、その確率がオプション自体の特性であるかのように、定期的に使用される。
299,463コールの意図分類とトピック分類を用いて,ホスト型決定モデルであるjev-1.13.0の事前登録試験を行った。
追加オプションはすべて、ゴールドラベルと最強の間違ったラベルの間にログを移動します。
論文 参考訳（メタデータ） (2026-10-12T12:10:32Z) - Probability Contracts: Accuracy, Coherence, and Decisions Across LLM Interfaces [10.720985236309462]
本稿では,有限世界後部を正確に接続するベンチマーク,イベントアライメントの検証,インタフェースのコヒーレンス,フェール・アウェアな決定評価について紹介する。
1000の世界の4つのモデル-インタフェース構成の中で、ケブはJevよりも集合正準後誤差が低いが、補体と粗い残差が大きい。
Jev の Event と Choice インターフェースは、有効なペアの 32.8% のバイナリアクションを、遅延コスト 0.10 で変更する。
論文 参考訳（メタデータ） (2026-09-27T19:07:58Z) - JevOut: Natural Context Can Flip Decision Models [3.2875856796061513]
コンテキストに自然に適合する短い追加は、そうでなければ正しい決定をリダイレクトできることに気付きました。
これらの結果は、現在の決定モデルにおける明らかな脆弱性を明らかにします。
論文 参考訳（メタデータ） (2026-09-24T17:57:07Z) - Differentiating Choices via Commonality for Multiple-Choice Question Answering [54.04315943420376]
複数選択の質問応答は、正しい答えを選択するための貴重な手がかりを提供することができる。
既存のモデルでは、それぞれの選択を別々にランク付けし、他の選択によって提供されるコンテキストを見渡すことが多い。
本稿では,DCQAと呼ばれる共通性を識別・排除することで,選択を識別する新しいモデルを提案する。
論文 参考訳（メタデータ） (2024-08-21T12:05:21Z) - Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。
この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。
そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
論文 参考訳（メタデータ） (2023-09-07T17:44:56Z) - Improving Selective Visual Question Answering by Learning from Your
Peers [74.20167944693424]
VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。
本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。
提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
論文 参考訳（メタデータ） (2023-06-14T21:22:01Z) - Reconciling Individual Probability Forecasts [78.0074061846588]
データに同意する2つの当事者は、個々の確率をモデル化する方法に異を唱えることができない。
個々の確率は不可知であるが、計算的かつデータ効率のよいプロセスで競合できると結論付ける。
論文 参考訳（メタデータ） (2022-09-04T20:20:35Z) - Black-box Selective Inference via Bootstrapping [5.960626580825523]
条件選択推論は選択イベントの正確な特徴を必要とするが、ラッソのようないくつかの例を除いてしばしば利用できない。
この研究は、選択イベントを推定するための一般的なアプローチを導入し、選択イベントに条件付けされた実行可能な推論を容易にすることで、この問題に対処する。
論文 参考訳（メタデータ） (2022-03-28T05:18:21Z) - Surface Form Competition: Why the Highest Probability Answer Isn't
Always Right [70.71122438366142]
Domain Conditional Pointwise Mutual Informationは、サーフェスフォームの競争を補償します。
キャリブレーション機能とアンキャリブレーション機能の両方でゼロショット性能の一貫したゲインを実現します。
論文 参考訳（メタデータ） (2021-04-16T18:57:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。