論文の概要: When the Right Answer Is Missing: An Arithmetic-Dependent Rejection Bottleneck in Jev

• arxiv url: http://arxiv.org/abs/2609.39496v1
• Date: Wed, 30 Sep 2026 10:55:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.593807
• Title: When the Right Answer Is Missing: An Arithmetic-Dependent Rejection Bottleneck in Jev
• Title（参考訳）: 右のアンサーが行方不明になったとき--Jevの算術依存型リジェクション・ボトルネック
• Abstract要約: Jev のような型付き決定モデルにおける算術依存的拒否ボトルネックを同定する。 Jevは、利用可能時に正しい数値回答を確実に選択するが、不在時にしばしば間違った選択肢を受け入れる。 ネイティブ検証は、同じ解を持つ算術の場合で99%の精度で精度を達成している。
• 参考スコア（独自算出の注目度）: 8.345980360007772
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Typed decision models such as Jev offer an efficient alternative to generative LLMs in decision-making workflows by selecting directly from predefined options. When candidate sets contain no valid answer, TypeSafe recommends including an "other" or "none-of-the-above" option to enable rejection. In this report, however, we identify an arithmetic-dependent rejection bottleneck: Jev reliably selects correct numerical answers when available but frequently accepts incorrect alternatives when they are absent despite an explicit rejection option. On paired arithmetic problems, answer-present accuracy reaches 99%, while correct rejection falls to 7%. Moreover, this gap persists across numerical magnitudes, operation depths, contextual formulations, and rejection labels, and extends to scenarios such as time calculation and capacity rounding. Yet native Boolean verification achieves 99% exact-match accuracy on the same answer-absent arithmetic cases, showing that categorical rejection can fail even when the model successfully verifies candidate correctness. Finally, we show that a simple decision threshold selected on separate development problems raises arithmetic rejection accuracy from 7% to 79% while retaining 97% answer-present accuracy, substantially mitigating the failure without retraining or additional inference.
• Abstract（参考訳）: Jevのような型付き決定モデルは、事前定義された選択肢から直接選択することで、意思決定ワークフローにおける生成LDMの効率的な代替手段を提供する。 候補セットに有効な回答がない場合、TypeSafeは拒否を可能にする"other"や"noone-of-the-above"オプションを含めることを推奨する。 しかし,本報告では,算術に依存した拒否ボトルネックを同定する。Jevは,可能であれば正しい数値解を確実に選択するが,明示的な拒否オプションにもかかわらず,不適切な選択肢を頻繁に受け入れる。 ペア算術問題では、解の表現精度は99%に達し、正解率は7%に低下する。 さらに、このギャップは数値的な大きさ、操作深度、文脈的定式化、拒絶ラベルにまたがって持続し、時間計算やキャパシティ・ラウンドリングといったシナリオにまで拡張される。 しかし、ネイティブブーリアン検証は、同じ答えを持つ算術の場合で99%の精度で精度を達成し、モデルが候補の正当性を検証できたとしてもカテゴリー的拒否は失敗することを示した。 最後に,異なる開発問題に対して選択された単純な判定閾値は,算術的拒絶精度を7%から79%に引き上げるとともに,解答表現精度を97%維持し,再学習や追加推論を伴わずに失敗を実質的に軽減することを示した。

関連論文リスト

• JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models [25.5874772119945]
  JevAdvBench は RLCD モデルの最初の敵対的ベンチマークである。 ラベルではなく、モデル自身のクリーンな決定に対して攻撃された各決定をスコア付けし、同じ再実行による変更に対して読み取る。 Jev-1.13.0では、リワードは再実行ベースラインの1.2パーセント以内に留まり、スキーマ外のフィールドはモデルに到達しない。
  論文  参考訳（メタデータ） (2026-09-25T11:32:19Z)
• JevOut: Natural Context Can Flip Decision Models [3.2875856796061513]
  コンテキストに自然に適合する短い追加は、そうでなければ正しい決定をリダイレクトできることに気付きました。 これらの結果は、現在の決定モデルにおける明らかな脆弱性を明らかにします。
  論文  参考訳（メタデータ） (2026-09-24T17:57:07Z)
• Likelihood Ranking doesn't Scale Like Prompting in LLMs [91.56564968539271]
  多重選択QAでは、質問セットと回答セットに標準確率ベースのスコアがまだ条件付けられている。 我々は,同じ質問対から構築された宣言文の確率ランキングに基づく補完的プロトコルについて検討する。
  論文  参考訳（メタデータ） (2026-09-24T11:16:53Z)
• AERA: Adaptive Evidence Residual Allocation for Efficient Test-Time Reasoning [22.964476507912327]
  テストタイムスケーリングは、追加の候補ソリューションを生成することによって言語モデル推論を改善するが、すべての問題に同じ推論予算を割り当てることは、計算的に無駄である。 チェックポイントレベルの正しさは非単調に進化し、解答が崩壊する前に観測可能な証拠が強化され、回復前に弱まる可能性があることを示す。 本稿では,チェックポイント・オブザーバブル・エビデンスから,さらなる計算がより良い解が得られるかどうかを学習するシーケンシャル・コントローラであるアダプティブ・エビデンス・レシデンス・アロケーション(AERA)を紹介する。
  論文  参考訳（メタデータ） (2026-08-28T06:21:07Z)
• Learning What to Fail On: Failure-Mode Contextual Bandits for Adversarial Data Curation [14.914697247710622]
  本稿では,自然言語理解における頑健性向上を目的とした,障害対応の逆探索強化フレームワークを提案する。 SNLIではRoBERTaベースの精度が88.48%から92.60%,ANLIでは75.04%から80.95%,MultiNLIでは54.67%から71.99%に向上した。 我々は、RoBERTa-largeを用いて、最大79.86%のFEVERスコアと82.45%の精度でFEVERの事実検証を行う。
  論文  参考訳（メタデータ） (2026-08-19T08:31:15Z)
• A Principled Approach to Randomized Selection under Uncertainty: Applications to Peer Review and Grant Funding [61.86327960322782]
  本稿では,各項目の品質の間隔推定に基づくランダム化意思決定の枠組みを提案する。 最適化に基づく最適化手法であるMERITを導入する。 MERITが既存のアプローチで保証されていない望ましい公理特性を満たすことを証明している。
  論文  参考訳（メタデータ） (2025-06-23T19:59:30Z)
• Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
  本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。 我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
  論文  参考訳（メタデータ） (2023-11-26T22:47:54Z)
• Improving Selective Visual Question Answering by Learning from Your Peers [74.20167944693424]
  VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。 本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。 提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
  論文  参考訳（メタデータ） (2023-06-14T21:22:01Z)
• Learning When to Say "I Don't Know" [0.5505634045241288]
  本稿では,決定空間における不確実性領域を識別・除去するリジェクトオプション分類手法を提案する。 そこで我々は,相補的拒絶領域を解析し,クラスごとのソフトマックス閾値を学習するための検証セットを用いることにより,代替的な定式化を検討する。 提案手法の利点を,2次元点,画像,テキスト分類データセットを用いて評価した。
  論文  参考訳（メタデータ） (2022-09-11T21:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。