論文の概要: Type-Safe Is Not Error-Free: A Constrained Decision Head Follows the Option Name, Not the Rubric Bound to It
- arxiv url: http://arxiv.org/abs/2609.26758v2
- Date: Wed, 23 Sep 2026 18:21:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.32636
- Title: Type-Safe Is Not Error-Free: A Constrained Decision Head Follows the Option Name, Not the Rubric Bound to It
- Title（参考訳）: タイプセーフはエラーなし:制限された決定ヘッドはオプション名に従う
- Abstract要約: Jev と 2 つの Jev 様モデルを開重み付きで研究し、選択名がどのようにルーブリックに割り当てられるかを変更する。
各ルーブリックに割り当てられるオプション名のみを変更します。質問、状態、ルーブリック、オプション名のセットは、まったく同じです。
タスク固有のルーリックによる1200のワークフロー決定では、0/1からno/yesへの2つのオプションの改名により、100 95%のCIに対して70.4以上の回答が得られた: [67.6, 73.1] と AUC を.94 から.23 にシフトし、単純な不確実性ではなく、決定ランクの体系的な逆転を明らかにした。
- 参考スコア（独自算出の注目度）: 10.956670143484502
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Typed decision models are built for settings where model outputs are consumed directly by software. Instead of generating free-form text, they return a decision over a predefined set of options. By construction, every output conforms to the required schema. Yet this guarantee does not tell us whether the model interprets the options as intended. We study Jev and two Jev-like models with open weights by changing how option names are assigned to rubrics. Each option consists of an option name and a textual rubric that defines what the option means. We change only which option name is assigned to each rubric; the question, state, rubric wording, and set of option names remain exactly the same. On 1200 workflow decisions with task-specific rubrics, renaming the two options from 0/1 to no/yes changes 70.4 more answers per hundred (95% CI: [67.6, 73.1]) and shifts AUC from .94 to .23, revealing a systematic reversal in the decision ranking rather than simple uncertainty. The same operation has little effect with neutral option names. This pattern holds across all 4 predicates, where the effect is at least 7.4x larger than under the neutral control, and becomes stronger as the number of options increases. The effect also depends on the read-out geometry: a second model family that mean-pools over the full option span flips 4.1x less often. The hosted model exhibits the same behavior: the swap changes AUC from .8146 to .5806 and produces 24x as many answer flips as its test-retest floor. In contrast, replacing the option names with random character strings returns all model families to the neutral-control regime without reducing accuracy. The failure therefore depends on the semantic polarity of the option names rather than on the renaming operation itself. Across all conditions, the type-error rate remains 0%, even when decision accuracy degrades substantially.
- Abstract（参考訳）: 型決定モデルは、ソフトウェアによって直接モデル出力が消費される設定のために構築される。
自由形式のテキストを生成する代わりに、事前に定義されたオプションセットに対して決定を返す。
構成上、すべての出力は必要なスキーマに従っている。
しかし、この保証は、モデルが意図したオプションを解釈するかどうかを教えてくれない。
Jev と 2 つの Jev 様モデルを開重み付きで研究し、選択名がどのようにルーブリックに割り当てられるかを変更する。
それぞれのオプションは、オプション名と、オプションの意味を定義するテキストルーブリックで構成されている。
各ルーブリックに割り当てられるオプション名のみを変更します。質問、状態、ルーブリックワード、オプション名のセットは、まったく同じです。
0/1からno/yesへの2つのオプションの変更(95% CI: [67.6, 73.1])とAUCの.94から.23へのシフトにより、単純な不確実性ではなく、決定ランクの体系的な逆転が明らかになった。
同じ操作は、中立的なオプション名にはほとんど影響しない。
このパターンは4つの述語にまたがっており、その効果は中立制御の下では7.4倍も大きくなり、オプションの数が増えるにつれて強くなる。
この効果は読み出し幾何学にも依存しており、フルオプションよりも平均プールが4.1倍少ない第2モデルファミリである。
スワップは AUC を .8146 から .5806 に変更し、テストフロアの24倍の回答フリップを生成する。
対照的に、オプション名をランダムな文字列に置き換えると、すべてのモデルファミリは精度を低下させることなく中立制御系に返される。
したがって、失敗は名前の変更操作自体よりもオプション名の意味的な極性に依存する。
あらゆる条件において、判定精度が著しく低下しても、タイプエラー率は0%のままである。
関連論文リスト
- Greedy Decoding Is Not Precision-Invariant: Cross-Precision Output Divergence in LLM Inference [13.137699166830322]
大規模言語モデルからのグレディ復号は、一般に決定論的として扱われる。
同一のモデル,プロンプト,デコードアルゴリズムは同一のハードウェア上で,BF16とFP16の異なる出力を生成する。
実験により,22層に蓄積したボディーエラーは,浮動小数点数と浮動小数点数とを区別しないことがわかった。
論文 参考訳（メタデータ） (2026-09-22T15:54:16Z) - When is Test-Time Adaptation Identifiable From Unlabeled Evidence? [2.6652065637846074]
テスト時適応(TTA)は、ラベルなしでデプロイされたモデルを更新する多くの方法を提供する。
最近の手法では、ラベルのないテストデータからどの適応が動作するかを予測する。
完全なセレクタであっても、これは保証されていません。
論文 参考訳（メタデータ） (2026-09-10T08:35:06Z) - AlgoWorlds: Benchmarking Tool Use for Global Optimization in Algorithmic Worlds [58.529749203758634]
ツール使用ベンチマークは一般的に、適切なツールと有効な引数を使用して、エージェントがワークフローを完了するかどうかを評価する。
アルゴワールドス(AlgoWorlds)は、公式に指定された最適化問題を部分的に観察された決定環境に変換するベンチマークである。
AlgoWorldsには、10の最適化ファミリーと4つのワークロードレベルをカバーする240の環境が含まれている。
論文 参考訳（メタデータ） (2026-08-29T18:37:41Z) - Gated Against One Model, Open to the Next: Option-Only Solvability in Legal Multiple-Choice Benchmarks [0.0]
複数選択のベンチマークは、モデルが正しい選択肢を選ぶかどうか、質問が必要なかどうかで評価される。
UA-JudgeExam: 11,990件の4つのオプション項目を公式キーで測定し、ウクライナの高等審査委員会(Higher Qualification Commission of Judges)が公表した。
11.8%のアイテムは、偶然に予想される0.2項目に対して、8つのオプションのすべてで盲目で答えられる。
論文 参考訳（メタデータ） (2026-08-15T22:11:00Z) - Accuracy and Order Sensitivity Diverge Under Label-Free Strategies [4.127762845164668]
複数選択ベンチマークは、大きな言語モデルを評価するために広く使われている。
複数の選択は、選択順序に対する感度で知識を分割する。
本稿では,モデルが回答をコミットしながらオプションラベルを見るのを防ぐことが,位置の影響を除去するかどうかを検証する。
論文 参考訳（メタデータ） (2026-08-12T11:34:45Z) - Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。
この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。
そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
論文 参考訳（メタデータ） (2023-09-07T17:44:56Z) - Autoregressive Bandits [58.46584210388307]
本稿では,オンライン学習環境であるAutoregressive Banditsを提案する。
報酬プロセスの軽微な仮定の下では、最適ポリシーを便利に計算できることが示される。
次に、新しい楽観的後悔最小化アルゴリズム、すなわちAutoRegressive Upper Confidence Bound (AR-UCB)を考案し、$widetildemathcalO left( frac(k+1)3/2sqrtnT (1-G)のサブ線形後悔を被る。
論文 参考訳（メタデータ） (2022-12-12T21:37:36Z) - Parameter and Feature Selection in Stochastic Linear Bandits [38.909757749493934]
線形帯域(LB)における2つのモデル選択設定について検討する。
最初の設定では、LB問題の報酬パラメータは、$mathbb Rd$の重なり合うボールとして表される$M$モデルから任意に選択される。
2つ目の設定では、LB問題の期待される報酬は、少なくとも$M$特徴写像(モデル)の1つの線形スパンにある。
論文 参考訳（メタデータ） (2021-06-09T20:37:29Z) - Surface Form Competition: Why the Highest Probability Answer Isn't
Always Right [70.71122438366142]
Domain Conditional Pointwise Mutual Informationは、サーフェスフォームの競争を補償します。
キャリブレーション機能とアンキャリブレーション機能の両方でゼロショット性能の一貫したゲインを実現します。
論文 参考訳（メタデータ） (2021-04-16T18:57:19Z) - Bandit Linear Optimization for Sequential Decision Making and
Extensive-Form Games [102.23975166536326]
tree-form sequential decision making (tfsdm) は、エージェントと潜在的に敵対的な環境の間のツリー形式の相互作用をモデル化することで、古典的なワンショット意思決定を拡張する。
これは、各プレイヤーが幅広い形式のゲームで直面するオンライン意思決定問題、およびマルコフ決定プロセス、およびエージェントが観測された履歴を条件とする部分観察可能なマルコフ決定プロセスをキャプチャする。
本稿では, (i) 線形時間損失と (ii) $o(sqrtt)$ cumulative regret の両方を提供する拡張dmのバンディット線形最適化問題に対する最初のアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-08T05:00:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。