論文の概要: More Choices, Fewer Decisions: Ordinal-Scale Bias in JEV-like Direct-Decision Models

• arxiv url: http://arxiv.org/abs/2609.38827v1
• Date: Wed, 30 Sep 2026 02:50:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.056196
• Title: More Choices, Fewer Decisions: Ordinal-Scale Bias in JEV-like Direct-Decision Models
• Title（参考訳）: JEVライクな直接決定モデルにおける通常サイズのバイアス
• Abstract要約: 直接決定モデルはテキストを構造化されたラベルとスコアに変換し、分類と自動評価に魅力的なものにする。 しかし、信頼性には正確性以上のものが必要であり、モデルでは、ユーザから供給される順序決定尺度を忠実に使わなければならない。 74.95%の精度、ほぼバランスの取れた金ラベル、バランスの取れた候補位置にもかかわらず、JEVが全ての予測の38.8%と51.3%のエラーをニュートラルに割り当てているANLIを調査した。
• 参考スコア（独自算出の注目度）: 23.973226554104468
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Direct-decision models turn text into low-latency structured labels and scores, making them attractive for classification and automatic evaluation. Yet reliability requires more than accuracy: a model must also use the ordinal decision scale supplied by the user faithfully. We analyze JEV~1.13 and three open KEV models. Our investigation begins with ANLI, where JEV assigns 38.8\% of all predictions and 51.3\% of errors to Neutral despite 74.95\% accuracy, nearly balanced gold labels, and balanced candidate positions. Across 36 ordinal datasets, final decisions use only 67--76\% of the effective gold support, versus 87--102\% on four nominal tasks. Randomizing candidate order weakens but does not remove this compression. Holding items and source scores fixed while balancing gold support and positions, we refine scales from $K=2$ to $14$; utilization falls for every model and reaches 26--75\% at $K=14$, although candidate probabilities remain broad for most models. Targeted BA-LoRA post-training raises gold-relative utilization from roughly 47\% to 86\% on eight supervised scales at both KEV sizes, showing that the compression is learned and modifiable rather than an immutable architectural limit. We call this ordinal scale-utilization bias: decision-stage candidate-space compression distinct from accuracy, gold imbalance, fixed position, and candidate count alone. The code and data are available at https://github.com/Glax147/jev_ordinal_scale_bia
• Abstract（参考訳）: 直接決定モデルはテキストを低レイテンシな構造化ラベルとスコアに変換し、分類と自動評価を魅力的なものにします。 しかし、信頼性には正確性以上のものが必要であり、モデルでは、ユーザから供給される順序決定尺度を忠実に使わなければならない。 JEV~1.13および3つのオープンなKEVモデルを分析する。 我々の調査はANLIから始まり、JEVは74.95 %の精度、ほぼバランスの取れた金ラベル、バランスの取れた候補位置にもかかわらず、全ての予測の38.8 %と51.3 %の誤差をニュートラルに割り当てている。 36の規則データセット全体において、最終的な決定は、有効な金サポートの67--76\%しか使用せず、4つの名目的なタスクでは87--102\%である。 候補順のランダム化は弱まるが、この圧縮を除去しない。 ゴールドサポートとポジションのバランスを保ちながら、アイテムやソーススコアを固定し、スケールをK=2ドルから14ドルに洗練します。 BA-LoRAポストトレーニングは, 両KEVサイズにおいて, 8つの教師付きスケールにおいて, 約47\%から86\%までのゴールド相対利用率を高め, 圧縮が不変なアーキテクチャ限界ではなく, 学習し, 変更可能であることを示す。 決定段階の候補空間圧縮は、正確性、金の不均衡、固定位置、候補者数と異なる。 コードとデータはhttps://github.com/Glax147/jev_ordinal_scale_biaで公開されている。

関連論文リスト

• Evaluating and Benchmarking the System One Model Jev [1.579162290333307]
  Jevは、テキストを生成しないTypeSafe AIのSystem Oneモデルである。 固定オプション、ルーブリック上の位置、あるいは文が真である確率から選択を返す。 分類,ルーティング,自然言語推論,読解,コモンセンス推論,モデレーション,法的条項解析,ルーリックスコアリングにまたがる37のデータセットに対して,Jevゼロショットを評価した。
  論文  参考訳（メタデータ） (2026-09-29T14:15:04Z)
• Auditing System-1 Models on Biosecurity-Relevant Benchmarks: Calibration, Selective Prediction, and Permutation Instability in a Non-Generative Model [0.0]
  System-1"モデルは、自己回帰復号化なしで単一の前方パスで構造化された確率的決定を返す。 精度,キャリブレーション,エラー検出,選択予測,および解答オプションが提示される順序に対する感度を測定する。 回転の平均確率は、WMDP-Cyberの精度を3.8ポイント向上させる。
  論文  参考訳（メタデータ） (2026-09-24T18:46:53Z)
• Target-Checked Reliability Score Refinement for Video Question Answering [3.8271803328378677]
  モデルの再トレーニングや回答の変更を伴わずに、目標シフトの下で回答レベルの信頼性スコアを改善できるかどうかを検討する。 3つの固定されたビデオ言語モデルから、4つの決定論的ビデオサンプリングに基づいてオプション確率リストを収集する。 選択した回答に割り当てられた確率として定義される原点スコアと,開発データセットに基づいて学習したヒストグラムに基づく勾配ボスティング(HGB)スコアを比較した。 候補は、ビデオレベルの繰り返しチェックがポジティブで安定した改善を示す場合にのみ、元のスコアを置き換える。
  論文  参考訳（メタデータ） (2026-09-09T08:29:00Z)
• Quantization Amplifies Determinism, Not Bias: Scale-Dependent Behavioral Effects of Serving-Time Weight Compression [0.0]
  中規模のモデルの量子化は、しばしば「ほぼ自由」と見なされる いくつかの答えが有効であれば、量子化はモデルが言うべきことを変えるのか? 3つのチェックポイント(Qwen3-8B/14B/32B)を3つのウェイト精度(W4A16 AWQ、W8A16 FP8-Marlin、bf16)で提供する。 私たちは、プロンプトとシードで組み合わせた約71,000個のコンプリートを、2つのカスタムなリークチェックされたプロンプトバッテリーで収集します。
  論文  参考訳（メタデータ） (2026-09-07T19:06:31Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
  既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。 我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。 textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
  論文  参考訳（メタデータ） (2026-06-04T07:27:53Z)
• Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
  Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。 本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。 Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
  論文  参考訳（メタデータ） (2026-06-01T04:43:36Z)
• FormInv: A Measurement Protocol for Semantic Invariance in Mathematical Reasoning Benchmarks [0.0]
  MathCheckのパラフレーズ品質検査では, 19群で4つの意味的不正確なパラフレーズが検出された。 GPT-4oは2位から4位へと降格し、クロード・ハイクとディープ・シークV3が上昇する。
  論文  参考訳（メタデータ） (2026-05-27T18:59:18Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Beyond Correctness: Evaluating Subjective Writing Preferences Across Cultures [87.75098311090642]
  現在の選好学習法は、標準ベンチマークで高い精度を達成するが、客観的な品質信号を取り除いた場合、顕著な性能劣化を示す。 我々は、8つのクリエイティブな著作ジャンルにまたがる1,800の人手による好みペア(1,200の英語、600の中国語)のデータセットであるWriteingPreferenceBenchを紹介した。
  論文  参考訳（メタデータ） (2025-10-16T12:23:13Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。