論文の概要: Understanding Jev-Style System One Models: Does Structure Reduce Selection Bias?

• arxiv url: http://arxiv.org/abs/2610.35826v1
• Date: Mon, 26 Oct 2026 17:48:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.131907
• Title: Understanding Jev-Style System One Models: Does Structure Reduce Selection Bias?
• Title（参考訳）: Jev-Style System 1 モデルを理解する: 構造は選択バイアスを減らすか?
• Abstract要約: 大規模な言語モデルの選択バイアスは、プレゼンテーションの順序を無視したり、推論を誘発するプロンプトを無視する命令にもかかわらず持続することができる。 Jevスタイルの振る舞いを再現する最近の試みは、供給された候補よりも直接確率を予測するモデル群を生み出している。
• 参考スコア（独自算出の注目度）: 20.502705553114378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Selection bias in large language models (LLMs) can persist despite instructions to ignore presentation order or prompts that elicit reasoning. Recent efforts to reproduce Jev-style System One behavior have produced a growing family of models that predict probabilities directly over supplied candidates. Yet systematic comparisons of selection bias across Jev versions, Jev reproductions, and generative LLMs remain limited in multi-option tasks. This leaves a central question: does Jev-style decision structure reduce selection bias? We address this question with a simple test that shuffles options while keeping question and candidate content fixed. Across two Jev versions, twelve Jev reproductions, and six generative LLMs, we trace individual answers through eight presentations and compare them with fixed-order repetition. On our primary collection of 1,700 questions from two benchmarks, Jev's accuracy varies by less than two percentage points, yet its cumulative failure set expands by 27--29\% relative to the original order, with first failures continuing into the final presentation. This loss of initial successes is substantially larger than under fixed-order repetition, even for highly repeatable Jev reproductions. Nor does Jev show a general advantage over the LLM baselines in preserving correct choices. Aggregation offers limited protection: voting yields modest gains for Jev, while even unanimous answers are frequently wrong. These results expose a gap between repeatable decisions and decisions that remain correct across equivalent presentations, showing why stable accuracy alone cannot establish resistance to selection bias.
• Abstract（参考訳）: 大型言語モデル (LLM) における選択バイアスは、提示順序を無視する命令や推論を誘発する命令にもかかわらず持続することができる。 Jev-style System Oneの振る舞いを再現する最近の試みは、供給された候補よりも直接確率を予測するモデル群を生み出している。 しかし、Jevバージョンにおける選択バイアスの体系的比較、Jev再生、ジェネレーティブLLMは、マルチオプションタスクにおいて制限されている。 Jevスタイルの意思決定構造は選択バイアスを減らすのか? 質問や候補コンテンツの修正を維持しながら、オプションをシャッフルする簡単なテストでこの問題に対処する。 2つのJevバージョン、12のJev再現、および6つの生成LDMにおいて、各回答を8つのプレゼンテーションを通して追跡し、それらを固定順序繰り返しと比較する。 2つのベンチマークからの1,700の質問の一次収集では、Jevの精度は2ポイント未満で変化しますが、その累積的な失敗セットは、元の順序に対して27～29パーセント拡大し、最初の失敗は最終プレゼンテーションに続きます。 この初期成功の損失は、高度に反復可能なJev複製であっても、固定順序の繰り返しの場合よりも大幅に大きい。 また、Jev は正しい選択を保存する上で LLM のベースラインに対して、一般的な優位性を示していない。 投票はJevにとって控えめな利益をもたらすが、満場一致の回答もしばしば間違っている。 これらの結果は、同等のプレゼンテーションで正しいままの繰り返し可能な決定と決定のギャップを露呈し、安定な精度だけで選択バイアスに対する抵抗を確立できない理由を示している。

関連論文リスト

• Jeva: System One Models from First Principles [58.432996881401415]
  Jevaは4つの重要な構造的要件に対処する、決定ネイティブなアーキテクチャです。 共有エンコーダは独立して要求と各オプションを表現し、コンパクトな決定スタックは要求状態のみを洗練する。 Jevとオープンソースモデルに対する評価全般において、Jevaは強力な型付き決定性能とほぼ完璧なnull検出を組み合わせる。
  論文  参考訳（メタデータ） (2026-10-13T17:31:09Z)
• Jev-ToM: Evaluating Theory of Mind in Typed Decision Models [14.057161755768218]
  型付き決定モデルは、有界心の理論(ToM)選択のための生成的大言語モデルの潜在的な代替を提供する。 1117の英語テキスト質問に対して,5つの型付き決定モデルと7つの生成ベースラインを比較し,Jev-ToMを提案する。
  論文  参考訳（メタデータ） (2026-10-13T15:59:00Z)
• How Reliable Are System-One Decisions in Medicine? A Comparative Study of Jev, Jev-like Models, and LLMs [42.764309070274784]
  Jevはその迅速で一般化可能な意思決定でかなりの注目を集めている。 本研究は15の医療データセットにまたがる様々なシステム・ワンの意思決定モデルを比較した。 Jevは、主にテキスト駆動タスクにおいて主要なモデルと競合するが、数値駆動タスクでは効果が低い。
  論文  参考訳（メタデータ） (2026-10-13T15:15:46Z)
• The Winner's Curse in LLM Self-Improvement Loops: Selection Noise, Lock-in, and Acceptance Rules [0.0]
  自己改善型LLMシステムは、自分自身に変化を提案し、小さな評価セットでスコアを良く保つ。 評価セットが再利用されるとどうなるかを実証的に研究する。
  論文  参考訳（メタデータ） (2026-10-07T00:05:23Z)
• General Decision Models: Benchmarking and Insights Beyond Jev [43.119878552608924]
  一般的な決定モデルは、構造化された判断と選択のためのLLMの効率的な代替品として登場した。 JEValは10のアプリケーションドメインにわたる36のデータセットから11,257のインスタンスからなるベンチマークである。 一般的な決定モデルは、利用可能な証拠から決定を解くことができれば最も競争力があるが、専門家の知識を必要とすると弱くなることを示す。 本研究では,オープンウェイト LLM 独自の推論を単一パスのファーストトケイン決定に内在させる内在的 Jev-4B と内在的 Jev-27B を提案する。
  論文  参考訳（メタデータ） (2026-10-02T18:47:00Z)
• Overwhelmed by Choice: Studying LLM Decision Making at Scale [70.45144023754595]
  候補数の増加に伴い,複数選択および候補選択の評価を体系的に評価した。 タスク間での相当な精度劣化、戦略の推進、モデルスケールが見られます。 階層分割と置換に基づく推論は、HotpotQAとMIMICで約20パーセントの精度をN=160$で向上する。
  論文  参考訳（メタデータ） (2026-09-26T17:33:04Z)
• Same Scores, Different Decisions: Evaluating JEV and Language Models for Legal Document Understanding [65.85599131866623]
  私たちはJevとContractNLIの9つの言語モデルを比較します。 制御された比較は、仮説の可視性、要求された出力、および出力順序によって異なる。 Jevは、評価された構成の中で、最低コストと中央値のレスポンス時間を持っています。
  論文  参考訳（メタデータ） (2026-09-23T10:53:01Z)
• A decodability criterion predicts when hidden-state selection beats majority voting in large language models [10.860308169044679]
  本稿では,解答点隠れ状態の線形ゲートを訓練し,最上位候補を選択する動的選択結合器を提案する。 その主な貢献は、解答可能性(deodability)であり、ゲートが質問の正しい候補をどれだけ正確にランクづけしているかの漏れのない尺度である。
  論文  参考訳（メタデータ） (2026-08-17T21:02:10Z)
• Hearing the Order: Investigating Selection Bias in Large Audio-Language Models [51.69003519291754]
  大規模オーディオ言語モデル(LALM)は、注文された選択肢に対する推論を含むタスクでしばしば使用される。 本稿では,この問題をLALMで同定し,解析する。
  論文  参考訳（メタデータ） (2025-10-01T08:00:58Z)
• Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
  複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。 この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。 そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T17:44:56Z)
• Generative Context Pair Selection for Multi-hop Question Answering [60.74354009152721]
  マルチホップ質問応答のための生成コンテキスト選択モデルを提案する。 提案した生成経路選択モデルは,対向保留集合上でのより良い性能(ベースラインより4.9%高い)を有する。
  論文  参考訳（メタデータ） (2021-04-18T07:00:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。