論文の概要: General Decision Models: Benchmarking and Insights Beyond Jev

• arxiv url: http://arxiv.org/abs/2610.03935v1
• Date: Fri, 02 Oct 2026 18:47:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:16:46.728932
• Title: General Decision Models: Benchmarking and Insights Beyond Jev
• Title（参考訳）: 一般的な決定モデル - ベンチマークとJevを越えた洞察
• Abstract要約: 一般的な決定モデルは、構造化された判断と選択のためのLLMの効率的な代替品として登場した。 JEValは10のアプリケーションドメインにわたる36のデータセットから11,257のインスタンスからなるベンチマークである。 一般的な決定モデルは、利用可能な証拠から決定を解くことができれば最も競争力があるが、専門家の知識を必要とすると弱くなることを示す。 本研究では,オープンウェイト LLM 独自の推論を単一パスのファーストトケイン決定に内在させる内在的 Jev-4B と内在的 Jev-27B を提案する。
• 参考スコア（独自算出の注目度）: 43.119878552608924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: General decision models, such as Jev, have recently emerged as efficient alternatives to LLMs for structured judgment and selection. But what kinds of decisions can these models reliably make, and how does their behavior change when individual decisions are composed into larger systems? To study this, we introduce JEVal, a bilingual benchmark comprising 11,257 instances from 36 datasets across 10 application domains, and evaluate 25 model configurations spanning general decision models and generative LLMs. Our results show that (1) general decision models are most competitive when decisions can be resolved from available evidence, but weaken when they require specialist knowledge or faithful uncertainty estimation: they can often identify the most likely outcome while substantially overstating its probability. (2) In more dynamic and realistic systems involving long-horizon, multi-step interactions, the advantages of fast local decision making are offset by reliability failures at the system level. on $τ$-bench, faster local decisions reduce median episode time but lower task success as decision errors accumulate over long trajectories. (3) In large-scale social simulation, decision models approach strong generative LLMs on individual response prediction at substantially lower inference cost, yet remain weaker in user profiling and exhibit larger aggregate estimation errors and systematic bias. Finally, we propose InnerJev-4B and InnerJev-27B, which internalize an open-weight LLM's own reasoning into a single-pass first-token decision through Reasoning-to-Readout Self-Distillation, with InnerJev-27B performing on par with Jev on JEVal while answering a typical query in about 0.1 s.
• Abstract（参考訳）: Jevのような一般的な決定モデルは、最近、構造化された判断と選択のためのLLMの効率的な代替品として登場した。 しかし、これらのモデルが確実に行うことができる意思決定の種類や、個々の決定がより大きなシステムに組み込まれている場合、その振る舞いはどのように変化するのか? JEValは10のアプリケーションドメインにわたる36のデータセットから11,257のインスタンスからなるバイリンガルベンチマークであり、一般的な決定モデルと生成LLMにまたがる25のモデル構成を評価する。 以上の結果から, 1) 決定モデルが最も競争力が高いのは, 可能証拠から決定が解ける場合に限られるが, 専門家の知識を必要とする場合や, 信頼性の高い不確実性評価が必要な場合, 確率を著しく過大評価しながら最も可能性の高い結果を見出すことができる。 2) 長期・多段階の相互作用を含むよりダイナミックで現実的なシステムでは, システムレベルでの信頼性障害によって, 高速な局所的意思決定の利点が相殺される。 τ$-benchでは、ローカル決定の高速化により、中央値のエピソードタイムは削減されるが、長い軌道上の決定エラーが蓄積されるにつれてタスクの成功は減少する。 3) 大規模社会シミュレーションにおいて, 決定モデルは, 推定コストを著しく低く抑えつつも, ユーザプロファイリングの弱さを保ち, より大規模な累積推定誤差と系統的バイアスを示す。 最後に、NinJev-4BとInnerJev-27Bを提案する。これは、オープンウェイト LLM 独自の推論を、Reasoning-to-Readout Self-Distillation を通じて、シングルパスファーストトーケント決定に内部化し、NinnerJev-27B は JEVal の Jev と同等に動作し、典型的なクエリを 0.1 秒で応答する。

関連論文リスト

• Before Thinking, Learn to Decide: Proactive Routing for Efficient Visual Reasoning [87.18590662029432]
  本稿では,プロアクティブルーティングパラダイムであるPRPを提案する。このパラダイムは,ドラフトモデルとターゲットモデルの両方の能力を評価することで,早期意思決定を可能にする。 筆者らの試案であるレーティング学習 (DRL) は内部信頼度推定器を内蔵し, 共同レーティング学習 (JRL) は対象モデルが与えられたクエリをどの程度処理できるかを予測する。 これらの評価により、詳細なインスタンスレベルの textbfProactive Routing が可能になり、全体的なパフォーマンスを損なうことなく、推論を大幅に高速化できる。
  論文  参考訳（メタデータ） (2026-06-29T12:30:24Z)
• Clustered Self-Assessment: A Simple yet Effective Method for Uncertainty Quantification in Large Language Models [44.59799077650502]
  本研究では,大規模言語モデルにおける不確実性定量化のための簡易かつ効果的な自己評価手法を提案する。 提案手法は,世代を意味的に異なるクラスタに分類し,構造化された複数選択質問の回答オプションに変換し,モデルによって割り当てられた確率を信頼度推定として利用する。
  論文  参考訳（メタデータ） (2026-06-02T16:25:54Z)
• Can Revealed Preferences Clarify LLM Alignment and Steering? [23.175180848107093]
  LLMの観測した選択が最適化するインプリート嗜好を推定するための経験的パイプラインを提案する。 提案手法は,モデルが一貫したゴール指向の振る舞いをするかどうかの厳密な評価を可能にすることを示す。
  論文  参考訳（メタデータ） (2026-05-08T23:26:35Z)
• After Retrieval, Before Generation: Enhancing the Trustworthiness of Large Language Models in RAG [13.603907803297561]
  RAGシステムは、内部(パラメトリック)と外部(検索)の知識のバランスをとる際の課題に直面します。 本稿では,大規模言語モデルの包括的応答戦略を動的に決定するBRIDGEフレームワークを提案する。 実験では、BRIDGEはすべてのシナリオでバランスの取れたパフォーマンスを維持しながら、ベースラインを5～15%精度で上回っている。
  論文  参考訳（メタデータ） (2025-05-21T16:29:19Z)
• Scalable Best-of-N Selection for Large Language Models via Self-Certainty [75.1351701045874]
  Best-of-N selectionは、Large Language Models(LLMs)の推論性能を改善するための重要なテクニックである。 本稿では, LLM出力の固有確率分布を利用して, 外部報酬モデルを必要としない応答品質を推定する, 新規で効率的な指標である自己確実性を提案する。 本研究は, LLM推論能力を向上させるための実用的で効率的な方法として, 自己確実性を確立した。
  論文  参考訳（メタデータ） (2025-02-25T19:08:07Z)
• Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
  建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。 本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。 本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
  論文  参考訳（メタデータ） (2021-01-24T05:40:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。