論文の概要: What Can't Jev Decide? Probing the Limits of One-Pass Decision Models

• arxiv url: http://arxiv.org/abs/2610.24929v1
• Date: Sun, 18 Oct 2026 00:50:57 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:03:57.577972
• Title: What Can't Jev Decide? Probing the Limits of One-Pass Decision Models
• Title（参考訳）: Jevが決定できないものは何か? ワンパス決定モデルの限界を探る
• Abstract要約: Jevとそのオープンレプリカは、呼び出し側が単一のフォワードパスを提供するオプションの中から選択する。 そのようなモデルで何が決定できないのかを尋ね、簡単な制限を見つけます。
• 参考スコア（独自算出の注目度）: 16.719624199726407
• License:
• Abstract: Jev and its open replicas choose among the options a caller supplies with a single forward pass, fast enough to decide inside an agent loop. We ask what such a model cannot decide, and find a simple limit: Jev cannot make a decision that an LLM makes only by writing out intermediate steps. On a benchmark that varies one factor at a time, Jev finds and selects records without error up to 20k tokens and 64 options, but once the answer depends on two or more updates of one user, accuracy falls, to 53-80% at sixteen updates, because similar records interfere. Given a stale summary of the state, Jev follows it. On real decision items graded by how many thinking tokens a reference LLM needs, Jev answers 97.5% of the items that one forward pass of that LLM solves, but only 74% of the others. Jev also does not know its limit: its confidence flags the errors it makes itself but not those it inherits from a stale input, and neither an explicit nor a trained hand-off option catches the latter. The open models we evaluate share these limits. Checking the state such models rely on requires a model that reasons.
• Abstract（参考訳）: Jevとそのオープンレプリカは、呼び出し側が単一のフォワードパスを提供するオプションの中から選択する。 Jev は LLM が中間ステップを書くだけで成す決定を下すことはできない。 一度に1つの要因が変化するベンチマークでは、Jevは最大20kトークンと64オプションのエラーなしにレコードを見つけ、選択するが、あるユーザの2つ以上の更新に依存すると、同じレコードが干渉するため、精度は16の更新で53-80%に低下する。 状態の古い要約が与えられたら、Jevはそれに従う。 LLMが要求する思考トークンの数によって評価された実際の意思決定項目では、JevはLLMが解決した項目の97.5%を答えているが、他の項目の74%しか答えていない。 信頼性はエラーを通知するが、古い入力から継承するものではなく、明示的でもトレーニング済みのハンドオフオプションでも後者をキャッチできない。 評価したオープンモデルは、これらの制限を共有します。 このようなモデルに依存する状態をチェックするには、理由のあるモデルが必要です。

関連論文リスト

• JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs [67.3059941230326]
  大規模言語モデル(LLM)エージェントは、ソフトウェアを修正し、コンピュータを操作し、顧客にサービスを提供するが、そのハーネス、そしてそれらを実行するプログラムは、すべてのステップで大きなLLMを呼び出す。 ハーネスがこれらの決定を、ほとんど成功しない決定モデルに委譲する方法を問う。 AgentDecisionBenchは独立した質問から決定モデルをテストし、公開ベンチマークとDecisionGym環境上で実行中のエージェントを制御する。 次に、JevAgentHarnessを設計します。これは、エージェント自身の軌道上の各選択のしきい値に適合し、LLMがその下にあることを判断します。
  論文  参考訳（メタデータ） (2026-10-15T07:27:08Z)
• System1-Arena: Which Decisions Can Be Left to System 1? [72.4486135716456]
  大型言語モデル(LLM)は、フィッシングのフラグ付けや人間へのエスカレートなど、決定的な決定をすることが多い。 System1-Arenaは、すべてのモデルに同じ決定要求を与え、それらの確率をスコアするベンチマークである。 テキスト分類と知識、適用された決定、評価と制御、エージェントとアクションの4つのグループである。
  論文  参考訳（メタデータ） (2026-10-15T04:40:47Z)
• Specialized Decision Models vs. General-Purpose LLMs: Benchmarking Jev Across Knowledge, Reasoning, and Multilingual Tasks [24.979908853569317]
  Jevは"System One"モデルで、テキストを生成する代わりに、任意のオプションの選択を返す。 我々は、知識、推論、多言語理解に関する13の多重選択ベンチマークでJevを評価した。
  論文  参考訳（メタデータ） (2026-10-08T13:52:42Z)
• Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
  System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。 オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
  論文  参考訳（メタデータ） (2026-10-01T05:57:14Z)
• Spotter: Let the Embodied Model Lead, and the VLM Reflect for It [90.10618759230066]
  現行の具体化モデルは、失敗に反応しないが、失敗に終わったことは、次の試みの微調整を知らせる可能性がある。 本稿では,その役割を逆転するSputterを提案する。 GPTにより、Sputterはコスモス政策を5.6ドル、RoboCasaの7.5ポイント改善し、47.2%から57.0%に$_0.5ドルを引き上げている。 VLMはエラーが確認された場合にのみステップするので、Qwenで成功したエピソードは13から13にしかならない。
  論文  参考訳（メタデータ） (2026-09-29T06:21:50Z)
• JEV vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places [34.429649156970015]
  Jevを7つのベンチマークから9つのパネル上の3つのフラッシュレベルLCMの判定値と比較する。 Jevの精度は、27のペア比較のうち、少なくとも8つのペア比較において、それらと大きく異なる。 規則上の基準では、全てのLLM判事とJevは共にヒトのラッカーから出発する。
  論文  参考訳（メタデータ） (2026-09-24T13:16:21Z)
• NumericJev: Jev-like LLM Numerical Decoding with Multiway Decision Trees [15.580786558697335]
  Jevライクなモデルは構造化された選択を公開しているが、これらのインタフェースは要求された精度で数値を直接提供しない。 本研究では,NUMERICJEVを提案する。 正しい答えを含む候補リストからの直接選択を2.93ポイント上回る。
  論文  参考訳（メタデータ） (2026-09-23T13:53:39Z)
• MINERVA: Evaluating Complex Video Reasoning [72.12644008002566]
  我々は、最新のマルチモーダルモデルのためのMINERVAと呼ばれる新しいビデオ推論データセットを提供する。 我々のデータセットはマルチモーダルであり、ビデオ領域と長さの点で多様であり、複雑なマルチステップの質問で構成されている。 我々は,様々なモデルにまたがる共通障害モードを特定するために,きめ細かいエラー解析を行い,推論エラーの分類を作成する。
  論文  参考訳（メタデータ） (2025-05-01T17:41:49Z)
• Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena [76.21004582932268]
  本研究では, LLM-as-a-judgeの使用状況と限界について検討し, 位置, 冗長性, 自己改善バイアスについて検討した。 次に、マルチターン質問セットであるMT-benchとクラウドソースのバトルプラットフォームであるArenaの2つのベンチマークを導入することで、LCMの判断と人間の嗜好の一致を検証する。
  論文  参考訳（メタデータ） (2023-06-09T05:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。