論文の概要: JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs

• arxiv url: http://arxiv.org/abs/2610.21412v1
• Date: Thu, 15 Oct 2026 07:27:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.251755
• Title: JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs
• Title（参考訳）: JevAgentHarness: LLMと共有するベンチマーク、デプロイ、トレーニングの意思決定モデル
• Abstract要約: 大規模言語モデル(LLM)エージェントは、ソフトウェアを修正し、コンピュータを操作し、顧客にサービスを提供するが、そのハーネス、そしてそれらを実行するプログラムは、すべてのステップで大きなLLMを呼び出す。 ハーネスがこれらの決定を、ほとんど成功しない決定モデルに委譲する方法を問う。 AgentDecisionBenchは独立した質問から決定モデルをテストし、公開ベンチマークとDecisionGym環境上で実行中のエージェントを制御する。 次に、JevAgentHarnessを設計します。これは、エージェント自身の軌道上の各選択のしきい値に適合し、LLMがその下にあることを判断します。
• 参考スコア（独自算出の注目度）: 67.3059941230326
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language model (LLM) agents now fix software, operate computers and serve customers, but their harnesses, the programs that run them, call a large LLM at every step, which makes long tasks slow and costly. Most of these calls end in a multiple-choice decision, such as which tool to call next. Decision models such as Jev answer these questions directly, at a fraction of an LLM call's time and price. We ask how a harness can delegate these decisions to a decision model with little loss of success. To evaluate decision models in agentic tasks, we build AgentDecisionBench, which tests them from isolated questions up to control of a running agent, on public benchmarks and our DecisionGym environment. The decision model most accurate on isolated questions solved only 69.5% of agent tasks, and without a fitted confidence threshold, delegating tool choices lowered success by 19.0 points. Building on these findings, we then design JevAgentHarness, which fits this threshold for each choice on the agent's own trajectories and lets the LLM decide below it. Because existing decision models never see the states an agent reaches after its own mistakes, we train AgentDecision-4B, an open 4B model, on such states with Jev's answers as labels. On tasks unlike its training data, the agent solved 91.5% of them with AgentDecision-4B and 82.0% with Jev. On tasks like their training data, 4B models trained this way made agents 81.1-89.0% cheaper and up to 2.5 times faster, without losing 3 or more points of task success. The models, data, and harness will be released at https://github.com/JevAgentHarness/JevAgentHarness.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、ソフトウェアを修正し、コンピュータを操作し、顧客にサービスを提供するが、そのハーネス、そしてそれらを実行するプログラムは、すべてのステップで大きなLLMを呼び出すため、長いタスクが遅くてコストがかかる。 これらの呼び出しのほとんどは、次にどのツールを呼び出すかなど、複数の選択で終わる。 Jevのような決定モデルは、LSMコールの時間と価格のごく一部で、これらの質問に答える。 ハーネスがこれらの決定を、ほとんど成功しない決定モデルに委譲する方法を問う。 エージェントタスクにおける意思決定モデルを評価するために、AgentDecisionBenchを構築します。これは、独立した質問から、実行中のエージェントの制御まで、公開ベンチマークと私たちのDecisionGym環境上でテストします。 分離された質問に対して最も正確な決定モデルは、エージェントタスクの69.5%しか解決せず、信頼性のしきい値が組み込まれていないため、ツールの選択を19.0ポイント下げた。 これらの知見に基づいて、我々はJevAgentHarnessを設計する。 既存の決定モデルはエージェントが自身のミス後に到達した状態を見ることができないため、Jevの回答をラベルとして、オープンな4BモデルであるAgentDecision-4Bをトレーニングする。 訓練データとは異なり、エージェントは91.5%をエージェント決定-4Bで解き、82.0%をJevで解いた。 訓練データのようなタスクでは、4Bモデルは、81.1-89.0%のエージェントを3つ以上のタスク成功ポイントを失わずに、最大2.5倍の高速化を実現した。 モデル、データ、ハーネスはhttps://github.com/JevAgentHarness/JevAgentHarnessでリリースされる。

関連論文リスト

• When Is Smaller Greener? Right-Sizing Language Models for Agentic AI [1.3965477771846408]
  コールごとの比較はエージェントAIと誤解を招く可能性があることを示す。 タスクはすべての必要なステップが成功する場合にのみ成功するので、ステップごとの信頼性の小さな違いは、タスク全体の成功に大きな違いをもたらす。 エージェントでLLMを選択するための決定モデルを開発する。
  論文  参考訳（メタデータ） (2026-10-14T00:37:23Z)
• FunDM: Cheap & Label-Free Decision Models from Frozen Language Models [0.0]
  ラベルなしの小さな決定ヘッドは、凍結した言語モデルの多重選択精度の約99%を回復することができる。 このモデルをFunDM(Fun Decision Model)と呼ぶ。 トレーニング用の正解ラベルを使わずに、完全モデルの解答確率をKL発散で学習する。
  論文  参考訳（メタデータ） (2026-10-12T17:47:28Z)
• Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
  System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。 オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
  論文  参考訳（メタデータ） (2026-10-01T05:57:14Z)
• The Tasteful Agent: Measuring and Improving Taste in Long-Horizon Tasks [54.378597734485744]
  Taste-Benchは、エンジニアリングタスクのエージェントが生成する軌跡から自動的に構築される味覚質問のベンチマークである。 我々は、Taste-Benchのフロンティアモデルを評価し、最良のモデルが質問の59.7%しか正しく答えていないことを発見した。 結果を見た教師の判断を学生モデルに精査し、学生は見当たらない課題についてより良い判断を下す。
  論文  参考訳（メタデータ） (2026-09-22T07:36:04Z)
• Multi-Head Latent Control: A Unified Interface for LLM Agent Decision Making [15.37854161578634]
  凍結したLCMまたはVLMから隠れ状態軌跡を読み出し,展開時間制御信号を生成する軽量層であるMulti-Head Latent Controlを導入する。 キャパビリティヘッドは、現在のモデルがインスタンスを解決できるか、より強力なコラボレータに延期すべきかを予測し、レゾリューションヘッドは適切な解決判断の明確化、ツールの使用、回避、あるいは直接回答を予測する。 両方の頭部は、同じ凍結したLDMバックボーンの潜在トレースでのみ訓練され、モデルを変更することなく、ホック後の適応を可能にする。
  論文  参考訳（メタデータ） (2026-07-15T18:36:54Z)
• Learning from Failure: Inference-Time Self-Improvement for Computer-Use Agents [80.03824805228719]
  コンピュータ利用エージェントを開発する上での大きな課題は、大規模で高品質な軌道を収集することである。 我々は、失敗した軌道をエージェント改善に変換するデータ中心のパラダイムを提案する。 この手法をOSWorldベンチマーク上で,最先端のOpenCUA-72Bモデルを用いて検証する。
  論文  参考訳（メタデータ） (2026-06-30T07:44:37Z)
• Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
  LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。 本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。 最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
  論文  参考訳（メタデータ） (2025-04-30T23:09:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。