論文の概要: Good Judgment, Bad Advice: Decision-Model Controllers Raise Agent Cost Without Improving Success
- arxiv url: http://arxiv.org/abs/2610.24649v1
- Date: Sat, 17 Oct 2026 11:53:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-22 17:13:10.870209
- Title: Good Judgment, Bad Advice: Decision-Model Controllers Raise Agent Cost Without Improving Success
- Title（参考訳）: 良い判断と悪いアドバイス: 決定モデルコントローラは、成功を改善せずにエージェントコストを上昇させる
- Abstract要約: 我々は、型付き決定モデルであるJev 1.13が、端末エージェントを悪化させることなく安くするかどうかを問う。
21のホールドアウトタスク(315のトライアル)では、Jevは同じパスレートで19%(幾何学平均比 1.19, 95% CI 1.02-1.36)のコストを上昇させた。
ジェブは小型のLLMコントローラー(比0.81)よりも安価であったが、プラセボより22%高く、アーム間のパスレート差は検出できなかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agent scaffolds increasingly delegate small decisions (whether to stop, verify, or change approach) to cheaper models. We ask whether a typed decision model, Jev 1.13, consulted only at deterministic decision points, makes a Claude Sonnet 5.5 terminal agent cheaper without making it worse. In a pre-specified study on Terminal-Bench 2.1, we hold one agent loop fixed and vary only the controller: none, deterministic rules, a small LLM (Claude Haiku 5.5) answering the same questions, Jev, and a placebo that samples Jev's development-phase choice frequencies at the same moments. On 21 held-out tasks (315 trials), Jev raised cost per attempt by 19% (geometric-mean ratio 1.19, 95% CI 1.02-1.36) at an identical pass rate (73.0% vs. 73.0%). Jev was cheaper than the small-LLM controller (ratio 0.81) but 22% more expensive than the placebo, and no pass-rate difference between arms was detectable. Offline, Jev ranked finish requests better than the alternatives (AUROC 0.78 vs. 0.62 for rules and 0.60 for the small LLM) but was poorly calibrated: its mean probability that a run was complete was 0.50 when 87% of those runs passed, so it asked the agent to verify work that was already correct. No controller ever chose to abandon a run. Informative decision signals did not become useful interventions; we discuss what that would require.
- Abstract（参考訳）: エージェントの足場は、より安価なモデルに小さな決定(停止、検証、あるいは変更のアプローチ)を委譲する傾向にある。
定型決定モデルであるJev 1.13は、決定的決定点のみを基準として、クロード・ソネット5.5端末エージェントを悪化させることなく安価にするかを問う。
ターミナル・ベンチ2.1の予備的な研究において、1つのエージェントループが固定され、コントローラのみが異なる: 決定論的ルールなし、同じ質問に答える小さなLCM(Claude Haiku 5.5)、Jev、同時にJevの発達段階選択周波数をサンプリングするプラセボ。
21の待機タスク(315のトライアル)では、Jevは19%(幾何学平均比1.19、95% CI 1.02-1.36)で同じパスレート(73.0%対73.0%)でコストを上昇させた。
ジェブは小型のLLMコントローラー(比0.81)よりも安価であったが、プラセボより22%高く、アーム間のパスレート差は検出できなかった。
オフラインでは、Jevは代替案(ルールはAUROC 0.78、ルールは0.62、小さなLLMは0.60)よりもフィニッシュリクエストが優れているが、キャリブレーションが不十分であった。
コントローラーは、ランを放棄することを選んだことはない。
インフォーマティブな決定シグナルは有用な介入にはなりませんでした。
関連論文リスト
- JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs [67.3059941230326]
大規模言語モデル(LLM)エージェントは、ソフトウェアを修正し、コンピュータを操作し、顧客にサービスを提供するが、そのハーネス、そしてそれらを実行するプログラムは、すべてのステップで大きなLLMを呼び出す。
ハーネスがこれらの決定を、ほとんど成功しない決定モデルに委譲する方法を問う。
AgentDecisionBenchは独立した質問から決定モデルをテストし、公開ベンチマークとDecisionGym環境上で実行中のエージェントを制御する。
次に、JevAgentHarnessを設計します。これは、エージェント自身の軌道上の各選択のしきい値に適合し、LLMがその下にあることを判断します。
論文 参考訳（メタデータ） (2026-10-15T07:27:08Z) - Auditing Escalation Reliability in Healthcare LLM Agents: A Perturbation-Controlled Benchmark of Workflow-State Failures [4.287745257410248]
我々は、400の総合医療ワークフローエピソードとしてエピソードレベルの評価プロトコルをインスタンス化する。
4つのタスククラスに40個の手書きセマンティックシード、2つの表面パラメータ化、5つの制御された変種。
明確な決定精度は0.97に達するが、不確実性のあるモデルでは、必要なエスカレーションの32--97%を見逃している。
論文 参考訳（メタデータ） (2026-10-15T05:04:10Z) - How Reliable Are System-One Decisions in Medicine? A Comparative Study of Jev, Jev-like Models, and LLMs [42.764309070274784]
Jevはその迅速で一般化可能な意思決定でかなりの注目を集めている。
本研究は15の医療データセットにまたがる様々なシステム・ワンの意思決定モデルを比較した。
Jevは、主にテキスト駆動タスクにおいて主要なモデルと競合するが、数値駆動タスクでは効果が低い。
論文 参考訳（メタデータ） (2026-10-13T15:15:46Z) - CASE: Cost-Aware Stopping for Efficient Long-Video Agents [47.793956973688616]
長ビデオエージェントのためのプラグイン終端フレームワークであるCASEを提案する。
Caseは、この決定をポリシー付きシーケンシャル・ストップとして表している。
軽量なリッジ回帰器は、この決定ギャップを学び、STOP/E決定を生成する。
論文 参考訳（メタデータ） (2026-10-04T17:35:33Z) - Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。
オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
論文 参考訳（メタデータ） (2026-10-01T05:57:14Z) - Thinking Before Thinking: Scaling Agentic Inference Through Meta-Reasoning [104.97890382020937]
エージェントメタ推論は,制御選択を明示的かつ構造化する推論時ハーネスである。
ワーカーはタスクレベルの計算を実行し、コントローラは実行が確立したものを統合する。
決定の間、コントローラはその全履歴を再生するのではなく、実行時のコンパクトな説明しか持たない。
論文 参考訳（メタデータ） (2026-09-29T17:57:25Z) - What Confidence Routing Is Actually Doing: Auditing Routing, Calibration, and Commitment in Multi-Agent Deliberation [2.6977334313650565]
マルチエージェント設計では、エージェントに対して信頼性を報告し、最高のエージェントが次に話すように要求する。
トラヒックレベルの3つの質問を分離することにより、信頼性が低下した放送プロトコルを監査する。
論文 参考訳（メタデータ） (2026-08-18T21:39:27Z) - Test-time reasoning effort and unauthorized tool use in language-model agents: a prespecified equivalence study [1.6787220460106658]
ツールコールを通じて実行される言語モデルエージェントは、各ロールが実行する操作を制限するアクセス制御ポリシーの下で動作します。
TRIO-20の14の確認シナリオにおいて, GPT-5.6内の推論の努力(低, 最大)が異なる。
840の軌道と2つのモデル層にまたがって、認可されていないツールコールは発生しなかった。
論文 参考訳（メタデータ） (2026-08-04T06:01:14Z) - DarwinX: Evolving Agent Harnesses Through Natural Selection [48.64258219266629]
ダーウィンXは自己進化を、モデルが凍結されたハーネスの集団の選択として扱う。
一般的なエージェント能力はベンチマーク固有のパッチではなく、タスク、検証、ベースモデルの変更を生き残る。
論文 参考訳（メタデータ） (2026-07-31T05:34:02Z) - Determinants and Limits of LLM Security-Tool Orchestration: A Study with HexStrike-AI [2.2616066835313253]
7つのカテゴリと3つの難易度で86のPicoCTF課題を実行し、3つのツールアクセスレジームと3つのモデル/クライアント構成で実行します。
既存のツール,エージェント・ビヘイビアの変更,11の新たな機能ツールに修正を適用し,これまで未経験だったトライアルを再実行します。
全体の解決率は55.4%から72.0%に上昇し、全ての構成が大幅に改善される。
論文 参考訳（メタデータ） (2026-07-03T02:20:04Z) - The Price Reversal Phenomenon: When Cheaper Reasoning Models End Up Costing More [76.93600828673503]
リストAPIの価格設定は、実際のコストに対する信頼性の低いプロキシである。
思考トークンのコストの削減は、ランキングの反転を70%削減します。
この結果から,コスト意識モデル選択と透過的な要求毎のコスト監視の必要性が示唆された。
論文 参考訳（メタデータ） (2026-03-25T06:07:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。