論文の概要: EcoAgent-Bench: Evaluating Economic Decision-Making in Budget-Constrained LLM Agents
- arxiv url: http://arxiv.org/abs/2608.05519v1
- Date: Thu, 06 Aug 2026 01:47:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 17:43:06.691869
- Title: EcoAgent-Bench: Evaluating Economic Decision-Making in Budget-Constrained LLM Agents
- Title（参考訳）: EcoAgent-Bench: 予算制約LDM剤の経済意思決定の評価
- Abstract要約: EcoAgent-Benchを紹介します。
その結果、予算と経済的な行動選択の完了は、異なる特性であることが明らかとなった。
- 参考スコア（独自算出の注目度）: 8.799203536862382
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agent benchmarks usually measure task completion and treat resource use as an auxiliary statistic. In deployment, however, the choice among a local lookup, broad search, composite research tool, stronger model, or human escalation is part of the task itself. We introduce EcoAgent-Bench, in which every task specifies priced actions and an explicit budget. Its 304 real-derived tasks span five families adapted from GAIA, HotpotQA, and MuSiQue, and test four decisions: avoiding unnecessary escalation, escalating when local evidence is insufficient, selecting a model tier, and stopping on unsupported premises. We evaluate seven LLM agents in tool-API and workspace-CLI settings, together with four oracle scripted controls. Micro-averaged accuracy rewards one-sided policies: always-escalate controls achieve high micro success while failing save-oriented tasks. We therefore also report an economic-consistency score (the worse of accuracy on upgrade-oriented and save-oriented family groups) which exposes this failure. Tool-API agents attain only 3.9-24.0% micro strict success (at most 7.3% economic consistency), often either stopping before warranted escalation or overspending on cheap tasks. A threshold-crossing budget sweep changes GPT-5.4's escalation rate from 0% to only 3%. These results show that completion under a budget and economical action selection are distinct properties. We release the task bundle, transformation pipeline, frozen evaluation environments, and integrity-bound result artifacts needed to study both.
- Abstract（参考訳）: エージェントベンチマークは通常、タスクの完了を計測し、補助的な統計量としてリソースの使用を扱います。
しかし、展開において、ローカル検索、広範検索、複合研究ツール、より強力なモデル、あるいは人間のエスカレーションの選択は、タスク自体の一部である。
EcoAgent-Benchを紹介します。
304の実際のタスクは、GAIA、HotpotQA、MuSiQueから適応した5つのファミリーにまたがっており、不要なエスカレーションの回避、ローカルエビデンス不足時のエスカレーション、モデル階層の選択、サポートされていない前提の停止という4つの決定をテストしている。
ツールAPIとワークスペースCLI設定において,7つのLDMエージェントと4つのオラクルスクリプトコントロールを評価した。
常にエスカレートするコントロールは、保存指向のタスクを失敗しながら、高いマイクロ成功を達成する。
また、この失敗を露呈する経済的整合性スコア(アップグレード指向および保存指向の家族グループにおける精度の悪化)を報告した。
ツールAPIエージェントはわずか3.9-24.0%の微妙な成功(経済的な一貫性の最大7.3%)しか得られず、しばしばエスカレーションが保証される前に停止するか、安価なタスクを過小評価する。
GPT-5.4のエスカレーション率は0%から3%に変化している。
これらの結果は、予算と経済的な行動選択の完了が、異なる特性であることを示している。
私たちは、タスクバンドル、トランスフォーメーションパイプライン、凍結した評価環境、そして両方を研究するのに必要な整合性に依存した結果成果物をリリースします。
関連論文リスト
- When Not to Imitate: Boundary-Aware Skill Memory for Reliable Tool-Use LLM Agents [62.10623192614306]
過去の成功からスキルを抽出することは、Large Language Model (LLM)エージェントの効率的な進化に不可欠である。
textbfBoundary-Aware Skill Memory (BASM)を提案する。
BASMは、成功度の高いスキルメモリベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-08-23T10:16:06Z) - AllocBench: Measuring Online Tool Allocation Capability in LLM Agents [2.3236525323645285]
固定予算下で,エージェントが意識的アロケーション行動を示すかどうかを検査するベンチマークを導入する。
私たちは、テストするすべてのフロンティアモデルが抽象フレーミングにおいてほぼ最適に振る舞うが、この能力をスクリプト記述に転送することができないことに気付きました。
論文 参考訳（メタデータ） (2026-07-25T19:05:29Z) - Do AI Agents Know When a Task Is Simple? Toward Complexity-Aware Reasoning and Execution [1.733151600403503]
大規模言語モデル(LLM)エージェントは、ますます多段階のエンジニアリングと情報処理を自動化する。
彼らはしばしば、最大コンテキストファーストの戦略に従い、ファイルや依存関係を読み取り、一行の編集を小さなコードベースの監査に切り替える。
タスク対応型実行-スコープ推定の欠如を論じる。
論文 参考訳（メタデータ） (2026-07-14T17:59:31Z) - Budgeted Act-or-Defer Multi-Agent LLM Deliberation with Local Reliability Bounds [8.682220907885714]
これを予算化された行動または決定決定として定式化します。
システムは議論のプレフィックスを低次元の状態にマップする。
境界がユーザ指定の信頼性しきい値を超えた場合にのみ作用する。
論文 参考訳（メタデータ） (2026-06-28T23:46:56Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents [75.01735520608075]
既存のベンチマークは、直観的信念を問うことで、主にリテラル・オブ・マインド(ToM)をテストする。
EnactToMは, 3D 家庭で設定された300個のマルチエージェントタスクの進化ベンチマークである。
ハードスプリットでは、7つの評価されたフロンティアモデルすべてが機能的なタスク完了時に0.0%のPass3を獲得し、リテラルな信念プローブでは平均45.0%であった。
論文 参考訳（メタデータ） (2026-05-11T00:04:19Z) - ClawsBench: Evaluating Capability and Safety of LLM Productivity Agents in Simulated Workspaces [17.202580606345666]
生産性タスクを自動化するために、大規模言語モデル(LLM)エージェントがますますデプロイされる。
既存のベンチマークは単純化された環境に依存しており、現実的なマルチサービス環境をキャプチャできない。
我々は,現実的な生産性設定におけるLCMエージェントの評価と改善のためのベンチマークであるClawsBenchを紹介する。
論文 参考訳（メタデータ） (2026-04-06T21:09:06Z) - MagicAgent: Towards Generalized Agent Planning [73.21129030631421]
汎用エージェント計画に特化して設計された基盤モデルである textbfMagicAgent について述べる。
多様な計画タスクにまたがる高品質なトラジェクトリを生成する軽量でスケーラブルな合成データフレームワークを提案する。
MagicAgent-32B と MagicAgent-30B-A3B は様々なオープンソースベンチマークにおいて優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2026-02-22T01:39:16Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳（メタデータ） (2025-12-09T06:52:21Z) - SABER: Small Actions, Big Errors -- Safeguarding Mutating Steps in LLM Agents [52.20768003832476]
我々は$$-Bench (Airline/Retail) および SWE-Bench Verified 上での実行トレースを分析する。
成功を失敗に戻すための、先進的な逸脱、最初期の行動、レベル分岐を形式化する。
モデルに依存しない,勾配のない,テスト時のセーフガードである cm を導入します。
論文 参考訳（メタデータ） (2025-11-26T01:28:22Z) - Structured Uncertainty guided Clarification for LLM Agents [126.26213027785813]
LLMエージェントは、ツールコール機能を備えた大きな言語モデルを拡張するが、曖昧なユーザ命令は、しばしば誤った呼び出しやタスクの失敗につながる。
本稿では,ツールコールパラメータに対する構造的不確かさの定式化,完全情報の期待値(EVPI)を目標としたPOMDPのモデル化,冗長性防止のためのアスペクトベースコストモデルを提案する。
我々のSAGE-Agentは、この構造化された不確実性を活用し、より優れた効率を達成するために、曖昧なタスクのカバレッジを7～39%増加させ、明確な質問を1.5～2.7$times$に減らした。
論文 参考訳（メタデータ） (2025-11-11T21:50:44Z) - AgentChangeBench: A Multi-Dimensional Evaluation Framework for Goal-Shift Robustness in Conversational AI [5.165179548592513]
AgentChangeBenchは、ツール拡張言語モデルエージェントがミッドダイアログのゴールシフトにどのように適応するかを測定するために設計されたベンチマークである。
本フレームワークは,タスク成功率(TSR),信頼性のためのツール利用効率(TUE),無駄な作業のためのツールコール冗長率(TCRR),適応のためのゴールシフト回復時間(GSRT)の4つの相補的指標を用いて評価を定式化する。
論文 参考訳（メタデータ） (2025-10-20T23:48:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。