論文の概要: $Δτ$-Bench: Pushing Agents Toward a Moving Capability
- arxiv url: http://arxiv.org/abs/2610.34238v1
- Date: Sun, 25 Oct 2026 12:10:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.563646
- Title: $Δτ$-Bench: Pushing Agents Toward a Moving Capability
- Title（参考訳）: $Δτ$-Bench: エージェントを移動能力にプッシュする
- Abstract要約: $$-Benchは、大規模なツールエコシステムの構造的進化をモデル化する実行可能なエージェントベンチマークである。
エージェントが効率的なツール利用経路を積極的に発見できるかどうかを評価し、蓄積した手続き的知識を迅速に修正する。
実験によると、Sterwardは、スキル維持のオーバーヘッドが低いエコシステムの変化に対して、より高いタスク成功を維持している。
- 参考スコア（独自算出の注目度）: 40.05420723784409
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we introduce $Δτ$-Bench, an executable agent benchmark that models the structural evolution of large tool ecosystems. In $Δτ$-Bench, independently evolving services continually reshape how tasks can be accomplished: familiar tools may disappear or be replaced, while more efficient alternatives emerge amid overlapping functionality and noisy documentation. Against this moving capability frontier, we evaluate whether agents can proactively discover efficient tool-use paths and promptly revise their accumulated procedural knowledge, bringing together demands that existing benchmarks fail to examine. $Δτ$-Bench comprises 1,588 validated multi-turn tasks across 42 domains and six successive ecosystem states generated through capability-preserving transformations. Our evaluation shows that even the strongest evaluated model or harness achieves only 42.3% task success, while initial gains from existing skill-learning methods can not consistently translate into better adaptation as the ecosystem evolves. These findings motivate Steward, an ecosystem manager that jointly manages tools and procedural knowledge through incremental skill maintenance and dynamic provisioning during task execution. Experiments show that Steward sustains higher task success across ecosystem changes with lower skill-maintenance overhead, while improving both recovery from disrupted workflows and adoption of more efficient alternatives.
- Abstract（参考訳）: 本稿では,大規模ツールエコシステムの構造的進化をモデル化する実行可能なエージェントベンチマークである$Δτ$-Benchを紹介する。
$Δτ$-Benchでは、独立して進化するサービスは、タスクの達成方法を継続的に作り直します。
この移動能力フロンティアに対して、エージェントが効率的なツール利用経路を積極的に発見できるかどうかを評価し、蓄積した手続き的知識を迅速に修正し、既存のベンチマークが検証できないという要求をまとめる。
Δτ$-Benchは、42ドメインにわたる1,588の検証されたマルチターンタスクと、能力保存変換によって生成される6つの連続したエコシステム状態からなる。
評価の結果,最強評価モデルやハーネスであっても42.3%のタスク成功しか達成できない一方で,既存のスキル学習手法から得られる最初の成果は,生態系の進化とともに常に適応性を高めることはできないことがわかった。
これらの発見は、タスク実行中に段階的なスキルメンテナンスと動的プロビジョニングを通じて、ツールと手続き的知識を共同で管理するエコシステムマネージャであるSterwardを動機付けている。
実験によると、Sterwardは、スキル維持オーバーヘッドの低いエコシステムの変化に対して、より高いタスク成功を保ちながら、混乱したワークフローからのリカバリと、より効率的な代替手段の採用の両方を改善している。
関連論文リスト
- EmbodiedEvo: Self-Evolving Coding Agent For Physical Intelligence [5.550735065870032]
EmbodiedEvoは自己進化型コーディングエージェントで、物理的なフィードバックを再利用可能なコードスキルと診断レッスンに蒸留する。
RoboDojo-Simでは、EmbodiedEvoの平均スコアは44.48で、成功率は37.82%で、公式に確認されたすべての結果を上回っている。
論文 参考訳（メタデータ） (2026-10-13T17:59:51Z) - WEFT: Scaling Tool-Use Post-Training for General-Purpose Agents [83.57238211078025]
WEFTは、環境幅、タスクの複雑さ、相互作用の多様性にまたがるエージェントインタラクションシステムの構築をスケールする。
大規模で安定した後トレーニングでは、WEFTは最適化と実行の信頼性の両方に対処する。
様々なモデルとベンチマークによる実験は、ツール使用後のトレーニングにおけるWEFTの有効性を示す。
論文 参考訳（メタデータ） (2026-09-29T07:14:53Z) - ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step [74.83535434786145]
ScrambleToolBenchは,行動推論の分離を目的とした対話型端末ベンチマークである。
このベンチマークでは、エージェントがテストとエラーのインタラクションを通じて、隠されたツールの振る舞いを明らかにする必要がある。
現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。
論文 参考訳（メタデータ） (2026-08-03T15:07:46Z) - EvoIR-Agent: Self-Evolving Image Restoration Agentic System via Experience-Driven Learning [39.60899845728349]
マルチモーダル大言語モデル(MLLM)による画像復元は,分解結合シナリオの有効性を示す。
トレーニングベースのメソッドは、固有の経験をパラメータに組み込んで、高い推論効率を実現するが、新しいツールや分解との互換性に欠ける。
EvoIR-Agentは、まず、トレーニング不要の画像復元エージェントの経験成分を体系的に定式化する。
論文 参考訳（メタデータ） (2026-05-21T09:14:25Z) - ToolSelf: Unifying Task Execution and Self-Reconfiguration via Tool-Driven Intrinsic Adaptation [60.25542764389203]
LLM(Large Language Models)を利用したエージェントシステムは、複雑で長期のタスクに対処する上で、顕著な可能性を示している。
既存のアプローチでは、手動のオーケストレーションやランタイムベースのパッチを頼りにしており、一般化の貧弱さと最適化の断片化に悩まされることが多い。
ツール駆動の自己修正を可能にする新しいパラダイムであるToolSelfを提案する。
論文 参考訳（メタデータ） (2026-02-08T09:27:18Z) - EvoRoute: Experience-Driven Self-Routing LLM Agent Systems [100.64399490164959]
EvoRouteは、静的で事前定義されたモデルの割り当てを超越する、自己進化型のモデルルーティングパラダイムである。
挑戦的なエージェントベンチマークの実験によると、既製のエージェントシステムに統合されたEvoRouteは、システムのパフォーマンスを維持または向上するだけでなく、実行コストを最大80%削減し、レイテンシを70%以上削減する。
論文 参考訳（メタデータ） (2026-01-06T04:06:46Z) - AgentEvolver: Towards Efficient Self-Evolving Agent System [51.54882384204726]
本稿では,自律型エージェント学習を駆動する自己進化型エージェントシステムであるAgentEvolverを紹介する。
AgentEvolverは、セルフクエスト、セルフナビゲート、セルフコントリビューションという3つのシナジスティックメカニズムを導入している。
予備実験により、AgentEvolverは従来のRLベースのベースラインと比較して、より効率的な探索、より優れたサンプル利用、より高速な適応を実現していることが示された。
論文 参考訳（メタデータ） (2025-11-13T15:14:47Z) - AgentChangeBench: A Multi-Dimensional Evaluation Framework for Goal-Shift Robustness in Conversational AI [5.165179548592513]
AgentChangeBenchは、ツール拡張言語モデルエージェントがミッドダイアログのゴールシフトにどのように適応するかを測定するために設計されたベンチマークである。
本フレームワークは,タスク成功率(TSR),信頼性のためのツール利用効率(TUE),無駄な作業のためのツールコール冗長率(TCRR),適応のためのゴールシフト回復時間(GSRT)の4つの相補的指標を用いて評価を定式化する。
論文 参考訳（メタデータ） (2025-10-20T23:48:07Z) - CLEA: Closed-Loop Embodied Agent for Enhancing Task Execution in Dynamic Environments [39.5949489828609]
大規模言語モデル(LLM)は、意味論的推論を通じて複雑なタスクを階層的に分解する際、顕著な能力を示す。
クローズドループ・エンボダイド・エージェント (CLEA) は,クローズドループタスク管理のための機能的デカップリングを備えた,4つの特別なオープンソース LLM を組み込んだ新しいアーキテクチャである。
我々は、物体探索、操作、探索操作統合タスクのための2つの異種ロボットを用いて、操作可能な物体を実環境で実験する。
論文 参考訳（メタデータ） (2025-03-02T04:50:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。