論文の概要: Evolving Self-tuning Benchmarks for Long-Horizon Tool Use

• arxiv url: http://arxiv.org/abs/2610.27307v2
• Date: Wed, 21 Oct 2026 07:15:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.084388
• Title: Evolving Self-tuning Benchmarks for Long-Horizon Tool Use
• Title（参考訳）: 長期ツール利用のためのセルフチューニングベンチマークの展開
• Abstract要約: TURTLEは提案者、解決者、フィードバックジェネレータを用いて既存のタスクを進化させるアプローチである。 異なる環境要件に適応可能な、進化中のセルフチューニングテストスイートを生成する。 AppWorld、$$-Bench、Gemma 4 31B-itを使った AutomationBenchの実証的な結果は、進化したタスクが望ましい困難範囲をターゲットにしていることを示している。
• 参考スコア（独自算出の注目度）: 17.128440941398804
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: For AI assistants to move beyond simple chat interfaces and reliably assist users with applications like Gmail, Venmo, and Slack, we need to improve their tool-use capabilities. However, existing tool use benchmarks are still limited and difficult to scale because they rely on human supervision or are too domain-specific. To make data generation scalable, we propose, TURTLE (Tool Use Related Tasks with Long-Horizon Evolution), an Unsupervised Environment Design (UED) approach to evolve existing tasks using a proposer, a solver, and a feedback generator large language model agents. The proposer is rewarded for difficult yet solvable tasks based on the solver's empirical performance, and the feedback generator summarizes the solver's execution traces for the proposer to exploit. TURTLE produces evolving, self-tuning test suites adaptable to different environment requirements, from supporting user simulators and dense document retrieval to interacting across multiple apps. Empirical results on AppWorld, $τ$-Bench, and AutomationBench using Gemma 4 31B-it show that the evolved tasks target the desired difficulty range (e.g., a 165% increase in the percentage of hard tasks on AppWorld), increase task diversity (in terms of reasoning and simultaneous tool interactions), and elicit a broader range of failure modes than the original tasks.
• Abstract（参考訳）: AIアシスタントが単純なチャットインターフェースを超えて、Gmail、Venmo、Slackなどのアプリケーションでユーザを確実に支援するためには、ツールの使用機能を改善する必要があります。 しかしながら、既存のツール使用ベンチマークは、人間の監督に依存するか、ドメイン固有すぎるため、依然として限定的でスケールが難しい。 データ生成をスケーラブルにするために,TURTLE (Tool Use Related Tasks with Long-Horizon Evolution) を提案する。 提案者は、解決者の経験的性能に基づく難解な課題に対して報奨され、フィードバックジェネレータは、提案者の活用すべき解決者の実行トレースを要約する。 TURTLEは、ユーザシミュレータと高密度ドキュメント検索のサポートから、複数のアプリ間でのインタラクションに至るまで、さまざまな環境要件に適合する進化したセルフチューニングテストスイートを生成する。 AppWorld, $τ$-Bench, and AutomationBench using Gemma 4 31B-itの実証的な結果は,進化したタスクが望ましい困難範囲(例えば,AppWorldのハードタスクの割合が165%増加したこと),タスクの多様性(推論とツールの同時操作の面で)の増加,障害モードの広範な範囲が元のタスクよりも引き起こされていることを示している。

関連論文リスト

• APPSim-Bench: Bridging Real-world Apps and Reproducible Evaluation for Mobile GUI Agents [29.43824786048825]
  移動エージェントは自然言語命令からタスクを実行することができるが、その評価は現実的かつ再現性の高いものにすることは困難である。 既存のベンチマークは、これらの目標をトレードオフするのに対して、ライブの商用アプリは、推奨、広告、アカウント、コンテンツの変更から制御不能なバリエーションを導入している。 本稿では,タスク関連インタラクションロジックを保持する制御可能なシミュレートアプリを通じて,このトレードオフに対処するAppSim-Benchを提案する。
  論文  参考訳（メタデータ） (2026-09-07T16:25:13Z)
• AsyncTool: Evaluating the Asynchronous Function Calling Capability under Multi-Task Scenarios [33.202154532105396]
  大言語モデル(LLM)ベースのエージェントは、複雑なタスクを解決するために外部ツールを使用することで、強力な能力を示している。 現実世界のアプリケーションでは、複数のタスクを同時に実行する必要があり、全体的な効率性は、ツールのレスポンスを待っている間にエージェントがアイドルタイムを使えるかどうかに依存する。 我々は,対話型マルチタスクツール使用環境におけるLLMベースのエージェントを遅延ツールフィードバックで評価するためのベンチマークであるAsyncToolを提案する。
  論文  参考訳（メタデータ） (2026-05-27T05:36:35Z)
• AdaReasoner: Dynamic Tool Orchestration for Iterative Visual Reasoning [66.24374176797075]
  textbfAdaReasonerは、ツール固有の、あるいは明示的な教師付き行動ではなく、一般的な推論スキルとしてツールの使用を学ぶマルチモーダルモデルのファミリーである。 AdaReasonerは、(i)スケーラブルなデータキュレーションパイプラインによって、長期にわたる多段階のツールインタラクションにモデルを公開し、(ii)ツール-GRPO、(ii)ツールの選択とシークエンシングをエンドツーエンドの成功に基づいて優先順位付けする強化学習アルゴリズム、(iii)ツールの使用を動的に規制する適応学習メカニズムによって実現されている。
  論文  参考訳（メタデータ） (2026-01-26T16:04:43Z)
• User-Oriented Multi-Turn Dialogue Generation with Tool Use at scale [5.641245411366927]
  タスク指向型マルチターン対話を大規模に自動生成するフレームワークを開発した。 我々の生成パイプラインは、任意の状態から生成を開始することができる汎用的なプラグイン・アンド・プレイモジュールとして動作します。 実世界の人間とエージェントの相互作用の多面的要求を反映した高密度データセットを提供する。
  論文  参考訳（メタデータ） (2026-01-13T05:14:09Z)
• ML-Tool-Bench: Tool-Augmented Planning for ML Tasks [23.54937738755734]
  ツール強化機械学習エージェントの評価のためのベンチマークを導入する。 私たちのベンチマークは、インメモリ名のオブジェクト管理を組み込むことで、従来のツール使用の評価を超えています。 我々のアプローチはReActよりも16.2%向上し、すべてのKaggle課題の中央値を取ります。
  論文  参考訳（メタデータ） (2025-11-29T23:59:40Z)
• DeepAgent: A General Reasoning Agent with Scalable Toolsets [111.6384541877723]
  DeepAgentは、自律的な思考、ツール発見、アクション実行を実行するエンドツーエンドのディープ推論エージェントである。 長期にわたる相互作用の課題に対処するために,過去の相互作用を構造化エピソード,動作,ツール記憶に圧縮する自律的メモリ折り畳み機構を導入する。 LLMシミュレートされたAPIを活用し、ツール呼び出しトークンにきめ細かいクレジットを割り当てるツールコールアドバンテージ属性を適用した、エンドツーエンドの強化学習戦略であるToolPOを開発した。
  論文  参考訳（メタデータ） (2025-10-24T16:24:01Z)
• Iterative Tool Usage Exploration for Multimodal Agents via Step-wise Preference Tuning [68.00304954972232]
  コントローラ、例えば視覚言語モデルと外部ツールを統合するマルチモーダルエージェントは、複雑なマルチモーダルタスクに対処する際、顕著な能力を示した。 これらのエージェントを訓練するための既存のアプローチは、広範囲なヒューマン・アノテートされたタスク・アンサー・ペアとツール・トラジェクトリに依存している。 本研究では,事前に収集したデータのないマルチモーダルエージェント,すなわち SPORT の反復ツール利用探索手法を提案する。 Sportには、タスク合成、ステップサンプリング、ステップ検証、優先度調整の4つの反復的なコンポーネントがある。
  論文  参考訳（メタデータ） (2025-04-30T12:01:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。