論文の概要: RideWay: Benchmarking Efficient Task Completion for Tool-Using Language Agents

• arxiv url: http://arxiv.org/abs/2609.17985v1
• Date: Wed, 16 Sep 2026 01:15:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.58834
• Title: RideWay: Benchmarking Efficient Task Completion for Tool-Using Language Agents
• Title（参考訳）: RideWay: ツール使用言語エージェントの効率的なタスク補完のベンチマーク
• Abstract要約: RideWayは、ステートフルなツールコール環境における配車エージェントのための効率中心のベンチマークである。 効率性 ユーティリティは、タスク固有の参照作業に対して、過剰なツールコールとユーザ向きのターンに対して、成功したトラジェクトリを割引する。 タスク不一致の保留条件では、効率ユーティリティは全体の78.7%の精度を達成している。
• 参考スコア（独自算出の注目度）: 2.0159253466233222
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI agents are usually evaluated by whether they complete a task. In interactive service settings, a successful agent can still frustrate users by asking repeated questions, performing redundant searches, or making avoidable revisions. We introduce RideWay, an efficiency-centered benchmark for ridehailing agents in a stateful tool-calling environment, together with Efficiency Utility, a success-gated metric that discounts successful trajectories for excess tool calls and user-facing turns relative to task-specific reference effort. Human paired preferences calibrate the relative penalties, reflecting an aggregate service-workflow trade-off: extra dialogue often creates visible friction, whereas extra tool use can sometimes verify constraints or preserve user intent. Across 58 tasks and 24 models, the fitted penalty for excess turns is about twice that for excess tool calls. On task-disjoint held-out preferences, Efficiency Utility achieves 78.7% accuracy overall: 90.6% when trajectories differ in turns, but chance-level accuracy when they differ solely in tool calls - the axis on which human annotators agree least. RideWay therefore makes interaction efficiency measurable alongside task success, while exposing the boundary of count-based tool-use evaluation.
• Abstract（参考訳）: AIエージェントは通常、タスクが完了するかどうかによって評価される。 対話型サービス設定では、成功したエージェントは繰り返し質問したり、冗長な検索を行ったり、回避可能なリビジョンを行ったりすることで、ユーザをフラストレーションすることができる。 RideWayは、ステートフルなツールコール環境における配車エージェントの効率中心のベンチマークであり、Efficic Utilityとともに、過剰なツールコールとタスク固有の参照作業に対するユーザ向きのターンに対して、成功したトラジェクトリを割引する成功基準である。 ヒューマンペアの好みは、相対的なペナルティを校正し、サービスとワークフローのトレードオフの集合を反映します。 58のタスクと24のモデルで、過剰なターンのペナルティは過剰なツールコールの約2倍である。 タスク不一致の保留条件では、効率ユーティリティは全体の78.7%の精度を達成している: 軌道が交互に異なる場合の90.6%、ツールコールでのみ異なる場合の確率レベル精度 - 人間のアノテータが最小に一致する軸 - である。 そのため、RideWayは、タスクの成功とともに、インタラクション効率を計測し、カウントベースのツール使用評価の境界を明らかにします。

関連論文リスト

• SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
  SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。 行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。 Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
  論文  参考訳（メタデータ） (2026-06-12T08:20:09Z)
• Do Agents Know What They Can't Do? Evaluating Feasibility Awareness in Tool-Using Agents [2.9489426115388793]
  エージェントタスクを構築するための自動パイプラインであるFeasiGenを提案する。 提案手法は,複数のエージェントシステム間で成功した実行からツールコールトレースを抽出する。 人間による検証では、構築したタスクの不可能なアノテーションが94%以上の精度で達成されている。
  論文  参考訳（メタデータ） (2026-05-27T14:25:51Z)
• Rethinking the Role of Entropy in Optimizing Tool-Use Behaviors for Large Language Model Agents [54.18201810286764]
  LLM(Large Language Models)に基づくツール利用エージェントは、数学的推論やマルチホップ質問応答といったタスクに優れる。 長い道のりでは、エージェントはしばしば過度で低品質なツールコールをトリガーし、レイテンシを増大させ、推論性能を低下させる。 本稿では,エントロピー低減を監視信号として使用し,ツール使用行動の最適化ニーズに対処する2つの報奨戦略を設計する。
  論文  参考訳（メタデータ） (2026-02-02T12:52:14Z)
• Trajectory2Task: Training Robust Tool-Calling Agents with Synthesized Yet Verifiable Data for Complex User Intents [52.30603055218294]
  Trajectory2Taskは,3つの現実的なユーザシナリオの下で大規模なツール使用を研究するための,検証可能なデータ生成パイプラインである。 有効なツールコールトラジェクトリを、制御されたインテント適応を伴うユーザ向けタスクに変換する。 我々は、生成された複雑なユーザシナリオタスクに対して、7つの最先端のLCMをベンチマークし、頻繁な障害を観察する。
  論文  参考訳（メタデータ） (2026-01-28T00:36:13Z)
• Acting Less is Reasoning More! Teaching Model to Act Efficiently [87.28134636548705]
  ツール統合推論は、タスクを解決するために外部ツールを呼び出す機能によって、大きな言語モデルを拡張します。 現在のアプローチは、外部ツールの使用効率や必要性を考慮せずに、最終的な正確性のためにのみ最適化されている。 最小限のツールコールで正確な回答をモデルに提示するフレームワークを提案する。 このアプローチでは,ツールコールを最大68.3%削減し,ツールの生産性を最大215.4%向上すると同時に,同等の回答精度を維持している。
  論文  参考訳（メタデータ） (2025-04-21T05:40:05Z)
• Divergence-Based Domain Transferability for Zero-Shot Classification [78.55044112903148]
  事前訓練されたニューラルネットワークモデルから学習パターンを転送することで、さまざまな言語ベースのタスクにおける効果が大幅に向上することが示されている。 中間タスクが目的タスクと十分に関係している場合、中間タスクのさらなるチューニングにより、さらなるパフォーマンス上のメリットが示される。 しかし、関連するタスクの特定方法はオープンな問題であり、効果的なタスクの組み合わせをブルートフォースで探すのは非常に高価である。
  論文  参考訳（メタデータ） (2023-02-11T16:04:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。