論文の概要: GTA: A Benchmark for General Tool Agents
- arxiv url: http://arxiv.org/abs/2407.08713v1
- Date: Thu, 11 Jul 2024 17:50:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-12 16:09:12.630962
- Title: GTA: A Benchmark for General Tool Agents
- Title(参考訳): GTA: 汎用ツールエージェントのベンチマーク
- Authors: Jize Wang, Zerun Ma, Yining Li, Songyang Zhang, Cailian Chen, Kai Chen, Xinyi Le,
- Abstract要約: 229個の実世界のタスクと実行可能なツールチェーンを設計し、主要な大言語モデル(LLM)を評価する。
GPT-4 はタスクの 50% 以下であり,ほとんどの LLM は 25% 以下である。
この評価は、現実シナリオにおける現在のLLMのツール利用能力のボトルネックを明らかにし、汎用ツールエージェントを前進させるための今後の方向性を提供する。
- 参考スコア(独自算出の注目度): 32.443456248222695
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Significant focus has been placed on integrating large language models (LLMs) with various tools in developing general-purpose agents. This poses a challenge to LLMs' tool-use capabilities. However, there are evident gaps between existing tool-use evaluations and real-world scenarios. Current evaluations often use AI-generated queries, single-step tasks, dummy tools, and text-only interactions, failing to reveal the agents' real-world problem-solving abilities effectively. To address this, we propose GTA, a benchmark for General Tool Agents, featuring three main aspects: (i) Real user queries: human-written queries with simple real-world objectives but implicit tool-use, requiring the LLM to reason the suitable tools and plan the solution steps. (ii) Real deployed tools: an evaluation platform equipped with tools across perception, operation, logic, and creativity categories to evaluate the agents' actual task execution performance. (iii) Real multimodal inputs: authentic image files, such as spatial scenes, web page screenshots, tables, code snippets, and printed/handwritten materials, used as the query contexts to align with real-world scenarios closely. We design 229 real-world tasks and executable tool chains to evaluate mainstream LLMs. Our findings show that real-world user queries are challenging for existing LLMs, with GPT-4 completing less than 50% of the tasks and most LLMs achieving below 25%. This evaluation reveals the bottlenecks in the tool-use capabilities of current LLMs in real-world scenarios, which provides future direction for advancing general-purpose tool agents. The code and dataset are available at https://github.com/open-compass/GTA.
- Abstract(参考訳): 汎用エージェントの開発において,大規模言語モデル(LLM)とさまざまなツールの統合に重点が置かれている。
これは、LLMのツール使用能力に課題をもたらす。
しかし、既存のツール使用評価と現実のシナリオの間には明らかなギャップがある。
現在の評価では、AI生成クエリ、単一ステップタスク、ダミーツール、テキストのみのインタラクションが頻繁に使用されており、エージェントの現実的な問題解決能力を効果的に明らかにしていない。
これを解決するために、ジェネラルツールエージェントのベンチマークであるGTAを提案する。
i) 実際のユーザクエリ: 単純な現実世界の目的を持つが、暗黙的なツール使用を伴う、人間によるクエリ。
2)実運用ツール:エージェントの実際のタスク実行性能を評価するために,認識,操作,論理,創造性といったカテゴリにまたがるツールを備えた評価プラットフォーム。
(iii)実際のマルチモーダル入力:空間シーン、Webページのスクリーンショット、テーブル、コードスニペット、印刷・手書きの材料など、実世界のシナリオと密接に整合するクエリコンテキストとして使用される、真のイメージファイル。
実世界の229のタスクと実行可能なツールチェーンを設計し、主要なLCMを評価した。
GPT-4 はタスクの 50% 以下であり,ほとんどの LLM は 25% 以下である。
この評価は、現実シナリオにおける現在のLLMのツール利用能力のボトルネックを明らかにし、汎用ツールエージェントを前進させるための今後の方向性を提供する。
コードとデータセットはhttps://github.com/open-compass/GTAで公開されている。
関連論文リスト
- MetaTool: Facilitating Large Language Models to Master Tools with Meta-task Augmentation [25.360660222418183]
我々は、再利用可能なツールセットをマスターするために一般化可能な新しいツール学習手法(MetaTool)を導入する。
我々は,ツール実行のマスキング要因を予測するメタタスクを開発した。
メタタスクデータを命令チューニングプロセスに組み込むことで,提案したMetaToolモデルは,オープンソースモデルよりも大幅に優れている。
論文 参考訳(メタデータ) (2024-07-15T10:15:41Z) - AvaTaR: Optimizing LLM Agents for Tool-Assisted Knowledge Retrieval [93.96463520716759]
大言語モデル(LLM)エージェントは、外部のツールや知識を活用して精度を高め、幻覚を減らすという印象的な能力を示した。
本稿では、LLMエージェントを最適化して提供するツールを効果的に利用し、与えられたタスク/ドメインの性能を向上させる新しいフレームワークであるAvaTaRを紹介する。
AvaTaRは、4つの課題にまたがる最先端のアプローチを一貫して上回り、新規事例に適用した場合に強力な一般化能力を示す。
論文 参考訳(メタデータ) (2024-06-17T04:20:02Z) - Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。
次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。
包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
論文 参考訳(メタデータ) (2024-05-26T11:40:58Z) - COLT: Towards Completeness-Oriented Tool Retrieval for Large Language Models [60.733557487886635]
そこで我々は,Collaborative Learning-based Tool Retrieval approach, COLTを提案する。
COLTはユーザクエリとツール記述のセマンティックな類似性をキャプチャする。
また、ツールの協調的な情報も考慮に入れている。
論文 参考訳(メタデータ) (2024-05-25T06:41:23Z) - Planning, Creation, Usage: Benchmarking LLMs for Comprehensive Tool Utilization in Real-World Complex Scenarios [93.68764280953624]
UltraToolは、ツール利用におけるLarge Language Modelsの能力を改善し評価するために設計された、新しいベンチマークである。
現実の複雑さを強調し、効果的な問題解決のために正確で多段階の計画を必要とする。
UltraToolの重要な特徴は、ツールの使用前に発生する自然言語による計画の独立した評価である。
論文 参考訳(メタデータ) (2024-01-30T16:52:56Z) - EASYTOOL: Enhancing LLM-based Agents with Concise Tool Instruction [56.02100384015907]
EasyToolは、多種多様で長いツールドキュメントを統一的で簡潔なツール命令に変換するフレームワークである。
トークン使用量を大幅に削減し、現実のシナリオにおけるツール利用のパフォーマンスを向上させることができる。
論文 参考訳(メタデータ) (2024-01-11T15:45:11Z) - MetaTool Benchmark for Large Language Models: Deciding Whether to Use
Tools and Which to Use [82.24774504584066]
大規模言語モデル(LLM)は、その印象的な自然言語処理(NLP)能力のために大きな注目を集めている。
このベンチマークは、LLMがツールの使用意識を持ち、ツールを正しく選択できるかどうかを評価するためのものだ。
8つの人気のあるLCMを巻き込んだ実験を行い、その大半は依然として効果的にツールを選択するのに苦労していることがわかった。
論文 参考訳(メタデータ) (2023-10-04T19:39:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。