論文の概要: API-Bank: A Comprehensive Benchmark for Tool-Augmented LLMs
- arxiv url: http://arxiv.org/abs/2304.08244v2
- Date: Wed, 25 Oct 2023 06:54:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 21:10:50.162655
- Title: API-Bank: A Comprehensive Benchmark for Tool-Augmented LLMs
- Title(参考訳): API-Bank: ツール拡張 LLM の総合ベンチマーク
- Authors: Minghao Li, Yingxiu Zhao, Bowen Yu, Feifan Song, Hangyu Li, Haiyang
Yu, Zhoujun Li, Fei Huang, Yongbin Li
- Abstract要約: API-Bankは、ツール強化された大規模言語モデルのための画期的なベンチマークである。
73のAPIツールからなる実行評価システムを開発した。
我々は、1,000の異なるドメインにまたがる2,138のAPIから1,888のツール使用対話を含む総合的なトレーニングセットを構築した。
- 参考スコア(独自算出の注目度): 84.45284695156771
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent research has demonstrated that Large Language Models (LLMs) can
enhance their capabilities by utilizing external tools. However, three pivotal
questions remain unanswered: (1) How effective are current LLMs in utilizing
tools? (2) How can we enhance LLMs' ability to utilize tools? (3) What
obstacles need to be overcome to leverage tools? To address these questions, we
introduce API-Bank, a groundbreaking benchmark, specifically designed for
tool-augmented LLMs. For the first question, we develop a runnable evaluation
system consisting of 73 API tools. We annotate 314 tool-use dialogues with 753
API calls to assess the existing LLMs' capabilities in planning, retrieving,
and calling APIs. For the second question, we construct a comprehensive
training set containing 1,888 tool-use dialogues from 2,138 APIs spanning 1,000
distinct domains. Using this dataset, we train Lynx, a tool-augmented LLM
initialized from Alpaca. Experimental results demonstrate that GPT-3.5 exhibits
improved tool utilization compared to GPT-3, while GPT-4 excels in planning.
However, there is still significant potential for further improvement.
Moreover, Lynx surpasses Alpaca's tool utilization performance by more than 26
pts and approaches the effectiveness of GPT-3.5. Through error analysis, we
highlight the key challenges for future research in this field to answer the
third question.
- Abstract(参考訳): 近年の研究では、LLM(Large Language Models)が外部ツールを利用することで、その能力を高めることが実証されている。
しかし、重要な質問は3つある: (1)現在のllmはツールの活用にどの程度有効か?
(2) LLMのツール活用能力を高めるにはどうすればいいのか?
(3)ツールを活用するためには,どのような障害を克服する必要があるのか?
これらの問題に対処するために,ツール拡張 LLM 用に特別に設計された,画期的なベンチマークである API-Bank を紹介した。
最初の質問として,73のapiツールからなる実行可能な評価システムを開発した。
753のAPI呼び出しで314のツール使用対話を注釈付けして、APIの計画、検索、呼び出しにおける既存のLLMの機能を評価します。
第2の質問では、1,000の異なるドメインにまたがる2,138のAPIから1,888のツール使用対話を含む総合的なトレーニングセットを構築した。
このデータセットを使用して、Alpacaから初期化されたツール拡張LDMであるLynxをトレーニングする。
実験の結果, GPT-3.5はGPT-3に比べてツール利用が向上し, GPT-4は計画に優れていた。
しかし、さらなる改善の可能性はまだ大きい。
さらに、LynxはAlpacaのツール利用性能を26pt以上越え、GPT-3.5の有効性にアプローチしている。
エラー解析を通じて,本分野における今後の研究の課題を取り上げ,第3の疑問に答える。
関連論文リスト
- LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。
試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。
STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
論文 参考訳(メタデータ) (2024-03-07T18:50:51Z) - API-BLEND: A Comprehensive Corpora for Training and Benchmarking API
LLMs [29.79981259806772]
既存のデータセットを特定し、キュレーションし、変換するタスクに重点を置いています。
ツール拡張LDMのトレーニングと体系的なテストを行うための大規模なコーパスであるAPI-BLENDを紹介する。
トレーニングとベンチマークの両方の目的で,API-BLENDデータセットの有用性を実証する。
論文 参考訳(メタデータ) (2024-02-23T18:30:49Z) - AnyTool: Self-Reflective, Hierarchical Agents for Large-Scale API Calls [30.792186243538037]
我々はAnyToolを紹介した。AnyToolは巨大な言語モデルエージェントで、ユーザクエリに対処する膨大なツールの利用に革命をもたらすように設計されている。
Rapid APIから16,000以上のAPIを使用し、これらのAPIのサブセットがクエリを解決できると仮定して運用しています。
AnyToolには,階層構造を持つAPIレトリバー,選択したAPI候補セットを使用したユーザクエリの解決を目的とした解決器,自己反映機構という,3つの要素が含まれている。
論文 参考訳(メタデータ) (2024-02-06T18:59:57Z) - Efficient Tool Use with Chain-of-Abstraction Reasoning [65.18096363216574]
大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。
マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。
マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-30T21:53:30Z) - MetaTool Benchmark for Large Language Models: Deciding Whether to Use
Tools and Which to Use [82.24774504584066]
大規模言語モデル(LLM)は、その印象的な自然言語処理(NLP)能力のために大きな注目を集めている。
このベンチマークは、LLMがツールの使用意識を持ち、ツールを正しく選択できるかどうかを評価するためのものだ。
8つの人気のあるLCMを巻き込んだ実験を行い、その大半は依然として効果的にツールを選択するのに苦労していることがわかった。
論文 参考訳(メタデータ) (2023-10-04T19:39:26Z) - CRAFT: Customizing LLMs by Creating and Retrieving from Specialized
Toolsets [75.64181719386497]
大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。
タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。
本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
論文 参考訳(メタデータ) (2023-09-29T17:40:26Z) - ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world
APIs [104.37772295581088]
オープンソースの大規模言語モデル(LLM)、例えばLLaMAは、ツール使用能力に大きく制限されている。
データ構築、モデルトレーニング、評価を含む汎用ツールであるToolLLMを紹介する。
ツール使用のためのインストラクションチューニングフレームワークであるToolBenchを,ChatGPTを使って自動構築する。
論文 参考訳(メタデータ) (2023-07-31T15:56:53Z) - ToolQA: A Dataset for LLM Question Answering with External Tools [14.408707186450899]
大規模言語モデル (LLM) は様々なNLPタスクにおいて顕著な性能を示した。
彼らはまだ幻覚や弱い数値推論のような困難に悩まされている。
これらの課題を克服するために、LLMの質問応答能力を高めるために外部ツールを使用することができる。
論文 参考訳(メタデータ) (2023-06-23T05:43:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。