論文の概要: API-Bank: A Comprehensive Benchmark for Tool-Augmented LLMs

• arxiv url: http://arxiv.org/abs/2304.08244v2
• Date: Wed, 25 Oct 2023 06:54:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 21:10:50.162655
• Title: API-Bank: A Comprehensive Benchmark for Tool-Augmented LLMs
• Title（参考訳）: API-Bank: ツール拡張 LLM の総合ベンチマーク
• Authors: Minghao Li, Yingxiu Zhao, Bowen Yu, Feifan Song, Hangyu Li, Haiyang Yu, Zhoujun Li, Fei Huang, Yongbin Li
• Abstract要約: API-Bankは、ツール強化された大規模言語モデルのための画期的なベンチマークである。 73のAPIツールからなる実行評価システムを開発した。 我々は、1,000の異なるドメインにまたがる2,138のAPIから1,888のツール使用対話を含む総合的なトレーニングセットを構築した。
• 参考スコア（独自算出の注目度）: 84.45284695156771
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research has demonstrated that Large Language Models (LLMs) can enhance their capabilities by utilizing external tools. However, three pivotal questions remain unanswered: (1) How effective are current LLMs in utilizing tools? (2) How can we enhance LLMs' ability to utilize tools? (3) What obstacles need to be overcome to leverage tools? To address these questions, we introduce API-Bank, a groundbreaking benchmark, specifically designed for tool-augmented LLMs. For the first question, we develop a runnable evaluation system consisting of 73 API tools. We annotate 314 tool-use dialogues with 753 API calls to assess the existing LLMs' capabilities in planning, retrieving, and calling APIs. For the second question, we construct a comprehensive training set containing 1,888 tool-use dialogues from 2,138 APIs spanning 1,000 distinct domains. Using this dataset, we train Lynx, a tool-augmented LLM initialized from Alpaca. Experimental results demonstrate that GPT-3.5 exhibits improved tool utilization compared to GPT-3, while GPT-4 excels in planning. However, there is still significant potential for further improvement. Moreover, Lynx surpasses Alpaca's tool utilization performance by more than 26 pts and approaches the effectiveness of GPT-3.5. Through error analysis, we highlight the key challenges for future research in this field to answer the third question.
• Abstract（参考訳）: 近年の研究では、LLM(Large Language Models)が外部ツールを利用することで、その能力を高めることが実証されている。 しかし、重要な質問は3つある: (1)現在のllmはツールの活用にどの程度有効か? (2) LLMのツール活用能力を高めるにはどうすればいいのか? (3)ツールを活用するためには,どのような障害を克服する必要があるのか? これらの問題に対処するために,ツール拡張 LLM 用に特別に設計された,画期的なベンチマークである API-Bank を紹介した。 最初の質問として,73のapiツールからなる実行可能な評価システムを開発した。 753のAPI呼び出しで314のツール使用対話を注釈付けして、APIの計画、検索、呼び出しにおける既存のLLMの機能を評価します。 第2の質問では、1,000の異なるドメインにまたがる2,138のAPIから1,888のツール使用対話を含む総合的なトレーニングセットを構築した。 このデータセットを使用して、Alpacaから初期化されたツール拡張LDMであるLynxをトレーニングする。 実験の結果, GPT-3.5はGPT-3に比べてツール利用が向上し, GPT-4は計画に優れていた。 しかし、さらなる改善の可能性はまだ大きい。 さらに、LynxはAlpacaのツール利用性能を26pt以上越え、GPT-3.5の有効性にアプローチしている。 エラー解析を通じて,本分野における今後の研究の課題を取り上げ,第3の疑問に答える。

関連論文リスト

• ToolPlanner: A Tool Augmented LLM for Multi Granularity Instructions with Path Planning and Feedback [11.931584529573176]
  命令が与えられた後、ツール拡張LDMは複数のラウンドで様々な外部ツールと対話し、最終的な答えを提供する。 以前のLLMは、API名やパラメータを含む、過剰に詳細な命令でトレーニングされていたが、実際のユーザはこれらのAPIの詳細を明示的に言及しなかった。 これらの問題に対処するため、MGToolBenchというトレーニングデータセットを構築しました。
  論文  参考訳（メタデータ） (2024-09-23T08:58:48Z)
• Efficient and Scalable Estimation of Tool Representations in Vector Space [34.767193045989515]
  ツール検索のための合成データを生成するためのフレームワークと,小型エンコーダモデルを用いた効率的なデータ駆動型ツール検索戦略を提案する。 ToolBankは、実際のユーザ利用を反映した、新しいツール検索データセットです。 これらの新しい方法により、ToolBenchデータセット上のRecall@Kで最大27.28、ToolBank上のRecall@Kで30.5の改善を実現しています。
  論文  参考訳（メタデータ） (2024-09-02T19:39:24Z)
• Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
  Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。 次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。 包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
  既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。 試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。 STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
  論文  参考訳（メタデータ） (2024-03-07T18:50:51Z)
• Efficient Tool Use with Chain-of-Abstraction Reasoning [65.18096363216574]
  大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。 マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。 マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-30T21:53:30Z)
• CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
  大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。 タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。 本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
  論文  参考訳（メタデータ） (2023-09-29T17:40:26Z)
• ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs [104.37772295581088]
  オープンソースの大規模言語モデル(LLM)、例えばLLaMAは、ツール使用能力に大きく制限されている。 データ構築、モデルトレーニング、評価を含む汎用ツールであるToolLLMを紹介する。 ツール使用のためのインストラクションチューニングフレームワークであるToolBenchを,ChatGPTを使って自動構築する。
  論文  参考訳（メタデータ） (2023-07-31T15:56:53Z)
• ToolQA: A Dataset for LLM Question Answering with External Tools [14.408707186450899]
  大規模言語モデル (LLM) は様々なNLPタスクにおいて顕著な性能を示した。 彼らはまだ幻覚や弱い数値推論のような困難に悩まされている。 これらの課題を克服するために、LLMの質問応答能力を高めるために外部ツールを使用することができる。
  論文  参考訳（メタデータ） (2023-06-23T05:43:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。