論文の概要: MTU-Bench: A Multi-granularity Tool-Use Benchmark for Large Language Models

• arxiv url: http://arxiv.org/abs/2410.11710v1
• Date: Tue, 15 Oct 2024 15:46:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:02:34.483781
• Title: MTU-Bench: A Multi-granularity Tool-Use Benchmark for Large Language Models
• Title（参考訳）: MTU-Bench: 大規模言語モデルのための多言語ツール用ベンチマーク
• Authors: Pei Wang, Yanan Wu, Zekun Wang, Jiaheng Liu, Xiaoshuai Song, Zhongyuan Peng, Ken Deng, Chenchen Zhang, Jiakai Wang, Junran Peng, Ge Zhang, Hangyu Guo, Zhaoxiang Zhang, Wenbo Su, Bo Zheng,
• Abstract要約: MTU-Benchと呼ばれる大規模言語モデルのための多言語ツール使用ベンチマークを提案する。 私たちのMTU-Benchは、既存の高品質データセットを変換して、実際のツール使用シナリオをシミュレートすることで収集されます。 MTU-Bench の総合的な実験結果から, MTU-Bench の有効性が示唆された。
• 参考スコア（独自算出の注目度）: 66.64809260956312
• License:
• Abstract: Large Language Models (LLMs) have displayed massive improvements in reasoning and decision-making skills and can hold natural conversations with users. Recently, many tool-use benchmark datasets have been proposed. However, existing datasets have the following limitations: (1). Insufficient evaluation scenarios (e.g., only cover limited tool-use scenes). (2). Extensive evaluation costs (e.g., GPT API costs). To address these limitations, in this work, we propose a multi-granularity tool-use benchmark for large language models called MTU-Bench. For the "multi-granularity" property, our MTU-Bench covers five tool usage scenes (i.e., single-turn and single-tool, single-turn and multiple-tool, multiple-turn and single-tool, multiple-turn and multiple-tool, and out-of-distribution tasks). Besides, all evaluation metrics of our MTU-Bench are based on the prediction results and the ground truth without using any GPT or human evaluation metrics. Moreover, our MTU-Bench is collected by transforming existing high-quality datasets to simulate real-world tool usage scenarios, and we also propose an instruction dataset called MTU-Instruct data to enhance the tool-use abilities of existing LLMs. Comprehensive experimental results demonstrate the effectiveness of our MTU-Bench. Code and data will be released at https: //github.com/MTU-Bench-Team/MTU-Bench.git.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、推論と意思決定のスキルを大幅に改善し、ユーザと自然な会話をすることができる。 近年,多くのツール利用ベンチマークデータセットが提案されている。 しかし、既存のデータセットには以下の制限がある。 十分な評価シナリオ(例:限られたツール使用シーンのみをカバーする)。 (2)。 大規模な評価コスト(GPT APIコストなど)。 そこで本研究では,MTU-Benchと呼ばれる大規模言語モデルのための多言語ツール利用ベンチマークを提案する。 MTU-Benchは5つのツール使用シーン(シングルターンとシングルツール、シングルターンとマルチツール、マルチターンとシングルツール、マルチターンとマルチツール、アウト・オブ・ディストリビューションタスク)をカバーしています。 さらに,我々のMTU-Benchの評価指標はすべて,GPTや人的評価指標を使わずに,予測結果と地上事実に基づいている。 さらに,我々のMTU-Benchは,既存の高品質なデータセットを変換して実世界のツール利用シナリオをシミュレートすることで収集される。 MTU-Bench の総合的な実験結果から, MTU-Bench の有効性が示唆された。 コードとデータはhttps: //github.com/MTU-Bench-Team/MTU-Bench.gitで公開される。

関連論文リスト

• ToolSandbox: A Stateful, Conversational, Interactive Evaluation Benchmark for LLM Tool Use Capabilities [30.030101957186595]
  ToolSandboxは、大規模言語モデル(LLM)の評価フレームワークである。 ToolSandboxには、ステートフルなツール実行、ツール間の暗黙のステート依存性、オン・ポリケーションの会話評価をサポートする組み込みユーザシミュレータが含まれている。 オープンソースとプロプライエタリなモデルには大きなパフォーマンスギャップがあることを示し、ToolSandboxで定義された状態依存、正準化、不十分な情報といった複雑なタスクは、最も有能なSOTA LLMでさえも挑戦している。
  論文  参考訳（メタデータ） (2024-08-08T05:45:42Z)
• GTA: A Benchmark for General Tool Agents [32.443456248222695]
  229個の実世界のタスクと実行可能なツールチェーンを設計し、主要な大言語モデル(LLM)を評価する。 GPT-4 はタスクの 50% 以下であり,ほとんどの LLM は 25% 以下である。 この評価は、現実シナリオにおける現在のLLMのツール利用能力のボトルネックを明らかにし、汎用ツールエージェントを前進させるための今後の方向性を提供する。
  論文  参考訳（メタデータ） (2024-07-11T17:50:09Z)
• Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
  Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。 次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。 包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• Towards Completeness-Oriented Tool Retrieval for Large Language Models [60.733557487886635]
  現実世界のシステムは多種多様なツールを組み込んでおり、全てのツールを大規模言語モデルに入力することは不可能である。 既存のツール検索手法は主にユーザクエリとツール記述間のセマンティックマッチングに焦点を当てている。 我々は,ユーザクエリとツール記述のセマンティックな類似性だけでなく,ツールの協調的情報も考慮した,新しいモデル診断型協調学習型ツール検索手法であるCOLTを提案する。
  論文  参考訳（メタデータ） (2024-05-25T06:41:23Z)
• What Are Tools Anyway? A Survey from the Language Model Perspective [67.18843218893416]
  言語モデル(LM)は強力だが、主にテキスト生成タスクに向いている。 LMが使用する外部プログラムとしてツールを統一的に定義する。 各種ツールの効率を実証的に検討した。
  論文  参考訳（メタデータ） (2024-03-18T17:20:07Z)
• Planning, Creation, Usage: Benchmarking LLMs for Comprehensive Tool Utilization in Real-World Complex Scenarios [93.68764280953624]
  UltraToolは、ツール利用におけるLarge Language Modelsの能力を改善し評価するために設計された、新しいベンチマークである。 現実の複雑さを強調し、効果的な問題解決のために正確で多段階の計画を必要とする。 UltraToolの重要な特徴は、ツールの使用前に発生する自然言語による計画の独立した評価である。
  論文  参考訳（メタデータ） (2024-01-30T16:52:56Z)
• ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs [104.37772295581088]
  オープンソースの大規模言語モデル(LLM)、例えばLLaMAは、ツール使用能力に大きく制限されている。 データ構築、モデルトレーニング、評価を含む汎用ツールであるToolLLMを紹介する。 ツール使用のためのインストラクションチューニングフレームワークであるToolBenchを,ChatGPTを使って自動構築する。
  論文  参考訳（メタデータ） (2023-07-31T15:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。