論文の概要: MetaTool: Facilitating Large Language Models to Master Tools with Meta-task Augmentation

• arxiv url: http://arxiv.org/abs/2407.12871v1
• Date: Mon, 15 Jul 2024 10:15:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 20:02:37.898561
• Title: MetaTool: Facilitating Large Language Models to Master Tools with Meta-task Augmentation
• Title（参考訳）: MetaTool: メタタスク拡張による大規模言語モデルをマスタツールにファシリテート
• Authors: Xiaohan Wang, Dian Li, Yilin Zhao, Sinbadliu, Hui Wang,
• Abstract要約: 我々は、再利用可能なツールセットをマスターするために一般化可能な新しいツール学習手法(MetaTool)を導入する。 我々は,ツール実行のマスキング要因を予測するメタタスクを開発した。 メタタスクデータを命令チューニングプロセスに組み込むことで,提案したMetaToolモデルは,オープンソースモデルよりも大幅に優れている。
• 参考スコア（独自算出の注目度）: 25.360660222418183
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Utilizing complex tools with Large Language Models (LLMs) is a critical component for grounding AI agents in various real-world scenarios. The core challenge of manipulating tools lies in understanding their usage and functionality. The prevailing approach involves few-shot prompting with demonstrations or fine-tuning on expert trajectories. However, for complex tools and tasks, mere in-context demonstrations may fail to cover sufficient knowledge. Training-based methods are also constrained by the high cost of dataset construction and limited generalizability. In this paper, we introduce a new tool learning methodology (MetaTool) that is generalizable for mastering any reusable toolset. Our approach includes a self-supervised data augmentation technique that enables LLMs to gain a comprehensive understanding of various tools, thereby improving their ability to complete tasks effectively. We develop a series of meta-tasks that involve predicting masked factors of tool execution. These self-supervised tasks enable the automatic generation of high-quality QA data concerning tool comprehension. By incorporating meta-task data into the instruction tuning process, the proposed MetaTool model achieves significant superiority to open-source models and is comparable to GPT-4/GPT-3.5 on multiple tool-oriented tasks.
• Abstract（参考訳）: LLM(Large Language Models)による複雑なツールの利用は、さまざまな現実のシナリオにおいてAIエージェントを接地するための重要なコンポーネントである。 ツールを操作する上での課題は、ツールの使用状況と機能を理解することだ。 一般的なアプローチでは、デモや専門家の軌道の微調整によって、ほとんどショットを起こさない。 しかし、複雑なツールやタスクでは、単にコンテキスト内デモでは十分な知識をカバーできない可能性がある。 トレーニングベースの手法は、データセット構築の高コストと限定的な一般化性によって制約される。 本稿では,再利用可能なツールセットを習得する上で汎用的な新しいツール学習手法(MetaTool)を提案する。 我々のアプローチには、LLMが様々なツールを包括的に理解し、効率的にタスクを完了する能力を向上できる自己教師型データ拡張技術が含まれている。 我々は,ツール実行のマスキング要因を予測するメタタスクを開発した。 これらの自己教師型タスクは、ツール理解に関する高品質なQAデータの自動生成を可能にする。 メタタスクデータを命令チューニングプロセスに組み込むことにより,提案したMetaToolモデルは,オープンソースのモデルよりも大幅に優れ,複数のツール指向タスクにおいてGPT-4/GPT-3.5に匹敵する。

関連論文リスト

• ToolGen: Unified Tool Retrieval and Calling via Generation [34.34787641393914]
  ToolGenは、ツール知識を大きな言語モデルのパラメータに直接統合するパラダイムシフトです。 ToolGenは、ツール検索と自律タスク補完の両方において、優れた結果が得られることを示す。 ToolGenは、より汎用的で効率的で自律的なAIシステムを実現する。
  論文  参考訳（メタデータ） (2024-10-04T13:52:32Z)
• LLM With Tools: A Survey [0.0]
  本稿では,LCMに外部ツールの使用を教える領域における方法論,問題点,展開について述べる。 ユーザ命令を実行可能なプランにマッピングする一連の関数によってガイドされるツール統合のための標準化パラダイムを導入する。 調査の結果,ツール起動タイミング,選択精度,堅牢な推論プロセスの必要性など,さまざまな課題が明らかになった。
  論文  参考訳（メタデータ） (2024-09-24T14:08:11Z)
• Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
  Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。 次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。 包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• Towards Completeness-Oriented Tool Retrieval for Large Language Models [60.733557487886635]
  現実世界のシステムは多種多様なツールを組み込んでおり、全てのツールを大規模言語モデルに入力することは不可能である。 既存のツール検索手法は主にユーザクエリとツール記述間のセマンティックマッチングに焦点を当てている。 我々は,ユーザクエリとツール記述のセマンティックな類似性だけでなく,ツールの協調的情報も考慮した,新しいモデル診断型協調学習型ツール検索手法であるCOLTを提案する。
  論文  参考訳（メタデータ） (2024-05-25T06:41:23Z)
• Planning, Creation, Usage: Benchmarking LLMs for Comprehensive Tool Utilization in Real-World Complex Scenarios [93.68764280953624]
  UltraToolは、ツール利用におけるLarge Language Modelsの能力を改善し評価するために設計された、新しいベンチマークである。 現実の複雑さを強調し、効果的な問題解決のために正確で多段階の計画を必要とする。 UltraToolの重要な特徴は、ツールの使用前に発生する自然言語による計画の独立した評価である。
  論文  参考訳（メタデータ） (2024-01-30T16:52:56Z)
• EASYTOOL: Enhancing LLM-based Agents with Concise Tool Instruction [56.02100384015907]
  EasyToolは、多種多様で長いツールドキュメントを統一的で簡潔なツール命令に変換するフレームワークである。 トークン使用量を大幅に削減し、現実のシナリオにおけるツール利用のパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2024-01-11T15:45:11Z)
• Large Language Models as Tool Makers [85.00361145117293]
  我々はLLM A s Tool Makers (LATM) と呼ばれるクローズドループフレームワークを導入する。 ツール作成: 1 つのツール作成: LLM がタスクセットのためのツールを作成するツールメーカとして機能する 2 つのツール使用: 別の LLM がツールユーザとして機能し、ツールメーカが問題解決のために構築したツールを適用する。
  論文  参考訳（メタデータ） (2023-05-26T17:50:11Z)
• Making Language Models Better Tool Learners with Execution Feedback [36.30542737293863]
  ツールは、人間が環境を理解し、形を変えることができる重要なインターフェースとして機能する。 既存のツール学習手法は、ツールを無差別に活用するために大きな言語モデルを誘導する。 ツール実行からのフィードバックを通じてモデルを継続的に学習することを可能にする2段階のエンドツーエンドフレームワークであるTool leaRning wIth exeCution fEedback (TRICE)を提案する。
  論文  参考訳（メタデータ） (2023-05-22T14:37:05Z)
• ART: Automatic multi-step reasoning and tool-use for large language models [105.57550426609396]
  大規模言語モデル(LLM)は、数秒とゼロショットの設定で複雑な推論を行うことができる。 各推論ステップは、コアLLM機能を超えて計算をサポートする外部ツールに依存することができる。 プログラムとして中間推論ステップを自動生成するために凍結LDMを使用するフレームワークであるART(Automatic Reasoning and Tool-use)を導入する。
  論文  参考訳（メタデータ） (2023-03-16T01:04:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。