論文の概要: ToolPlanner: A Tool Augmented LLM for Multi Granularity Instructions with Path Planning and Feedback

• arxiv url: http://arxiv.org/abs/2409.14826v3
• Date: Mon, 4 Nov 2024 02:29:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 20:50:08.829807
• Title: ToolPlanner: A Tool Augmented LLM for Multi Granularity Instructions with Path Planning and Feedback
• Title（参考訳）: ToolPlanner: パス計画とフィードバックを備えた多粒度インストラクションのためのツール拡張LDM
• Authors: Qinzhuo Wu, Wei Liu, Jian Luan, Bin Wang,
• Abstract要約: 命令が与えられた後、ツール拡張LDMは複数のラウンドで様々な外部ツールと対話し、最終的な答えを提供する。 以前のLLMは、API名やパラメータを含む、過剰に詳細な命令でトレーニングされていたが、実際のユーザはこれらのAPIの詳細を明示的に言及しなかった。 これらの問題に対処するため、MGToolBenchというトレーニングデータセットを構築しました。
• 参考スコア（独自算出の注目度）: 11.931584529573176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, tool-augmented LLMs have gained increasing attention. Given an instruction, tool-augmented LLMs can interact with various external tools in multiple rounds and provide a final answer. However, previous LLMs were trained on overly detailed instructions, which included API names or parameters, while real users would not explicitly mention these API details. This leads to a gap between trained LLMs and real-world scenarios. In addition, most works ignore whether the interaction process follows the instruction. To address these issues, we constructed a training dataset called MGToolBench, which contains statement and category-level instructions to better reflect real-world scenarios. In addition, we propose ToolPlanner, a two-stage reinforcement learning framework that utilizes path planning and two feedback mechanisms to enhance the LLM's task completion and instruction-following capabilities. Experimental results show that ToolPlanner significantly improves the Match Rate, Pass Rate and Win Rate by 26.8%, 20.2%, and 5.6% compared to the SOTA model. Human evaluation verifies that the multi-granularity instructions can better align with users' usage habits. Our data and code will be released upon acceptance.
• Abstract（参考訳）: 近年,ツール強化LDMが注目されている。 命令が与えられた後、ツール拡張LDMは複数のラウンドで様々な外部ツールと対話し、最終的な答えを提供する。 しかし、以前のLCMはAPI名やパラメータを含む過剰に詳細な命令でトレーニングされていたが、実際のユーザはこれらのAPIの詳細を明示的に言及しなかった。 これにより、トレーニングされたLLMと現実世界のシナリオの間にギャップが生じます。 さらに、ほとんどの研究は、相互作用プロセスが命令に従うかどうかを無視している。 これらの問題に対処するため、MGToolBenchというトレーニングデータセットを構築しました。 さらに,経路計画と2つのフィードバック機構を利用した2段階強化学習フレームワークであるToolPlannerを提案する。 実験結果から,ToolPlannerはSOTAモデルと比較して,マッチレート,パスレート,ウィンレートを26.8%,20.2%,5.6%改善した。 人間の評価は、マルチグラニュラリティ命令がユーザーの使用習慣とよりよく一致していることを検証する。 私たちのデータとコードは受け入れ次第リリースされます。

関連論文リスト

• Learning to Ask: When LLMs Meet Unclear Instruction [49.256630152684764]
  大きな言語モデル(LLM)は、言語スキルだけでは達成不可能なタスクに対処するための外部ツールを活用することができる。 我々は、不完全な命令下でのLLMツールの使用性能を評価し、エラーパターンを分析し、Noisy ToolBenchと呼ばれる挑戦的なツール使用ベンチマークを構築した。 Ask-when-Needed (AwN) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-31T23:06:12Z)
• Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
  Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。 次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。 包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
  既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。 試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。 STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
  論文  参考訳（メタデータ） (2024-03-07T18:50:51Z)
• Efficient Tool Use with Chain-of-Abstraction Reasoning [65.18096363216574]
  大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。 マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。 マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-30T21:53:30Z)
• MLLM-Tool: A Multimodal Large Language Model For Tool Agent Learning [38.610185966889226]
  本稿では,オープンソースの大規模言語モデルとマルチモーダルエンコーダを組み合わせたMLLM-Toolを提案する。 学習したLLMはマルチモーダルな入力命令を意識し、関数マッチングツールを正しく選択することができる。 実験の結果,MLLM-Toolはマルチモーダル命令に適したツールを推奨できることがわかった。
  論文  参考訳（メタデータ） (2024-01-19T14:44:37Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• ToolQA: A Dataset for LLM Question Answering with External Tools [14.408707186450899]
  大規模言語モデル (LLM) は様々なNLPタスクにおいて顕著な性能を示した。 彼らはまだ幻覚や弱い数値推論のような困難に悩まされている。 これらの課題を克服するために、LLMの質問応答能力を高めるために外部ツールを使用することができる。
  論文  参考訳（メタデータ） (2023-06-23T05:43:28Z)
• API-Bank: A Comprehensive Benchmark for Tool-Augmented LLMs [84.45284695156771]
  API-Bankは、ツール強化された大規模言語モデルのための画期的なベンチマークである。 73のAPIツールからなる実行評価システムを開発した。 我々は、1,000の異なるドメインにまたがる2,138のAPIから1,888のツール使用対話を含む総合的なトレーニングセットを構築した。
  論文  参考訳（メタデータ） (2023-04-14T14:05:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。