論文の概要: Budget-Constrained Tool Learning with Planning
- arxiv url: http://arxiv.org/abs/2402.15960v1
- Date: Sun, 25 Feb 2024 02:46:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 16:12:45.982679
- Title: Budget-Constrained Tool Learning with Planning
- Title(参考訳): 計画による予算制約ツール学習
- Authors: Yuanhang Zheng, Peng Li, Ming Yan, Ji Zhang, Fei Huang and Yang Liu
- Abstract要約: 本稿では,予算制約ツール学習のための新しい手法を提案する。
当社のアプローチでは、ツールを利用する前に、予算制約の下で望ましいプランを作成します。
- 参考スコア(独自算出の注目度): 42.94200883090717
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite intensive efforts devoted to tool learning, the problem of
budget-constrained tool learning, which focuses on resolving user queries
within a specific budget constraint, has been widely overlooked. This paper
proposes a novel method for budget-constrained tool learning. Our approach
involves creating a preferable plan under the budget constraint before
utilizing the tools. This plan outlines the feasible tools and the maximum
number of times they can be employed, offering a comprehensive overview of the
tool learning process for large language models. This allows them to allocate
the budget from a broader perspective. To devise the plan without incurring
significant extra costs, we suggest initially estimating the usefulness of the
candidate tools based on past experience. Subsequently, we employ dynamic
programming to formulate the plan. Experimental results demonstrate that our
method can be integrated with various tool learning methods, significantly
enhancing their effectiveness under strict budget constraints.
- Abstract(参考訳): ツール学習への集中的な取り組みにもかかわらず、特定の予算制約内でユーザクエリを解決することに注力する予算制約ツール学習の問題は、広く見過ごされている。
本稿では,予算制約ツール学習のための新しい手法を提案する。
我々のアプローチは、ツールを利用する前に予算制約の下で望ましい計画を作成することを伴う。
この計画では、実現可能なツールの概要と、採用可能な最大回数を概説し、大規模言語モデルのツール学習プロセスの概要を概説する。
これにより、より広い視点から予算を割り当てることができる。
追加費用を伴わずに計画を立て直すためには,まず,過去の経験に基づいて候補ツールの有用性を推定することを提案する。
その後、計画の定式化に動的プログラミングを用いる。
実験により,本手法を各種ツール学習手法に統合し,厳格な予算制約下での有効性を著しく向上できることを示した。
関連論文リスト
- Look Before You Leap: Towards Decision-Aware and Generalizable
Tool-Usage for Large Language Models [28.19932548630398]
意思決定・汎用ツール・ユース・フレームワーク(DEER)を提案する。
具体的には、まず、自動生成パイプラインを介して、複数の決定ブランチを持つツール使用サンプルを構築します。
提案するDEERは, 各種データセットのベースラインよりも効果的で, 著しく優れる。
論文 参考訳(メタデータ) (2024-02-26T16:11:03Z) - TOOLVERIFIER: Generalization to New Tools via Self-Verification [69.85190990517184]
本稿では,ツール選択中にコントラスト質問を自己問合せすることで,近接候補を識別する自己検証手法を提案する。
ToolBenchベンチマークによる4つのタスクの実験では、17の見えないツールで構成されており、数ショットのベースラインよりも平均22%改善されている。
論文 参考訳(メタデータ) (2024-02-21T22:41:38Z) - Planning, Creation, Usage: Benchmarking LLMs for Comprehensive Tool
Utilization in Real-World Complex Scenarios [95.97781233780357]
UltraToolは、ツール利用におけるLarge Language Modelsの能力を改善し評価するために設計された、新しいベンチマークである。
現実の複雑さを強調し、効果的な問題解決のために正確で多段階の計画を必要とする。
UltraToolの重要な特徴は、ツールの使用前に発生する自然言語による計画の独立した評価である。
論文 参考訳(メタデータ) (2024-01-30T16:52:56Z) - ToolEyes: Fine-Grained Evaluation for Tool Learning Capabilities of
Large Language Models in Real-world Scenarios [48.38419686697733]
本稿では,大規模言語モデルのツール学習能力を評価するためのシステムであるToolEyesを提案する。
このシステムは7つの現実シナリオを慎重に分析し、ツール学習においてLLMに不可欠な5次元を解析する。
ToolEyesには,約600のツールを備えたツールライブラリが組み込まれている。
論文 参考訳(メタデータ) (2024-01-01T12:49:36Z) - Patterns of Student Help-Seeking When Using a Large Language
Model-Powered Programming Assistant [2.5949084781328744]
本研究は,オンデマンドプログラミング支援を行う革新的なツールを学生が直接ソリューションを明らかにすることなく活用することを検討する。
私たちは学期を通して2500以上の質問を学生から集めました。
しかし、関連する概念や概念理解の深化のために支援を求める要求は少ない。
論文 参考訳(メタデータ) (2023-10-25T20:36:05Z) - Large Language Models as Tool Makers [85.00361145117293]
我々はLLM A s Tool Makers (LATM) と呼ばれるクローズドループフレームワークを導入する。
ツール作成: 1 つのツール作成: LLM がタスクセットのためのツールを作成するツールメーカとして機能する 2 つのツール使用: 別の LLM がツールユーザとして機能し、ツールメーカが問題解決のために構築したツールを適用する。
論文 参考訳(メタデータ) (2023-05-26T17:50:11Z) - Making Language Models Better Tool Learners with Execution Feedback [36.30542737293863]
ツールは、人間が環境を理解し、形を変えることができる重要なインターフェースとして機能する。
既存のツール学習手法は、ツールを無差別に活用するために大きな言語モデルを誘導する。
ツール実行からのフィードバックを通じてモデルを継続的に学習することを可能にする2段階のエンドツーエンドフレームワークであるTool leaRning wIth exeCution fEedback (TRICE)を提案する。
論文 参考訳(メタデータ) (2023-05-22T14:37:05Z) - ToolkenGPT: Augmenting Frozen Language Models with Massive Tools via
Tool Embeddings [25.5476046472217]
大規模な言語モデルを外部ツールで拡張することは、複雑な問題を解決するための有望なアプローチとして現れている。
最近のインコンテキスト学習パラダイムはこれらの問題を緩和するが、制限されたコンテキスト長はいくつかのデモのみを可能にする。
我々は、両者の利点を組み合わせた代替アプローチである$textbfToolkenGPT$を提案する。
論文 参考訳(メタデータ) (2023-05-19T09:54:21Z) - Tool Learning with Foundation Models [114.2581831746077]
基礎モデルの出現により、AIシステムは、人間としてのツールの使用に等しく適応できる可能性がある。
その大きな可能性にもかかわらず、この分野における重要な課題、機会、そして将来の取り組みに関する包括的な理解はいまだに欠けている。
論文 参考訳(メタデータ) (2023-04-17T15:16:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。