論文の概要: CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets

• arxiv url: http://arxiv.org/abs/2309.17428v2
• Date: Wed, 13 Mar 2024 05:39:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 18:27:47.041656
• Title: CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets
• Title（参考訳）: CRAFT:特殊化によるLCMのカスタマイズ 道具
• Authors: Lifan Yuan, Yangyi Chen, Xingyao Wang, Yi R. Fung, Hao Peng, Heng Ji
• Abstract要約: 大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。 タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。 本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
• 参考スコア（独自算出の注目度）: 75.64181719386497
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) are often augmented with tools to solve complex tasks. By generating code snippets and executing them through task-specific Application Programming Interfaces (APIs), they can offload certain functions to dedicated external modules, such as image encoding and performing calculations. However, most existing approaches to augment LLMs with tools are constrained by general-purpose APIs and lack the flexibility for tailoring them to specific tasks. In this work, we present CRAFT, a general tool creation and retrieval framework for LLMs. It creates toolsets specifically curated for the tasks and equips LLMs with a component that retrieves tools from these sets to enhance their capability to solve complex tasks. For each task, we collect specific code solutions by prompting GPT-4 to solve the training examples. Following a validation step ensuring the correctness, these solutions are abstracted into code snippets to enhance reusability, and deduplicated for higher quality. At inference time, the language model retrieves snippets from the toolsets and then executes them or generates the output conditioning on the retrieved snippets. Our method is designed to be flexible and offers a plug-and-play approach to adapt off-the-shelf LLMs to unseen domains and modalities, without any finetuning. Experiments on vision-language, tabular processing, and mathematical reasoning tasks show that our approach achieves substantial improvements compared to strong baselines. In addition, our in-depth analysis reveals that: (1) consistent performance improvement can be achieved by scaling up the number of tools and the capability of the backbone models; (2) each component of our approach contributes to the performance gains; (3) the created tools are well-structured and reliable with low complexity and atomicity. The code is available at https://github.com/lifan-yuan/CRAFT.
• Abstract（参考訳）: 大規模言語モデル(LLM)は複雑なタスクを解決するツールで拡張されることが多い。 コードスニペットを生成してタスク固有のアプリケーションプログラミングインターフェース(API)を通じて実行することにより、イメージエンコーディングや計算の実行など、特定の機能を専用の外部モジュールにオフロードすることができる。 しかし、ツールでLLMを拡張するための既存のアプローチのほとんどは、汎用APIによって制約されており、特定のタスクに合わせるための柔軟性が欠如している。 本研究では,LLMのための汎用ツール作成・検索フレームワークであるCRAFTについて述べる。 タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。 各タスクに対して、GPT-4にトレーニング例の解決を促すことで、特定のコードソリューションを収集する。 正確性を保証するための検証ステップに続いて、これらのソリューションは再利用性を高めるためにコードスニペットに抽象化され、より高品質に分離される。 推論時に、言語モデルはツールセットからスニペットを検索し、実行するか、検索したスニペット上で出力条件を生成する。 本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。 視覚言語、表処理、数学的推論タスクの実験により、我々の手法は強いベースラインに比べて大幅に改善されていることが示された。 さらに我々は,(1)ツールの数とバックボーンモデルの能力のスケールアップによる一貫したパフォーマンス向上,(2)アプローチの各コンポーネントがパフォーマンス向上に寄与すること,(3)作成ツールが十分に構造化されており,複雑さとアトミック性が低いこと,などを明らかにした。 コードはhttps://github.com/lifan-yuan/CRAFTで公開されている。

関連論文リスト

• StepTool: A Step-grained Reinforcement Learning Framework for Tool Learning in LLMs [44.906714156993694]
  我々は,大規模言語モデルにおけるツール学習を改善するための,段階的な強化学習フレームワークであるStepToolを紹介する。 StepToolは、既存のメソッドを多段階のツールベースのタスクで大幅に上回っている。
  論文  参考訳（メタデータ） (2024-10-10T09:23:26Z)
• LLM With Tools: A Survey [0.0]
  本稿では,LCMに外部ツールの使用を教える領域における方法論,問題点,展開について述べる。 ユーザ命令を実行可能なプランにマッピングする一連の関数によってガイドされるツール統合のための標準化パラダイムを導入する。 調査の結果,ツール起動タイミング,選択精度,堅牢な推論プロセスの必要性など,さまざまな課題が明らかになった。
  論文  参考訳（メタデータ） (2024-09-24T14:08:11Z)
• Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
  Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。 次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。 包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• Efficient Tool Use with Chain-of-Abstraction Reasoning [65.18096363216574]
  大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。 マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。 マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-30T21:53:30Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• Large Language Models as Tool Makers [85.00361145117293]
  我々はLLM A s Tool Makers (LATM) と呼ばれるクローズドループフレームワークを導入する。 ツール作成: 1 つのツール作成: LLM がタスクセットのためのツールを作成するツールメーカとして機能する 2 つのツール使用: 別の LLM がツールユーザとして機能し、ツールメーカが問題解決のために構築したツールを適用する。
  論文  参考訳（メタデータ） (2023-05-26T17:50:11Z)
• CREATOR: Tool Creation for Disentangling Abstract and Concrete Reasoning of Large Language Models [74.22729793816451]
  大規模言語モデル(LLM)はツールの利用において大きな進歩を遂げているが、その能力はAPIの可用性によって制限されている。 我々は、LCMがドキュメンテーションとコード実現を使って独自のツールを作成できる新しいフレームワークCREATORを提案する。 我々は,MATH と TabMWP のベンチマークで CREATOR を評価する。
  論文  参考訳（メタデータ） (2023-05-23T17:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。