論文の概要: Syntax Error-Free and Generalizable Tool Use for LLMs via Finite-State
Decoding
- arxiv url: http://arxiv.org/abs/2310.07075v1
- Date: Tue, 10 Oct 2023 23:37:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 01:06:18.990079
- Title: Syntax Error-Free and Generalizable Tool Use for LLMs via Finite-State
Decoding
- Title(参考訳): 有限状態復号によるllms用構文エラーフリー・一般化ツール
- Authors: Kexun Zhang, Hongqiao Chen, Lei Li, William Wang
- Abstract要約: 大規模言語モデル(LLM)は、複雑な問題を解決するために外部ツールを使用する上で有望な能力を示している。
既存のアプローチには、追加のトレーニングなしで新しいツールに一般化しないツールデモの微調整や、コンテキスト内のツールドキュメントの提供が含まれる。
ツール拡張 LLM のための有限エンハンスマシン誘導復号法である ToolDec を提案する。
- 参考スコア(独自算出の注目度): 12.58136035688171
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have shown promising capabilities in using
external tools to solve complex problems. However, existing approaches either
involve fine-tuning on tool demonstrations, which do not generalize to new
tools without additional training, or providing tool documentation in context,
limiting the number of tools. Both approaches often generate syntactically
invalid tool calls. In this paper, we propose ToolDec, a finite-state
machine-guided decoding algorithm for tool-augmented LLMs. ToolDec eliminates
tool-related errors for any tool-augmented LLMs by ensuring valid tool names
and type-conforming arguments. Furthermore, ToolDec enables LLM to effectively
select tools using only the information contained in their names, with no need
for fine-tuning or in-context documentation. We evaluated multiple prior
methods and their ToolDec-enhanced versions on a variety of tasks involving
tools like math functions, knowledge graph relations, and complex real-world
RESTful APIs. Our experiments show that ToolDec reduces syntactic errors to
zero, consequently achieving significantly better performance and as much as a
2x speedup. We also show that ToolDec achieves superior generalization
performance on unseen tools, performing up to 8x better than the baselines.
- Abstract(参考訳): 大規模言語モデル(llm)は、複雑な問題を解決するために外部ツールを使用する有望な能力を示している。
しかし、既存のアプローチには、追加のトレーニングなしで新しいツールに一般化しないツールデモの微調整や、ツールの数を制限するコンテキストでのツールドキュメントの提供が含まれる。
どちらのアプローチもしばしば構文上無効なツールコールを生成する。
本稿では,ツール拡張LDMのための有限状態機械誘導復号アルゴリズムであるToolDecを提案する。
ToolDecは、有効なツール名と型変換引数を保証することで、ツール拡張LDMのツール関連エラーを取り除く。
さらにToolDecでは、微調整やコンテキスト内ドキュメントを必要とせずに、名前に含まれる情報のみを使用して、効果的にツールを選択できる。
我々は、数学関数、知識グラフの関係、複雑な現実世界のRESTful APIといったツールを含む様々なタスクにおいて、複数の先行メソッドとそのツールデックを拡張したバージョンを評価した。
実験の結果,ToolDecは構文誤差をゼロに減らし,性能が大幅に向上し,性能も2倍に向上した。
また,unseenツールの一般化性能は,ベースラインよりも最大8倍優れていることを示した。
関連論文リスト
- ToolNet: Connecting Large Language Models with Massive Tools via Tool
Graph [43.95759808077083]
既存のテキスト内学習アプローチは、ツールを単純なテキスト記述のリストにフォーマットし、大きな言語モデルに入力する。
本稿では,トークン消費を適度に増加させ,ツールの数を数千にスケールアップするプラグイン・アンド・プレイ・フレームワークであるToolNetを提案する。
論文 参考訳(メタデータ) (2024-02-29T02:04:00Z) - Planning, Creation, Usage: Benchmarking LLMs for Comprehensive Tool
Utilization in Real-World Complex Scenarios [95.97781233780357]
UltraToolは、ツール利用におけるLarge Language Modelsの能力を改善し評価するために設計された、新しいベンチマークである。
現実の複雑さを強調し、効果的な問題解決のために正確で多段階の計画を必要とする。
UltraToolの重要な特徴は、ツールの使用前に発生する自然言語による計画の独立した評価である。
論文 参考訳(メタデータ) (2024-01-30T16:52:56Z) - EASYTOOL: Enhancing LLM-based Agents with Concise Tool Instruction [58.43384002452624]
EasyToolは、多種多様で長いツールドキュメントを統一的で簡潔なツール命令に変換するフレームワークである。
トークン使用量を大幅に削減し、現実のシナリオにおけるツール利用のパフォーマンスを向上させることができる。
論文 参考訳(メタデータ) (2024-01-11T15:45:11Z) - ControlLLM: Augment Language Models with Tools by Searching on Graphs [97.62758830255002]
我々は,大規模言語モデル(LLM)が実世界のタスクを解くためのマルチモーダルツールを利用できる新しいフレームワークであるControlLLMを提案する。
フレームワークは,(1)複雑なタスクを明確なサブタスクに分割し,入力と出力を適切に定義したサブタスクに分解するtextittask Decomposer,(2)構築済みのツールグラフ上で最適なソリューションパスを探索する textitThoughts-on-Graph(ToG)パラダイム,(3)ソリューションパスを解釈して実行するリッチなツールボックスを備えた textitexecution Engine,の3つの主要なコンポーネントから構成される。
論文 参考訳(メタデータ) (2023-10-26T21:57:21Z) - MetaTool Benchmark for Large Language Models: Deciding Whether to Use
Tools and Which to Use [82.24774504584066]
大規模言語モデル(LLM)は、その印象的な自然言語処理(NLP)能力のために大きな注目を集めている。
このベンチマークは、LLMがツールの使用意識を持ち、ツールを正しく選択できるかどうかを評価するためのものだ。
8つの人気のあるLCMを巻き込んだ実験を行い、その大半は依然として効果的にツールを選択するのに苦労していることがわかった。
論文 参考訳(メタデータ) (2023-10-04T19:39:26Z) - ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world
APIs [104.37772295581088]
オープンソースの大規模言語モデル(LLM)、例えばLLaMAは、ツール使用能力に大きく制限されている。
データ構築、モデルトレーニング、評価を含む汎用ツールであるToolLLMを紹介する。
ツール使用のためのインストラクションチューニングフレームワークであるToolBenchを,ChatGPTを使って自動構築する。
論文 参考訳(メタデータ) (2023-07-31T15:56:53Z) - Large Language Models as Tool Makers [85.00361145117293]
我々はLLM A s Tool Makers (LATM) と呼ばれるクローズドループフレームワークを導入する。
ツール作成: 1 つのツール作成: LLM がタスクセットのためのツールを作成するツールメーカとして機能する 2 つのツール使用: 別の LLM がツールユーザとして機能し、ツールメーカが問題解決のために構築したツールを適用する。
論文 参考訳(メタデータ) (2023-05-26T17:50:11Z) - Making Language Models Better Tool Learners with Execution Feedback [36.30542737293863]
ツールは、人間が環境を理解し、形を変えることができる重要なインターフェースとして機能する。
既存のツール学習手法は、ツールを無差別に活用するために大きな言語モデルを誘導する。
ツール実行からのフィードバックを通じてモデルを継続的に学習することを可能にする2段階のエンドツーエンドフレームワークであるTool leaRning wIth exeCution fEedback (TRICE)を提案する。
論文 参考訳(メタデータ) (2023-05-22T14:37:05Z) - ToolkenGPT: Augmenting Frozen Language Models with Massive Tools via
Tool Embeddings [25.5476046472217]
大規模な言語モデルを外部ツールで拡張することは、複雑な問題を解決するための有望なアプローチとして現れている。
最近のインコンテキスト学習パラダイムはこれらの問題を緩和するが、制限されたコンテキスト長はいくつかのデモのみを可能にする。
我々は、両者の利点を組み合わせた代替アプローチである$textbfToolkenGPT$を提案する。
論文 参考訳(メタデータ) (2023-05-19T09:54:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。