論文の概要: Tool Documentation Enables Zero-Shot Tool-Usage with Large Language
Models
- arxiv url: http://arxiv.org/abs/2308.00675v1
- Date: Tue, 1 Aug 2023 17:21:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-02 13:21:26.081631
- Title: Tool Documentation Enables Zero-Shot Tool-Usage with Large Language
Models
- Title(参考訳): 大規模な言語モデルでゼロショットツール使用を可能にするツールドキュメント
- Authors: Cheng-Yu Hsieh, Si-An Chen, Chun-Liang Li, Yasuhisa Fujii, Alexander
Ratner, Chen-Yu Lee, Ranjay Krishna, Tomas Pfister
- Abstract要約: 大規模言語モデル(LLM)は、ツールの使用のデモを提供することで、新しいツールを使用するように教えられている。
デモよりも、ツールドキュメンテーションの使用、個々のツール使用方法の説明を推奨します。
- 参考スコア(独自算出の注目度): 90.96816639172464
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Today, large language models (LLMs) are taught to use new tools by providing
a few demonstrations of the tool's usage. Unfortunately, demonstrations are
hard to acquire, and can result in undesirable biased usage if the wrong
demonstration is chosen. Even in the rare scenario that demonstrations are
readily available, there is no principled selection protocol to determine how
many and which ones to provide. As tasks grow more complex, the selection
search grows combinatorially and invariably becomes intractable. Our work
provides an alternative to demonstrations: tool documentation. We advocate the
use of tool documentation, descriptions for the individual tool usage, over
demonstrations. We substantiate our claim through three main empirical findings
on 6 tasks across both vision and language modalities. First, on existing
benchmarks, zero-shot prompts with only tool documentation are sufficient for
eliciting proper tool usage, achieving performance on par with few-shot
prompts. Second, on a newly collected realistic tool-use dataset with hundreds
of available tool APIs, we show that tool documentation is significantly more
valuable than demonstrations, with zero-shot documentation significantly
outperforming few-shot without documentation. Third, we highlight the benefits
of tool documentations by tackling image generation and video tracking using
just-released unseen state-of-the-art models as tools. Finally, we highlight
the possibility of using tool documentation to automatically enable new
applications: by using nothing more than the documentation of GroundingDino,
Stable Diffusion, XMem, and SAM, LLMs can re-invent the functionalities of the
just-released Grounded-SAM and Track Anything models.
- Abstract(参考訳): 現在、大きな言語モデル(LLM)は、ツールの使用例をいくつか示すことで、新しいツールを使用するように教えられている。
残念なことに、デモは入手が難しく、間違ったデモが選択された場合、望ましくない偏見のある使用になる可能性がある。
デモが容易に利用できる稀なシナリオであっても、提供すべき数と提供すべきものを決定するための原則的な選択プロトコルは存在しない。
タスクが複雑化するにつれて、選択検索は組合せ的に増加し、常に難解になる。
私たちの仕事はデモの代替となるツールドキュメントを提供しています。
デモよりも、ツールドキュメンテーションの使用、個々のツール使用方法の説明を推奨します。
我々は,視覚と言語の両方にまたがる6つの課題に関する3つの主要な経験的発見を通して,我々の主張を裏付ける。
まず、既存のベンチマークでは、ツールドキュメンテーションのみによるゼロショットプロンプトは、適切なツールの使用を誘発するのに十分であり、少ないプロンプトと同等のパフォーマンスを達成する。
第2に、数百のツールapiが利用可能な、新たに収集された現実的なツール利用データセットでは、ツールドキュメントがデモよりもはるかに価値が高いことを示します。
第3に,ツールとして公開された未公開の最先端モデルを用いて,画像生成と動画追跡に取り組むことで,ツールドキュメントのメリットを強調する。
最後に、ツールドキュメンテーションを使用して、新しいアプリケーションを自動で有効にできる可能性を強調します。 GroundingDino、Stable Diffusion、XMem、SAMのドキュメントだけを使用することで、LLMは、リリースされたばかりの Grounded-SAM と Track Anything モデルの機能を再発明することができます。
関連論文リスト
- ToolNet: Connecting Large Language Models with Massive Tools via Tool
Graph [43.95759808077083]
既存のテキスト内学習アプローチは、ツールを単純なテキスト記述のリストにフォーマットし、大きな言語モデルに入力する。
本稿では,トークン消費を適度に増加させ,ツールの数を数千にスケールアップするプラグイン・アンド・プレイ・フレームワークであるToolNetを提案する。
論文 参考訳(メタデータ) (2024-02-29T02:04:00Z) - TOOLVERIFIER: Generalization to New Tools via Self-Verification [69.85190990517184]
本稿では,ツール選択中にコントラスト質問を自己問合せすることで,近接候補を識別する自己検証手法を提案する。
ToolBenchベンチマークによる4つのタスクの実験では、17の見えないツールで構成されており、数ショットのベースラインよりも平均22%改善されている。
論文 参考訳(メタデータ) (2024-02-21T22:41:38Z) - EASYTOOL: Enhancing LLM-based Agents with Concise Tool Instruction [58.43384002452624]
EasyToolは、多種多様で長いツールドキュメントを統一的で簡潔なツール命令に変換するフレームワークである。
トークン使用量を大幅に削減し、現実のシナリオにおけるツール利用のパフォーマンスを向上させることができる。
論文 参考訳(メタデータ) (2024-01-11T15:45:11Z) - Syntax Error-Free and Generalizable Tool Use for LLMs via Finite-State
Decoding [12.58136035688171]
大規模言語モデル(LLM)は、複雑な問題を解決するために外部ツールを使用する上で有望な能力を示している。
既存のアプローチには、追加のトレーニングなしで新しいツールに一般化しないツールデモの微調整や、コンテキスト内のツールドキュメントの提供が含まれる。
ツール拡張 LLM のための有限エンハンスマシン誘導復号法である ToolDec を提案する。
論文 参考訳(メタデータ) (2023-10-10T23:37:53Z) - MetaTool Benchmark for Large Language Models: Deciding Whether to Use
Tools and Which to Use [82.24774504584066]
大規模言語モデル(LLM)は、その印象的な自然言語処理(NLP)能力のために大きな注目を集めている。
このベンチマークは、LLMがツールの使用意識を持ち、ツールを正しく選択できるかどうかを評価するためのものだ。
8つの人気のあるLCMを巻き込んだ実験を行い、その大半は依然として効果的にツールを選択するのに苦労していることがわかった。
論文 参考訳(メタデータ) (2023-10-04T19:39:26Z) - ToolkenGPT: Augmenting Frozen Language Models with Massive Tools via
Tool Embeddings [25.5476046472217]
大規模な言語モデルを外部ツールで拡張することは、複雑な問題を解決するための有望なアプローチとして現れている。
最近のインコンテキスト学習パラダイムはこれらの問題を緩和するが、制限されたコンテキスト長はいくつかのデモのみを可能にする。
我々は、両者の利点を組み合わせた代替アプローチである$textbfToolkenGPT$を提案する。
論文 参考訳(メタデータ) (2023-05-19T09:54:21Z) - ART: Automatic multi-step reasoning and tool-use for large language
models [105.57550426609396]
大規模言語モデル(LLM)は、数秒とゼロショットの設定で複雑な推論を行うことができる。
各推論ステップは、コアLLM機能を超えて計算をサポートする外部ツールに依存することができる。
プログラムとして中間推論ステップを自動生成するために凍結LDMを使用するフレームワークであるART(Automatic Reasoning and Tool-use)を導入する。
論文 参考訳(メタデータ) (2023-03-16T01:04:45Z) - Toolformer: Language Models Can Teach Themselves to Use Tools [62.04867424598204]
言語モデル(LM)は、特に大規模において、いくつかの例やテキスト命令から新しいタスクを解く素晴らしい能力を示す。
LMは、シンプルなAPIを通じて外部ツールの使用を自覚し、両方の世界のベストを達成できることを示します。
Toolformerは、どのAPIを呼び出すか、いつ呼び出すか、どの引数を渡すか、結果を将来のトークン予測に最もうまく組み込む方法を訓練したモデルです。
論文 参考訳(メタデータ) (2023-02-09T16:49:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。