論文の概要: ToolAlpaca: Generalized Tool Learning for Language Models with 3000
Simulated Cases
- arxiv url: http://arxiv.org/abs/2306.05301v2
- Date: Thu, 7 Sep 2023 12:20:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-08 17:05:30.189077
- Title: ToolAlpaca: Generalized Tool Learning for Language Models with 3000
Simulated Cases
- Title（参考訳）: toolalpaca:3000シミュレートケースを持つ言語モデルのための一般化ツール学習
- Authors: Qiaoyu Tang, Ziliang Deng, Hongyu Lin, Xianpei Han, Qiao Liang, Boxi
Cao, Le Sun
- Abstract要約: 本稿では,多種多様なツール利用コーパスを自動生成し,コンパクト言語モデル上での汎用ツール利用能力を学習するためのフレームワークであるToolAlpacaを紹介する。
ToolAlpacaは,GPT-3.5のような非常に大きな言語モデルに匹敵する,効果的な汎用ツール利用能力を実現する。
- 参考スコア（独自算出の注目度）: 49.7798644853604
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Enabling large language models to utilize real-world tools effectively is
crucial for achieving embodied intelligence. Existing approaches to tool
learning have either primarily relied on extremely large language models, such
as GPT-4, to attain generalized tool-use abilities in a zero-shot manner, or
utilized supervised learning to train limited scopes of tools on compact
models. However, it remains uncertain whether smaller language models can
achieve generalized tool-use abilities without tool-specific training. To
address this question, this paper introduces ToolAlpaca, a novel framework
designed to automatically generate a diverse tool-use corpus and learn
generalized tool-use abilities on compact language models with minimal human
intervention. Specifically, ToolAlpaca first automatically creates a highly
diversified tool-use corpus by building a multi-agent simulation environment.
The corpus contains 3938 tool-use instances from more than 400 real-world tool
APIs spanning 50 distinct categories. Subsequently, the constructed corpus is
employed to fine-tune compact language models, resulting in two models, namely
ToolAlpaca-7B and ToolAlpaca-13B, respectively. Finally, we evaluate the
ability of these models to utilize previously unseen tools without specific
training. Experimental results demonstrate that ToolAlpaca achieves effective
generalized tool-use capabilities comparable to those of extremely large
language models like GPT-3.5, demonstrating that learning generalized tool-use
ability is feasible for compact language models.
- Abstract（参考訳）: 実世界のツールを効果的に活用するための大きな言語モデルの実現は、具体的知性を達成する上で不可欠である。
ツール学習への既存のアプローチは、主にGPT-4のような非常に大きな言語モデルに依存し、ゼロショットで汎用的なツール使用能力を達成するか、あるいは教師付き学習を使用して、コンパクトモデル上のツールの限られた範囲を訓練している。
しかし、小さな言語モデルがツール固有のトレーニングなしで汎用的なツール利用能力を実現できるかどうかはまだ不明である。
本稿では,多種多様なツール利用コーパスを自動生成し,人間の介入を最小限に抑えたコンパクト言語モデルにおける汎用ツール利用能力を学習するための新しいフレームワークであるToolAlpacaを紹介する。
具体的には、toolalpacaはマルチエージェントシミュレーション環境を構築して、より多様なツール利用コーパスを自動的に作成する。
コーパスには、50の異なるカテゴリにまたがる400以上の現実世界のツールAPIから3938のツール使用インスタンスが含まれている。
その後、構築されたコーパスを微調整したコンパクト言語モデルに採用し、それぞれ toolalpaca-7b と toolalpaca-13b の2つのモデルを生成する。
最後に、これらのモデルが未確認のツールを特定のトレーニングなしで利用できる能力を評価する。
GPT-3.5のような非常に大きな言語モデルに匹敵する効果的な汎用ツール利用能力を実現し、学習の汎用ツール利用能力がコンパクト言語モデルで実現可能であることを示した。
関連論文リスト
- ToolGen: Unified Tool Retrieval and Calling via Generation [34.34787641393914]
ToolGenは、ツール知識を大きな言語モデルのパラメータに直接統合するパラダイムシフトです。
ToolGenは、ツール検索と自律タスク補完の両方において、優れた結果が得られることを示す。
ToolGenは、より汎用的で効率的で自律的なAIシステムを実現する。
論文 参考訳（メタデータ） (2024-10-04T13:52:32Z) - Enhancing Tool Retrieval with Iterative Feedback from Large Language Models [9.588592185027455]
大規模言語モデル(LLM)は、コンテキスト内学習や微調整を通じて、ある程度のツールを効果的に扱うことができる。
現実のシナリオでは、ツールの数は一般的に広範囲で不規則に更新され、専用のツール検索コンポーネントの必要性を強調している。
本稿では,大規模言語モデルからの反復的なフィードバックでツール検索を強化することを提案する。
論文 参考訳（メタデータ） (2024-06-25T11:12:01Z) - Towards Completeness-Oriented Tool Retrieval for Large Language Models [60.733557487886635]
現実世界のシステムは多種多様なツールを組み込んでおり、全てのツールを大規模言語モデルに入力することは不可能である。
既存のツール検索手法は主にユーザクエリとツール記述間のセマンティックマッチングに焦点を当てている。
我々は,ユーザクエリとツール記述のセマンティックな類似性だけでなく,ツールの協調的情報も考慮した,新しいモデル診断型協調学習型ツール検索手法であるCOLTを提案する。
論文 参考訳（メタデータ） (2024-05-25T06:41:23Z) - CMULAB: An Open-Source Framework for Training and Deployment of Natural Language Processing Models [59.91221728187576]
本稿では,NLPモデルのモデル展開と連続的なヒューマン・イン・ザ・ループの微調整を簡単にするオープンソースフレームワークであるCMU言語バックエンドを紹介する。
CMULABは、マルチ言語モデルのパワーを活用して、音声認識、OCR、翻訳、構文解析などの既存のツールを新しい言語に迅速に適応し、拡張することができる。
論文 参考訳（メタデータ） (2024-04-03T02:21:46Z) - TOOLVERIFIER: Generalization to New Tools via Self-Verification [69.85190990517184]
本稿では,ツール選択中にコントラスト質問を自己問合せすることで,近接候補を識別する自己検証手法を提案する。
ToolBenchベンチマークによる4つのタスクの実験では、17の見えないツールで構成されており、数ショットのベースラインよりも平均22%改善されている。
論文 参考訳（メタデータ） (2024-02-21T22:41:38Z) - Learning Generalizable Tool-use Skills through Trajectory Generation [13.879860388944214]
4つの異なる変形可能なオブジェクト操作タスクで1つのモデルをトレーニングします。
モデルは様々な新しいツールに一般化され、ベースラインを大幅に上回る。
トレーニングされたポリシーを、目に見えないツールを使って現実世界でテストし、人間に匹敵するパフォーマンスを実現します。
論文 参考訳（メタデータ） (2023-09-29T21:32:42Z) - Large Language Models as Tool Makers [85.00361145117293]
我々はLLM A s Tool Makers (LATM) と呼ばれるクローズドループフレームワークを導入する。
ツール作成: 1 つのツール作成: LLM がタスクセットのためのツールを作成するツールメーカとして機能する 2 つのツール使用: 別の LLM がツールユーザとして機能し、ツールメーカが問題解決のために構築したツールを適用する。
論文 参考訳（メタデータ） (2023-05-26T17:50:11Z) - Making Language Models Better Tool Learners with Execution Feedback [36.30542737293863]
ツールは、人間が環境を理解し、形を変えることができる重要なインターフェースとして機能する。
既存のツール学習手法は、ツールを無差別に活用するために大きな言語モデルを誘導する。
ツール実行からのフィードバックを通じてモデルを継続的に学習することを可能にする2段階のエンドツーエンドフレームワークであるTool leaRning wIth exeCution fEedback (TRICE)を提案する。
論文 参考訳（メタデータ） (2023-05-22T14:37:05Z) - Toolformer: Language Models Can Teach Themselves to Use Tools [62.04867424598204]
言語モデル(LM)は、特に大規模において、いくつかの例やテキスト命令から新しいタスクを解く素晴らしい能力を示す。
LMは、シンプルなAPIを通じて外部ツールの使用を自覚し、両方の世界のベストを達成できることを示します。
Toolformerは、どのAPIを呼び出すか、いつ呼び出すか、どの引数を渡すか、結果を将来のトークン予測に最もうまく組み込む方法を訓練したモデルです。
論文 参考訳（メタデータ） (2023-02-09T16:49:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。