論文の概要: GPT4Tools: Teaching Large Language Model to Use Tools via Self-instruction

• arxiv url: http://arxiv.org/abs/2305.18752v1
• Date: Tue, 30 May 2023 05:27:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 18:08:51.558791
• Title: GPT4Tools: Teaching Large Language Model to Use Tools via Self-instruction
• Title（参考訳）: gpt4tools: 自己指導による大規模言語モデル教育
• Authors: Rui Yang, Lin Song, Yanwei Li, Sijie Zhao, Yixiao Ge, Xiu Li, Ying Shan
• Abstract要約: GPT4Tools は LLaMA や OPT などのオープンソース LLM のツール使用を可能にするための自己インストラクトに基づいている。 先進的な教師に様々なマルチモーダルな文脈で指示追従データセットを生成する。
• 参考スコア（独自算出の注目度）: 41.36474802204914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper aims to efficiently enable Large Language Models (LLMs) to use multimodal tools. Advanced proprietary LLMs, such as ChatGPT and GPT-4, have shown great potential for tool usage through sophisticated prompt engineering. Nevertheless, these models typically rely on prohibitive computational costs and publicly inaccessible data. To address these challenges, we propose the GPT4Tools based on self-instruct to enable open-source LLMs, such as LLaMA and OPT, to use tools. It generates an instruction-following dataset by prompting an advanced teacher with various multi-modal contexts. By using the Low-Rank Adaptation (LoRA) optimization, our approach facilitates the open-source LLMs to solve a range of visual problems, including visual comprehension and image generation. Moreover, we provide a benchmark to evaluate the ability of LLMs to use tools, which is performed in both zero-shot and fine-tuning ways. Extensive experiments demonstrate the effectiveness of our method on various language models, which not only significantly improves the accuracy of invoking seen tools, but also enables the zero-shot capacity for unseen tools. The code and demo are available at https://github.com/StevenGrove/GPT4Tools.
• Abstract（参考訳）: 本稿では,Large Language Models (LLM) をマルチモーダルツールで効率的に活用することを目的とする。 ChatGPTやGPT-4のような高度なプロプライエタリなLCMは、高度なプロプライエタリなプロプライエタリなエンジニアリングを通じてツールの利用の可能性を示している。 しかし、これらのモデルは通常、計算コストと一般にアクセスできないデータに依存する。 これらの課題に対処するために,LLaMA や OPT などのオープンソース LLM のツール使用を可能にするための自己命令に基づく GPT4Tools を提案する。 多様なマルチモーダルコンテキストを持つ上級教師に指導追跡データセットを生成する。 提案手法はローランド適応(LoRA)最適化を用いて,視覚的理解や画像生成など,さまざまな視覚的問題を解決するためのオープンソースのLCMを実現する。 さらに、ゼロショットと微調整の両方の方法で実行されるツールを使用するためのllmの能力を評価するベンチマークを提供する。 本手法が様々な言語モデルにおいて有効であることを示す実験により, ツールの呼び出し精度が向上するだけでなく, 見えないツールのゼロショットキャパシティも向上する。 コードとデモはhttps://github.com/StevenGrove/GPT4Tools.comで公開されている。

関連論文リスト

• Learning to Ask: When LLMs Meet Unclear Instruction [49.256630152684764]
  大きな言語モデル(LLM)は、言語スキルだけでは達成不可能なタスクに対処するための外部ツールを活用することができる。 我々は、不完全な命令下でのLLMツールの使用性能を評価し、エラーパターンを分析し、Noisy ToolBenchと呼ばれる挑戦的なツール使用ベンチマークを構築した。 Ask-when-Needed (AwN) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-31T23:06:12Z)
• Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
  Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。 次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。 包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
  既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。 試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。 STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
  論文  参考訳（メタデータ） (2024-03-07T18:50:51Z)
• Look Before You Leap: Towards Decision-Aware and Generalizable Tool-Usage for Large Language Models [26.28459880766842]
  意思決定・汎用ツール・ユース・フレームワーク(DEER)を提案する。 具体的には、まず、自動生成パイプラインを介して、複数の決定ブランチを持つツール使用サンプルを構築します。 提案するDEERは, 各種データセットのベースラインよりも効果的で, 著しく優れる。
  論文  参考訳（メタデータ） (2024-02-26T16:11:03Z)
• MLLM-Tool: A Multimodal Large Language Model For Tool Agent Learning [38.610185966889226]
  本稿では,オープンソースの大規模言語モデルとマルチモーダルエンコーダを組み合わせたMLLM-Toolを提案する。 学習したLLMはマルチモーダルな入力命令を意識し、関数マッチングツールを正しく選択することができる。 実験の結果,MLLM-Toolはマルチモーダル命令に適したツールを推奨できることがわかった。
  論文  参考訳（メタデータ） (2024-01-19T14:44:37Z)
• EASYTOOL: Enhancing LLM-based Agents with Concise Tool Instruction [56.02100384015907]
  EasyToolは、多種多様で長いツールドキュメントを統一的で簡潔なツール命令に変換するフレームワークである。 トークン使用量を大幅に削減し、現実のシナリオにおけるツール利用のパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2024-01-11T15:45:11Z)
• MetaTool Benchmark for Large Language Models: Deciding Whether to Use Tools and Which to Use [82.24774504584066]
  大規模言語モデル(LLM)は、その印象的な自然言語処理(NLP)能力のために大きな注目を集めている。 このベンチマークは、LLMがツールの使用意識を持ち、ツールを正しく選択できるかどうかを評価するためのものだ。 8つの人気のあるLCMを巻き込んだ実験を行い、その大半は依然として効果的にツールを選択するのに苦労していることがわかった。
  論文  参考訳（メタデータ） (2023-10-04T19:39:26Z)
• On the Tool Manipulation Capability of Open-source Large Language Models [19.6917640220883]
  オープンソース LLM を強化して,ツール操作においてクローズド LLM API をリードする上での競争力を示すことができることを示す。 当社の技術は,オープンソースLLMを最大90%の成功率で向上させ,8つのツールベンチタスクのうち4つでOpenAI GPT-4と競合する能力を示す。
  論文  参考訳（メタデータ） (2023-05-25T22:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。