論文の概要: COLT: Towards Completeness-Oriented Tool Retrieval for Large Language Models
- arxiv url: http://arxiv.org/abs/2405.16089v1
- Date: Sat, 25 May 2024 06:41:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 01:10:08.033464
- Title: COLT: Towards Completeness-Oriented Tool Retrieval for Large Language Models
- Title(参考訳): COLT:大規模言語モデルのための完全性指向ツール検索に向けて
- Authors: Changle Qu, Sunhao Dai, Xiaochi Wei, Hengyi Cai, Shuaiqiang Wang, Dawei Yin, Jun Xu, Ji-Rong Wen,
- Abstract要約: そこで我々は,Collaborative Learning-based Tool Retrieval approach, COLTを提案する。
COLTはユーザクエリとツール記述のセマンティックな類似性をキャプチャする。
また、ツールの協調的な情報も考慮に入れている。
- 参考スコア(独自算出の注目度): 60.733557487886635
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recently, the integration of external tools with Large Language Models (LLMs) has emerged as a promising approach to overcome the inherent constraints of their pre-training data. However, realworld applications often involve a diverse range of tools, making it infeasible to incorporate all tools directly into LLMs due to constraints on input length and response time. Therefore, to fully exploit the potential of tool-augmented LLMs, it is crucial to develop an effective tool retrieval system. Existing tool retrieval methods techniques mainly rely on semantic matching between user queries and tool descriptions, which often results in the selection of redundant tools. As a result, these methods fail to provide a complete set of diverse tools necessary for addressing the multifaceted problems encountered by LLMs. In this paper, we propose a novel modelagnostic COllaborative Learning-based Tool Retrieval approach, COLT, which captures not only the semantic similarities between user queries and tool descriptions but also takes into account the collaborative information of tools. Specifically, we first fine-tune the PLM-based retrieval models to capture the semantic relationships between queries and tools in the semantic learning stage. Subsequently, we construct three bipartite graphs among queries, scenes, and tools and introduce a dual-view graph collaborative learning framework to capture the intricate collaborative relationships among tools during the collaborative learning stage. Extensive experiments on both the open benchmark and the newly introduced ToolLens dataset show that COLT achieves superior performance. Notably, the performance of BERT-mini (11M) with our proposed model framework outperforms BERT-large (340M), which has 30 times more parameters. Additionally, we plan to publicly release the ToolLens dataset to support further research in tool retrieval.
- Abstract(参考訳): 近年,LLM(Large Language Models)と外部ツールの統合が,事前学習データ固有の制約を克服するための,有望なアプローチとして浮上している。
しかし、現実世界のアプリケーションは多種多様なツールを伴い、入力時間と応答時間に制約があるため、全てのツールを直接LSMに組み込むことができない。
したがって、ツール拡張LDMの可能性を十分に活用するためには、効果的なツール検索システムを開発することが不可欠である。
既存のツール検索手法は主にユーザクエリとツール記述間のセマンティックマッチングに依存しており、冗長なツールの選択につながることが多い。
結果として、これらの手法はLLMが遭遇する多面的問題に対処するために必要な様々なツールの完全なセットを提供できない。
本稿では,ユーザクエリとツール記述のセマンティックな類似性だけでなく,ツールの協調的情報も考慮した,新しいモデルに依存しないコラボレーティブ・ラーニング・ベースのツール検索手法であるCOLTを提案する。
具体的には、まずPLMに基づく検索モデルを微調整し、セマンティックラーニング段階におけるクエリとツール間のセマンティックな関係を抽出する。
その後、クエリ、シーン、ツール間での3つの二部グラフを構築し、協調学習段階におけるツール間の複雑な協調関係を捉えるために、デュアルビューグラフ協調学習フレームワークを導入する。
オープンベンチマークと新たに導入されたToolLensデータセットに関する大規模な実験は、COLTが優れたパフォーマンスを実現していることを示している。
特に,提案したモデルフレームワークを用いたBERT-mini (11M) の性能は,30倍のパラメータを持つBERT-large (340M) よりも優れていた。
さらに、ツール検索のさらなる研究を支援するために、ToolLensデータセットを公開する予定です。
関連論文リスト
- MetaTool: Facilitating Large Language Models to Master Tools with Meta-task Augmentation [25.360660222418183]
我々は、再利用可能なツールセットをマスターするために一般化可能な新しいツール学習手法(MetaTool)を導入する。
我々は,ツール実行のマスキング要因を予測するメタタスクを開発した。
メタタスクデータを命令チューニングプロセスに組み込むことで,提案したMetaToolモデルは,オープンソースモデルよりも大幅に優れている。
論文 参考訳(メタデータ) (2024-07-15T10:15:41Z) - Enhancing Tool Retrieval with Iterative Feedback from Large Language Models [9.588592185027455]
大規模言語モデル(LLM)は、コンテキスト内学習や微調整を通じて、ある程度のツールを効果的に扱うことができる。
現実のシナリオでは、ツールの数は一般的に広範囲で不規則に更新され、専用のツール検索コンポーネントの必要性を強調している。
本稿では,大規模言語モデルからの反復的なフィードバックでツール検索を強化することを提案する。
論文 参考訳(メタデータ) (2024-06-25T11:12:01Z) - Tool Learning with Large Language Models: A Survey [60.733557487886635]
大規模言語モデル(LLM)を用いたツール学習は,高度に複雑な問題に対処するLLMの能力を強化するための,有望なパラダイムとして登場した。
この分野での注目と急速な進歩にもかかわらず、現存する文献は断片化され、体系的な組織が欠如している。
論文 参考訳(メタデータ) (2024-05-28T08:01:26Z) - Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。
次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。
包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
論文 参考訳(メタデータ) (2024-05-26T11:40:58Z) - Look Before You Leap: Towards Decision-Aware and Generalizable
Tool-Usage for Large Language Models [28.19932548630398]
意思決定・汎用ツール・ユース・フレームワーク(DEER)を提案する。
具体的には、まず、自動生成パイプラインを介して、複数の決定ブランチを持つツール使用サンプルを構築します。
提案するDEERは, 各種データセットのベースラインよりも効果的で, 著しく優れる。
論文 参考訳(メタデータ) (2024-02-26T16:11:03Z) - Planning, Creation, Usage: Benchmarking LLMs for Comprehensive Tool Utilization in Real-World Complex Scenarios [93.68764280953624]
UltraToolは、ツール利用におけるLarge Language Modelsの能力を改善し評価するために設計された、新しいベンチマークである。
現実の複雑さを強調し、効果的な問題解決のために正確で多段階の計画を必要とする。
UltraToolの重要な特徴は、ツールの使用前に発生する自然言語による計画の独立した評価である。
論文 参考訳(メタデータ) (2024-01-30T16:52:56Z) - EASYTOOL: Enhancing LLM-based Agents with Concise Tool Instruction [56.02100384015907]
EasyToolは、多種多様で長いツールドキュメントを統一的で簡潔なツール命令に変換するフレームワークである。
トークン使用量を大幅に削減し、現実のシナリオにおけるツール利用のパフォーマンスを向上させることができる。
論文 参考訳(メタデータ) (2024-01-11T15:45:11Z) - MetaTool Benchmark for Large Language Models: Deciding Whether to Use
Tools and Which to Use [82.24774504584066]
大規模言語モデル(LLM)は、その印象的な自然言語処理(NLP)能力のために大きな注目を集めている。
このベンチマークは、LLMがツールの使用意識を持ち、ツールを正しく選択できるかどうかを評価するためのものだ。
8つの人気のあるLCMを巻き込んだ実験を行い、その大半は依然として効果的にツールを選択するのに苦労していることがわかった。
論文 参考訳(メタデータ) (2023-10-04T19:39:26Z) - Confucius: Iterative Tool Learning from Introspection Feedback by
Easy-to-Difficult Curriculum [42.36892453363961]
本研究では,大規模言語モデル(LLM)を学習し,現実のシナリオで複雑なツールを使用するための新しいツール学習フレームワークを提案する。
まず,多段階の学習手法を提案する。
次に、イントロスペクティブフィードバックからの反復自己インストラクションを提案し、データセットを動的に構築し、複雑なツールを使用する能力を改善する。
論文 参考訳(メタデータ) (2023-08-27T07:53:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。