論文の概要: ToolWeaver: Weaving Collaborative Semantics for Scalable Tool Use in Large Language Models
- arxiv url: http://arxiv.org/abs/2601.21947v1
- Date: Thu, 29 Jan 2026 16:29:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-30 16:22:49.99385
- Title: ToolWeaver: Weaving Collaborative Semantics for Scalable Tool Use in Large Language Models
- Title(参考訳): ToolWeaver: 大規模言語モデルで使用されるスケーラブルなツールのためのコラボレーションセマンティクスを織る
- Authors: Bowen Fang, Wen Ye, Yunyue Su, Jinghao Zhang, Qiang Liu, Yesheng Liu, Xin Sun, Shu Wu, Jiabing Yang, Baole Wei, Liang Wang,
- Abstract要約: ツールを階層的なシーケンスにエンコードする新しい生成ツール学習フレームワークを提案する。
我々は、新しいトークン化プロセスを通じて、これらの構造化コードを生成する。
ToolWeaverは最先端のメソッドよりも大幅に優れています。
- 参考スコア(独自算出の注目度): 29.8584294186316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prevalent retrieval-based tool-use pipelines struggle with a dual semantic challenge: their retrievers often employ encoders that fail to capture complex semantics, while the Large Language Model (LLM) itself lacks intrinsic tool knowledge from its natural language pretraining. Generative methods offer a powerful alternative by unifying selection and execution, tasking the LLM to directly learn and generate tool identifiers. However, the common practice of mapping each tool to a unique new token introduces substantial limitations: it creates a scalability and generalization crisis, as the vocabulary size explodes and each tool is assigned a semantically isolated token. This approach also creates a semantic bottleneck that hinders the learning of collaborative tool relationships, as the model must infer them from sparse co-occurrences of monolithic tool IDs within a vast library. To address these limitations, we propose ToolWeaver, a novel generative tool learning framework that encodes tools into hierarchical sequences. This approach makes vocabulary expansion logarithmic to the number of tools. Crucially, it enables the model to learn collaborative patterns from the dense co-occurrence of shared codes, rather than the sparse co-occurrence of monolithic tool IDs. We generate these structured codes through a novel tokenization process designed to weave together a tool's intrinsic semantics with its extrinsic co-usage patterns. These structured codes are then integrated into the LLM through a generative alignment stage, where the model is fine-tuned to produce the hierarchical code sequences. Evaluation results with nearly 47,000 tools show that ToolWeaver significantly outperforms state-of-the-art methods, establishing a more scalable, generalizable, and semantically-aware foundation for advanced tool-augmented agents.
- Abstract(参考訳): 検索ベースのツール使用パイプラインは、複雑なセマンティクスをキャプチャできないエンコーダを使うことが多いが、Large Language Model(LLM)自体は、自然言語の事前学習から固有のツール知識を欠いている。
ジェネレーティブメソッドは、選択と実行を統一することで強力な代替手段を提供する。
しかし、各ツールをユニークな新しいトークンにマッピングするという一般的な慣習は、語彙のサイズが爆発的に増加し、各ツールに意味的に孤立したトークンが割り当てられるなど、スケーラビリティと一般化の危機を生じさせる。
このアプローチはまた、巨大なライブラリ内のモノリシックツールIDの不足からモデルを推論する必要があるため、コラボレーティブなツール関係の学習を妨げるセマンティックなボトルネックも生み出します。
これらの制約に対処するために、ツールを階層的なシーケンスにエンコードする新しい生成ツール学習フレームワークであるToolWeaverを提案する。
このアプローチにより、語彙拡張はツールの数に対数的になる。
重要なのは、モノリシックツールIDの希少な共起ではなく、共有コードの密集した共起からコラボレーティブパターンを学習可能にすることだ。
ツール固有のセマンティクスと,その外在的コユースパターンを織り交ぜるように設計された,新しいトークン化プロセスを通じて,これらの構造化コードを生成する。
これらの構造化コードは、生成的なアライメント段階を通じてLCMに統合され、モデルが階層的なコードシーケンスを生成するように微調整される。
47,000近いツールによる評価結果は、ToolWeaverが最先端のメソッドを大幅に上回り、高度なツール拡張エージェントのための、よりスケーラブルで汎用的でセマンティックな基盤を確立していることを示している。
関連論文リスト
- AdaReasoner: Dynamic Tool Orchestration for Iterative Visual Reasoning [66.24374176797075]
textbfAdaReasonerは、ツール固有の、あるいは明示的な教師付き行動ではなく、一般的な推論スキルとしてツールの使用を学ぶマルチモーダルモデルのファミリーである。
AdaReasonerは、(i)スケーラブルなデータキュレーションパイプラインによって、長期にわたる多段階のツールインタラクションにモデルを公開し、(ii)ツール-GRPO、(ii)ツールの選択とシークエンシングをエンドツーエンドの成功に基づいて優先順位付けする強化学習アルゴリズム、(iii)ツールの使用を動的に規制する適応学習メカニズムによって実現されている。
論文 参考訳(メタデータ) (2026-01-26T16:04:43Z) - ToolLibGen: Scalable Automatic Tool Creation and Aggregation for LLM Reasoning [80.10274552177096]
外部ツールを備えたLarge Language Models (LLM) は、複雑な推論タスクにおけるパフォーマンスの向上を実証している。
このツールに強化された推論が広く採用されるのは、ドメイン固有のツールが不足しているためである。
構造化ツールライブラリに非構造化ツールのコレクションを自動的に組み込むための体系的なアプローチを提案する。
論文 参考訳(メタデータ) (2025-10-09T04:11:16Z) - Re-Initialization Token Learning for Tool-Augmented Large Language Models [49.91503552002649]
大規模言語モデルは例外的な性能を示してきたが、数値推論や計画生成といった複雑なタスクに苦戦している。
本稿では,ツールトークンを既存の単語埋め込み空間と整合させる新しいトークン学習手法を提案する。
本稿では,GSM8K-XL,FuncQA,KAMEL,VirtualHomeのデータセットを用いて,数値推論,知識に基づく質問応答,具体化計画生成などのタスクについて評価する。
論文 参考訳(メタデータ) (2025-06-17T07:11:00Z) - ToolGen: Unified Tool Retrieval and Calling via Generation [34.34787641393914]
ToolGenは、ツール知識を大きな言語モデルのパラメータに直接統合するパラダイムシフトです。
ToolGenは、ツール検索と自律タスク補完の両方において、優れた結果が得られることを示す。
ToolGenは、より汎用的で効率的で自律的なAIシステムを実現する。
論文 参考訳(メタデータ) (2024-10-04T13:52:32Z) - Towards Completeness-Oriented Tool Retrieval for Large Language Models [60.733557487886635]
現実世界のシステムは多種多様なツールを組み込んでおり、全てのツールを大規模言語モデルに入力することは不可能である。
既存のツール検索手法は主にユーザクエリとツール記述間のセマンティックマッチングに焦点を当てている。
我々は,ユーザクエリとツール記述のセマンティックな類似性だけでなく,ツールの協調的情報も考慮した,新しいモデル診断型協調学習型ツール検索手法であるCOLTを提案する。
論文 参考訳(メタデータ) (2024-05-25T06:41:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。