論文の概要: Divide-Then-Aggregate: An Efficient Tool Learning Method via Parallel Tool Invocation

• arxiv url: http://arxiv.org/abs/2501.12432v1
• Date: Tue, 21 Jan 2025 16:49:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 16:53:56.703349
• Title: Divide-Then-Aggregate: An Efficient Tool Learning Method via Parallel Tool Invocation
• Title（参考訳）: Divide-Then-Aggregate: 並列ツール呼び出しによる効率的なツール学習方法
• Authors: Dongsheng Zhu, Weixian Shi, Zhengliang Shi, Zhaochun Ren, Shuaiqiang Wang, Lingyong Yan, Dawei Yin,
• Abstract要約: 本稿では,新しい並列ツール呼び出しパラダイムDTA-Llamaを紹介する。 まず,従来の木に基づくツールサーチパスをDAG構造に変換する。 DTA-Llamaはデータセット上でトレーニングされ、現在のタスクを複数の並列ツール呼び出しサブタスクに反復的に分割する方法を学ぶ。
• 参考スコア（独自算出の注目度）: 36.29566268457534
• License:
• Abstract: Although current Large Language Models (LLMs) exhibit impressive capabilities, performing complex real-world tasks still requires tool learning. Mainstream methods, such as CoT/ReAct, rely on step-by-step tool invocation to interact with external environments, but they are limited in perceptual scope and lack adequate task-planning capability. To address these limitations, other studies introduce the first Search-based Decision Tree (DFSDT), which still suffers from the high computational cost. In this paper, we introduce a novel parallel tool invocation paradigm, DTA-Llama (Divide-Then-Aggregate Llama). First, we transform traditional tree-based tool search paths into Directed Acyclic Graph (DAG) structure, generating a high-quality parallel tool invocation dataset. The DTA-Llama is then trained on the dataset to learn to iteratively divide the current task into several parallel tool invocation sub-tasks and aggregate the invocation results to decide the next actions. Furthermore, we introduce an efficient inference framework inspired by the Process/Threads mechanism when applying the DTA-Llama to practical tasks. Experimental results show that our approach substantially enhances task performance while reducing token consumption and inference time. Llama2-7B, using our method, is comparable to the official parallel function calling method of GPT-3.5. The relevant code, dataset, and model weights are available at https://corn0205.github.io/
• Abstract（参考訳）: 現在のLarge Language Models (LLM) は印象的な機能を備えているが、複雑な現実世界のタスクを実行するにはツール学習が必要である。 CoT/ReActのようなメインストリームのメソッドは、外部環境と対話するためのステップバイステップのツール呼び出しに依存している。 これらの制約に対処するため、他の研究では、まだ高い計算コストに悩まされている最初の検索ベース決定木(DFSDT)を導入している。 本稿では,新しい並列ツール呼び出しパラダイムであるDTA-Llama(Divide-Then-Aggregate Llama)を紹介する。 まず,従来の木ベースのツールサーチパスをDAG構造に変換し,高品質な並列ツール実行データセットを生成する。 DTA-Llamaはデータセット上でトレーニングされ、現在のタスクを複数の並列ツール呼び出しサブタスクに反復的に分割し、呼び出し結果を集約して次のアクションを決定する。 さらに,DTA-Llamaを実用的なタスクに適用する場合に,Process/Threadsメカニズムにインスパイアされた効率的な推論フレームワークを導入する。 実験の結果,トークン使用量や推論時間を削減しつつ,タスク性能を大幅に向上することがわかった。 Llama2-7B は GPT-3.5 の公式並列関数呼び出し法と同等である。 関連するコード、データセット、モデルウェイトはhttps://corn0205.github.io/で確認できる。

関連論文リスト

• StepTool: A Step-grained Reinforcement Learning Framework for Tool Learning in LLMs [44.906714156993694]
  我々は,大規模言語モデルにおけるツール学習を改善するための,段階的な強化学習フレームワークであるStepToolを紹介する。 StepToolは、既存のメソッドを多段階のツールベースのタスクで大幅に上回っている。
  論文  参考訳（メタデータ） (2024-10-10T09:23:26Z)
• Efficient and Scalable Estimation of Tool Representations in Vector Space [34.767193045989515]
  ツール検索のための合成データを生成するためのフレームワークと,小型エンコーダモデルを用いた効率的なデータ駆動型ツール検索戦略を提案する。 ToolBankは、実際のユーザ利用を反映した、新しいツール検索データセットです。 これらの新しい方法により、ToolBenchデータセット上のRecall@Kで最大27.28、ToolBank上のRecall@Kで30.5の改善を実現しています。
  論文  参考訳（メタデータ） (2024-09-02T19:39:24Z)
• Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
  Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。 次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。 包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• Towards Completeness-Oriented Tool Retrieval for Large Language Models [60.733557487886635]
  現実世界のシステムは多種多様なツールを組み込んでおり、全てのツールを大規模言語モデルに入力することは不可能である。 既存のツール検索手法は主にユーザクエリとツール記述間のセマンティックマッチングに焦点を当てている。 我々は,ユーザクエリとツール記述のセマンティックな類似性だけでなく,ツールの協調的情報も考慮した,新しいモデル診断型協調学習型ツール検索手法であるCOLTを提案する。
  論文  参考訳（メタデータ） (2024-05-25T06:41:23Z)
• From Summary to Action: Enhancing Large Language Models for Complex Tasks with Open World APIs [62.496139001509114]
  大規模な現実世界のAPIを制御するために設計された新しいツール呼び出しパイプラインを導入します。 このパイプラインは人間のタスク解決プロセスを反映し、複雑な実際のユーザクエリに対処する。 ToolBenchベンチマークにおけるSum2Actパイプラインの実証的な評価は、大幅なパフォーマンス向上を示している。
  論文  参考訳（メタデータ） (2024-02-28T08:42:23Z)
• Efficient Tool Use with Chain-of-Abstraction Reasoning [63.08202389132155]
  大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。 マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。 マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-30T21:53:30Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。