Fugu-MT 論文翻訳(概要): StepTool: Enhancing Multi-Step Tool Usage in LLMs via Step-Grained Reinforcement Learning

論文の概要: StepTool: Enhancing Multi-Step Tool Usage in LLMs via Step-Grained Reinforcement Learning

arxiv url: http://arxiv.org/abs/2410.07745v4
Date: Sun, 17 Aug 2025 06:06:35 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-19 14:49:09.685231
Title: StepTool: Enhancing Multi-Step Tool Usage in LLMs via Step-Grained Reinforcement Learning
Title（参考訳）: StepTool: ステップグレード強化学習によるLLMにおけるマルチステップツールの利用促進
Authors: Yuanqing Yu, Zhefan Wang, Weizhi Ma, Shuai Wang, Chuhan Wu, Zhiqiang Guo, Min Zhang,
Abstract要約: 大きな言語モデル(LLM)は、複雑なタスクを解決するために外部ツールを効果的に活用するのに苦労する。動的意思決定プロセスとしてモデリングツール学習を提案する。 StepToolは,段階的な強化学習フレームワークである。
参考スコア（独自算出の注目度）: 44.99757728192871
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Despite their powerful text generation capabilities, large language models (LLMs) still struggle to effectively utilize external tools to solve complex tasks, a challenge known as tool learning. Existing methods primarily rely on supervised fine-tuning, treating tool learning as a text generation problem while overlooking the decision-making complexities inherent in multi-step contexts. In this work, we propose modeling tool learning as a dynamic decision-making process and introduce StepTool, a novel step-grained reinforcement learning framework that enhances LLMs' capabilities in multi-step tool use. StepTool comprises two key components: Step-grained Reward Shaping, which assigns rewards to each tool interaction based on its invocation success and contribution to task completion; and Step-grained Optimization, which applies policy gradient methods to optimize the model across multiple decision steps. Extensive experiments across diverse benchmarks show that StepTool consistently outperforms both SFT-based and RL-based baselines in terms of task Pass Rate and Recall of relevant tools. Furthermore, our analysis suggests that StepTool helps models discover new tool-use strategies rather than merely re-weighting prior knowledge. These results highlight the importance of fine-grained decision modeling in tool learning and establish StepTool as a general and robust solution for enhancing multi-step tool use in LLMs. Code and data are available at https://github.com/yuyq18/StepTool.
Abstract（参考訳）: 強力なテキスト生成機能にもかかわらず、大きな言語モデル(LLM)は、複雑なタスクを解決するために外部ツールを効果的に活用するのに依然として苦労している。既存の手法は主に教師付き微調整に依存しており、ツール学習をテキスト生成問題として扱い、マルチステップのコンテキストに固有の意思決定の複雑さを見落としている。本研究では、動的意思決定プロセスとしてのモデリングツール学習を提案し、マルチステップツール利用におけるLLMの能力を高める新しいステップグレード強化学習フレームワークであるStepToolを紹介する。 StepToolは、実行の成功とタスク完了へのコントリビューションに基づいて、各ツールのインタラクションに報酬を割り当てるStep-grained Reward Shapingと、複数の決定ステップにわたってモデルを最適化するためのポリシー勾配メソッドを適用するStep-grained Optimizationの2つの重要なコンポーネントで構成されている。さまざまなベンチマークにわたる大規模な実験により、StepToolはタスクパス率や関連するツールのリコールという点で、SFTベースのベースラインとRLベースのベースラインの両方を一貫して上回っていることが示されている。さらに、我々の分析では、StepToolは単に事前知識を再重み付けするのではなく、モデルが新しいツール利用戦略を発見するのに役立つことを示唆している。これらの結果は、ツール学習におけるきめ細かい決定モデリングの重要性を強調し、LLMにおけるマルチステップツールの使用を向上するための汎用的で堅牢なソリューションとしてStepToolを確立する。コードとデータはhttps://github.com/yuyq18/StepTool.comで入手できる。

関連論文リスト

ToolACE-R: Tool Learning with Adaptive Self-Refinement [84.69651852838794]
ツール学習により、大規模言語モデルは複雑なユーザタスクを解決するための外部ツールを活用することができる。本稿では,ツール実行のための適応型自己調整手法であるToolACE-Rを提案する。提案手法は,様々なサイズのベースモデルと互換性のある提案手法の有効性を実証した。
論文参考訳（メタデータ） (2025-04-02T06:38:56Z)
From Exploration to Mastery: Enabling LLMs to Master Tools via Self-Driven Interactions [60.733557487886635]
本稿では,大規模言語モデルと外部ツールとの包括的ギャップを埋めることに焦点を当てる。動的精錬ツールの文書化を目的とした新しいフレームワーク DRAFT を提案する。この方法論は、3つの異なる学習フェーズからなる革新的な試行錯誤アプローチに基づいている。
論文参考訳（メタデータ） (2024-10-10T17:58:44Z)
ToolGen: Unified Tool Retrieval and Calling via Generation [34.34787641393914]
ToolGenは、ツール知識を大きな言語モデルのパラメータに直接統合するパラダイムシフトです。 ToolGenは、ツール検索と自律タスク補完の両方において、優れた結果が得られることを示す。 ToolGenは、より汎用的で効率的で自律的なAIシステムを実現する。
論文参考訳（メタデータ） (2024-10-04T13:52:32Z)
LLM With Tools: A Survey [0.0]
本稿では,LCMに外部ツールの使用を教える領域における方法論,問題点,展開について述べる。ユーザ命令を実行可能なプランにマッピングする一連の関数によってガイドされるツール統合のための標準化パラダイムを導入する。調査の結果,ツール起動タイミング,選択精度,堅牢な推論プロセスの必要性など,さまざまな課題が明らかになった。
論文参考訳（メタデータ） (2024-09-24T14:08:11Z)
MetaTool: Facilitating Large Language Models to Master Tools with Meta-task Augmentation [25.360660222418183]
再利用可能なツールセットにまたがって一般化するために設計された,新しいツール学習手法であるMetaToolを紹介する。メタタスクデータをタスク指向トレーニングに組み込むことで,オープンソースの大規模言語モデルの性能を大幅に向上させる。
論文参考訳（メタデータ） (2024-07-15T10:15:41Z)
Tool Learning with Large Language Models: A Survey [60.733557487886635]
大規模言語モデル(LLM)を用いたツール学習は,高度に複雑な問題に対処するLLMの能力を強化するための,有望なパラダイムとして登場した。この分野での注目と急速な進歩にもかかわらず、現存する文献は断片化され、体系的な組織が欠如している。
論文参考訳（メタデータ） (2024-05-28T08:01:26Z)
Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
論文参考訳（メタデータ） (2024-05-26T11:40:58Z)
Towards Completeness-Oriented Tool Retrieval for Large Language Models [60.733557487886635]
現実世界のシステムは多種多様なツールを組み込んでおり、全てのツールを大規模言語モデルに入力することは不可能である。既存のツール検索手法は主にユーザクエリとツール記述間のセマンティックマッチングに焦点を当てている。我々は,ユーザクエリとツール記述のセマンティックな類似性だけでなく,ツールの協調的情報も考慮した,新しいモデル診断型協調学習型ツール検索手法であるCOLTを提案する。
論文参考訳（メタデータ） (2024-05-25T06:41:23Z)
From Summary to Action: Enhancing Large Language Models for Complex Tasks with Open World APIs [62.496139001509114]
大規模な現実世界のAPIを制御するために設計された新しいツール呼び出しパイプラインを導入します。このパイプラインは人間のタスク解決プロセスを反映し、複雑な実際のユーザクエリに対処する。 ToolBenchベンチマークにおけるSum2Actパイプラインの実証的な評価は、大幅なパフォーマンス向上を示している。
論文参考訳（メタデータ） (2024-02-28T08:42:23Z)
EASYTOOL: Enhancing LLM-based Agents with Concise Tool Instruction [56.02100384015907]
EasyToolは、多種多様で長いツールドキュメントを統一的で簡潔なツール命令に変換するフレームワークである。トークン使用量を大幅に削減し、現実のシナリオにおけるツール利用のパフォーマンスを向上させることができる。
論文参考訳（メタデータ） (2024-01-11T15:45:11Z)
CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
論文参考訳（メタデータ） (2023-09-29T17:40:26Z)
Confucius: Iterative Tool Learning from Introspection Feedback by Easy-to-Difficult Curriculum [42.36892453363961]
本研究では,大規模言語モデル(LLM)を学習し,現実のシナリオで複雑なツールを使用するための新しいツール学習フレームワークを提案する。まず,多段階の学習手法を提案する。次に、イントロスペクティブフィードバックからの反復自己インストラクションを提案し、データセットを動的に構築し、複雑なツールを使用する能力を改善する。
論文参考訳（メタデータ） (2023-08-27T07:53:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。