論文の概要: DualTune: Decoupled Fine-Tuning for On-Device Agentic Systems
- arxiv url: http://arxiv.org/abs/2510.00229v1
- Date: Tue, 30 Sep 2025 19:52:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-03 16:59:20.232166
- Title: DualTune: Decoupled Fine-Tuning for On-Device Agentic Systems
- Title（参考訳）: DualTune: デバイス上のエージェントシステムのための分離ファインチューニング
- Authors: Rohan Kadekodi, Zhan Jin, Keisuke Kamahori, Yile Gu, Sean Khatiri, Noah H. Bayindirli, Sergey Gorbunov, Baris Kasikci,
- Abstract要約: 本稿では,ツールコールタスクをツール選択と引数生成という2つのサブタスクに分解する手法を提案する。
我々はDualTuneを提案する。DualTuneは、デカップリングされた微調整を使って作成されたLoRAアダプタを利用する推論フレームワークである。
MCP-Benchベンチマーク実験により,切り離した微調整を用いて訓練したQwen-2.5-7Bモデルは,ベースモデルの呼び出し精度を46%向上することを示した。
- 参考スコア（独自算出の注目度）: 8.289478744010601
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The deployment of Large Language Models (LLMs) as agentic orchestrators has revolutionized task automation, but the need for privacy-preserving, cost-effective solutions demands on-device inference capabilities. However, local LLMs consistently underperform compared to frontier models in tool calling scenarios, struggling with both tool selection from large tool sets and accurate argument generation for complex parameter structures. We introduce a methodology that disaggregates a tool-calling task into two distinct subtasks: tool selection and argument generation. We propose "decoupled fine-tuning", a novel post-training approach that employs LoRA fine-tuning to create dedicated LoRA adapters for tool selection and tool-specific argument generation using separate loss masking for each of the subtasks. Furthermore, we present DualTune, an inference framework that leverages the LoRA adapters created using decoupled fine-tuning to perform efficient agent orchestration with the help of local models on end-user devices. DualTune decomposes the tool-call generation step into tool selection and argument generation, and dynamically loads the corresponding LoRA adapters to generate tool calls. Additionally, DualTune implements hierarchical orchestration to restrict the number of tools required for tool selection. Our experiments on the MCP-Bench benchmark demonstrate that the Qwen-2.5-7B model trained using decoupled fine-tuning improves the tool calling accuracy of the base model by 46%, and outperforms other local reasoning, non-reasoning and fine-tuned models of similar size in all cases, and models that are 2x larger, in most cases.
- Abstract（参考訳）: エージェントオーケストレータとしてのLarge Language Models(LLM)の展開はタスク自動化に革命をもたらしたが、プライバシ保護とコスト効率のよいソリューションの必要性は、デバイス上の推論機能を必要とする。
しかし、ローカルLLMは、ツール呼び出しシナリオにおけるフロンティアモデルと比べて一貫して性能が劣り、大きなツールセットからのツール選択と複雑なパラメータ構造に対する正確な引数生成の両方に苦労した。
本稿では,ツールコールタスクをツール選択と引数生成という2つのサブタスクに分解する手法を提案する。
ツール選択のための専用LoRAアダプタと,各サブタスクに対して個別のロスマスクを用いたツール固有の引数生成を実現するために,LoRAファインタニングを用いた新しいポストトレーニング手法である「デカップリングファインタニング」を提案する。
さらに、DualTuneは、デカップリングファインチューニングを用いて作成したLoRAアダプタを利用して、エンドユーザーデバイス上でローカルモデルの助けを借りて効率的なエージェントオーケストレーションを行う推論フレームワークである。
DualTuneはツールコール生成ステップをツール選択と引数生成に分解し、対応するLoRAアダプタを動的にロードしてツールコールを生成する。
さらに、DualTuneは階層的なオーケストレーションを実装して、ツールの選択に必要なツールの数を制限する。
MCP-Benchベンチマークを用いた実験により,切り離した細調整を用いて訓練したQwen-2.5-7Bモデルでは,基本モデルの呼び出し精度が46%向上し,その他の局所的推論,全ての場合において類似サイズの非共振および微調整モデル,そしてほとんどの場合,2倍のモデルよりも優れていた。
関連論文リスト
- RLFactory: A Plug-and-Play Reinforcement Learning Post-Training Framework for LLM Multi-Turn Tool-Use [50.52940111891476]
大きな言語モデルは基本的な推論では優れているが、外部ツールとのインタラクションを必要とするタスクには苦労する。
マルチラウンドツール用プラグイン・アンド・プレイ強化学習フレームワークであるRLFactoryを提案する。
論文 参考訳（メタデータ） (2025-08-31T16:47:31Z) - HGMF: A Hierarchical Gaussian Mixture Framework for Scalable Tool Invocation within the Model Context Protocol [16.890180802987135]
外部ツールを呼び出すことで、LLM(Large Language Models)は複雑な実世界のタスクを実行できる。
しかし、大きく階層的に構造化されたライブラリから正しいツールを選択することは大きな課題です。
本稿では,スケーラブルなツール実行のための確率的プルーニング手法である階層型ガウス混合フレームワーク(HGMF)を提案する。
論文 参考訳（メタデータ） (2025-08-11T04:13:06Z) - MassTool: A Multi-Task Search-Based Tool Retrieval Framework for Large Language Models [45.63804847907601]
MassToolは、クエリ表現とツール検索の精度を向上させるために設計されたマルチタスク検索ベースのフレームワークである。
関数呼び出しの必要性を予測するツール使用検知塔と、クエリ中心のグラフ畳み込みネットワーク(QC-GCN)を活用して効率的なクエリツールマッチングを行うツール検索塔である。
MassToolは、ツール使用の検出損失、リストワイズ検索損失、コントラスト正規化損失を共同で最適化することにより、厳密なクエリ理解のための堅牢な2段階のシーケンシャル意思決定パイプラインを確立する。
論文 参考訳（メタデータ） (2025-07-01T07:02:26Z) - MCP-Zero: Active Tool Discovery for Autonomous LLM Agents [13.005899769943442]
ツール発見の自律性を LLM 自体に復元する,アクティブエージェントフレームワークである MCP-Zero を紹介する。
すべての利用可能なツールで圧倒的なモデルを使用する代わりに、CP-Zeroはエージェントが能率ギャップを積極的に識別し、特定のツールをオンデマンドで要求することを可能にする。
公式の Model-Context-Protocol リポジトリから 308 の MCP サーバと 2,797 ツールの包括的なデータセットである MCP-tools を構築した。
論文 参考訳（メタデータ） (2025-06-01T15:48:53Z) - Advancing and Benchmarking Personalized Tool Invocation for LLMs [66.39214525683425]
パーソナライズされたツール呼び出しの概念を導入し、ツールの優先度とプロファイルに依存したクエリという2つの重要なタスクを定義します。
これらの課題に対処するために、パーソナライズされたツール呼び出し用に設計されたデータ合成フレームワークであるPToolを提案する。
パーソナライズされたツール呼び出しを評価するための最初のベンチマークである textbfPTBench を構築した。
論文 参考訳（メタデータ） (2025-05-07T02:25:20Z) - Acting Less is Reasoning More! Teaching Model to Act Efficiently [87.28134636548705]
ツール統合推論は、タスクを解決するために外部ツールを呼び出す機能によって、大きな言語モデルを拡張します。
現在のアプローチは、外部ツールの使用効率や必要性を考慮せずに、最終的な正確性のためにのみ最適化されている。
最小限のツールコールで正確な回答をモデルに提示するフレームワークを提案する。
このアプローチでは,ツールコールを最大68.3%削減し,ツールの生産性を最大215.4%向上すると同時に,同等の回答精度を維持している。
論文 参考訳（メタデータ） (2025-04-21T05:40:05Z) - Multi-modal Agent Tuning: Building a VLM-Driven Agent for Efficient Tool Usage [75.76940471949366]
本稿では,マルチモーダルツール使用データを自動的に生成するマルチモーダルエージェントチューニング手法を提案する。
データ品質を維持するため、GPT-4oミニモデルにクエリ、ファイル、トラジェクトリを生成するよう促す。
T3-Agentは2つの人気のあるVLMの改良を一貫して達成している。
論文 参考訳（メタデータ） (2024-12-20T07:00:46Z) - ControlLLM: Augment Language Models with Tools by Searching on Graphs [97.62758830255002]
我々は,大規模言語モデル(LLM)が実世界のタスクを解くためのマルチモーダルツールを利用できる新しいフレームワークであるControlLLMを提案する。
フレームワークは,(1)複雑なタスクを明確なサブタスクに分割し,入力と出力を適切に定義したサブタスクに分解するtextittask Decomposer,(2)構築済みのツールグラフ上で最適なソリューションパスを探索する textitThoughts-on-Graph(ToG)パラダイム,(3)ソリューションパスを解釈して実行するリッチなツールボックスを備えた textitexecution Engine,の3つの主要なコンポーネントから構成される。
論文 参考訳（メタデータ） (2023-10-26T21:57:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。