論文の概要: Advancing and Benchmarking Personalized Tool Invocation for LLMs

• arxiv url: http://arxiv.org/abs/2505.04072v1
• Date: Wed, 07 May 2025 02:25:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-08 19:07:35.953998
• Title: Advancing and Benchmarking Personalized Tool Invocation for LLMs
• Title（参考訳）: LLMのためのパーソナライズされたツール呼び出しの促進とベンチマーク
• Authors: Xu Huang, Yuefeng Huang, Weiwen Liu, Xingshan Zeng, Yasheng Wang, Ruiming Tang, Hong Xie, Defu Lian,
• Abstract要約: パーソナライズされたツール呼び出しの概念を導入し、ツールの優先度とプロファイルに依存したクエリという2つの重要なタスクを定義します。 これらの課題に対処するために、パーソナライズされたツール呼び出し用に設計されたデータ合成フレームワークであるPToolを提案する。 パーソナライズされたツール呼び出しを評価するための最初のベンチマークである textbfPTBench を構築した。
• 参考スコア（独自算出の注目度）: 66.39214525683425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tool invocation is a crucial mechanism for extending the capabilities of Large Language Models (LLMs) and has recently garnered significant attention. It enables LLMs to solve complex problems through tool calls while accessing up-to-date world knowledge. However, existing work primarily focuses on the fundamental ability of LLMs to invoke tools for problem-solving, without considering personalized constraints in tool invocation. In this work, we introduce the concept of Personalized Tool Invocation and define two key tasks: Tool Preference and Profile-dependent Query. Tool Preference addresses user preferences when selecting among functionally similar tools, while Profile-dependent Query considers cases where a user query lacks certain tool parameters, requiring the model to infer them from the user profile. To tackle these challenges, we propose PTool, a data synthesis framework designed for personalized tool invocation. Additionally, we construct \textbf{PTBench}, the first benchmark for evaluating personalized tool invocation. We then fine-tune various open-source models, demonstrating the effectiveness of our framework and providing valuable insights. Our benchmark is public at https://github.com/hyfshadow/PTBench.
• Abstract（参考訳）: ツール呼び出しは、LLM(Large Language Models)の機能を拡張するための重要なメカニズムであり、最近大きな注目を集めている。 LLMは、最新の世界の知識にアクセスしながら、ツールコールによって複雑な問題を解決することができる。 しかし、既存の研究は主に、ツール呼び出しのパーソナライズされた制約を考慮せずに、問題解決のためのツールを起動するLLMの基本的な能力に焦点を当てている。 本稿では、Personalized Tool Invocationの概念を導入し、ツールの優先度とプロファイルに依存したクエリという2つの重要なタスクを定義します。 Tool Preferenceは機能的に類似したツールの中から選択する際のユーザの好みに対処するが、Profile-dependent Queryは、ユーザクエリが特定のツールパラメータを欠いているケースを考慮し、モデルがユーザプロファイルからそれらを推論する必要がある。 これらの課題に対処するために、パーソナライズされたツール呼び出し用に設計されたデータ合成フレームワークであるPToolを提案する。 さらに、パーソナライズされたツール呼び出しを評価するための最初のベンチマークである \textbf{PTBench} を構築します。 そして、さまざまなオープンソースモデルを微調整し、フレームワークの有効性を実証し、貴重な洞察を提供します。 私たちのベンチマークはhttps://github.com/hyfshadow/PTBench.comで公開されています。

関連論文リスト

• PEToolLLM: Towards Personalized Tool Learning in Large Language Models [21.800332388883465]
  我々は、パーソナライズされたツール利用に向けて、ユーザのインタラクション履歴を統合する、パーソナライズされたツール学習のタスクを定式化する。 PEToolBenchを構築し,3つの個別設定の下でインタラクション履歴に反映される多様なユーザの好みを特徴付ける。 LLMをパーソナライズしたツール学習タスクに適用するためのフレームワークPEToolLLaMAを提案する。
  論文  参考訳（メタデータ） (2025-02-26T09:43:08Z)
• PTR: Precision-Driven Tool Recommendation for Large Language Models [43.53494041932615]
  大規模言語モデル(LLM)のためのPTR(Precision-driven Tool Recommendation)アプローチを提案する。 PTRは、過去のツールバンドルの利用を利用して、初期的かつ簡潔なツールセットをキャプチャし、ツールマッチングを実行することで、ツールセットを動的に調整する。 LLMのツールレコメンデーションの有効性を評価するために,新しいデータセットRecToolsとメトリクスTRACCを提案する。
  論文  参考訳（メタデータ） (2024-11-14T17:33:36Z)
• MetaTool Benchmark for Large Language Models: Deciding Whether to Use Tools and Which to Use [79.87054552116443]
  大規模言語モデル(LLM)は、その印象的な自然言語処理(NLP)能力のために大きな注目を集めている。 このベンチマークは、LLMがツールの使用意識を持ち、ツールを正しく選択できるかどうかを評価するためのものだ。 8つの人気のあるLCMを巻き込んだ実験を行い、その大半は依然として効果的にツールを選択するのに苦労していることがわかった。
  論文  参考訳（メタデータ） (2023-10-04T19:39:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。