論文の概要: ToolSpectrum : Towards Personalized Tool Utilization for Large Language Models

• arxiv url: http://arxiv.org/abs/2505.13176v1
• Date: Mon, 19 May 2025 14:30:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.655653
• Title: ToolSpectrum : Towards Personalized Tool Utilization for Large Language Models
• Title（参考訳）: ToolSpectrum : 大規模言語モデルのためのパーソナライズされたツール活用を目指して
• Authors: Zihao Cheng, Hongru Wang, Zeming Liu, Yuhang Guo, Yuanfang Guo, Yunhong Wang, Haifeng Wang,
• Abstract要約: ToolSpectrumは、大規模言語モデルのパーソナライズされたツール利用能力を評価するために設計されたベンチマークである。 我々は、パーソナライズ、ユーザプロファイル、環境要因の2つの重要な側面を定式化し、ツール利用に対する個人的およびシナジスティックな影響を分析する。 ツール強化LDMにおけるコンテキスト認識のパーソナライズの必要性を浮き彫りにして,現行モデルに対する限界を明らかにした。
• 参考スコア（独自算出の注目度）: 48.276461194773354
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While integrating external tools into large language models (LLMs) enhances their ability to access real-time information and domain-specific services, existing approaches focus narrowly on functional tool selection following user instructions, overlooking the context-aware personalization in tool selection. This oversight leads to suboptimal user satisfaction and inefficient tool utilization, particularly when overlapping toolsets require nuanced selection based on contextual factors. To bridge this gap, we introduce ToolSpectrum, a benchmark designed to evaluate LLMs' capabilities in personalized tool utilization. Specifically, we formalize two key dimensions of personalization, user profile and environmental factors, and analyze their individual and synergistic impacts on tool utilization. Through extensive experiments on ToolSpectrum, we demonstrate that personalized tool utilization significantly improves user experience across diverse scenarios. However, even state-of-the-art LLMs exhibit the limited ability to reason jointly about user profiles and environmental factors, often prioritizing one dimension at the expense of the other. Our findings underscore the necessity of context-aware personalization in tool-augmented LLMs and reveal critical limitations for current models. Our data and code are available at https://github.com/Chengziha0/ToolSpectrum.
• Abstract（参考訳）: 外部ツールを大規模言語モデル(LLM)に統合することで、リアルタイム情報やドメイン固有サービスへのアクセス能力が向上する一方で、既存のアプローチでは、ツール選択におけるコンテキスト認識のパーソナライゼーションを見越して、ユーザ指示に従う機能ツールの選択に焦点を絞っている。 この監視は、特に重複ツールセットがコンテキスト要因に基づいたニュアンス選択を必要とする場合、ユーザー満足度と非効率的なツール利用につながる。 このギャップを埋めるために、パーソナライズされたツール利用におけるLLMの機能を評価するために設計されたベンチマークであるToolSpectrumを紹介します。 具体的には、パーソナライズ、ユーザプロファイル、環境要因の2つの重要な側面を定式化し、ツール利用に対する個人的および相乗的影響を分析する。 ToolSpectrumに関する広範な実験を通じて、パーソナライズされたツールの利用が多様なシナリオにおけるユーザエクスペリエンスを大幅に改善することを示した。 しかし、最先端のLCMでさえ、ユーザープロファイルと環境要因を共同で推論する能力に限界があり、しばしば一方の次元を犠牲にして優先順位付けする。 ツール強化LDMにおけるコンテキスト認識のパーソナライズの必要性を浮き彫りにして,現行モデルに対する限界を明らかにした。 私たちのデータとコードはhttps://github.com/Chengziha0/ToolSpectrum.comで公開されています。

関連論文リスト

• Advancing and Benchmarking Personalized Tool Invocation for LLMs [66.39214525683425]
  パーソナライズされたツール呼び出しの概念を導入し、ツールの優先度とプロファイルに依存したクエリという2つの重要なタスクを定義します。 これらの課題に対処するために、パーソナライズされたツール呼び出し用に設計されたデータ合成フレームワークであるPToolを提案する。 パーソナライズされたツール呼び出しを評価するための最初のベンチマークである textbfPTBench を構築した。
  論文  参考訳（メタデータ） (2025-05-07T02:25:20Z)
• PEToolLLM: Towards Personalized Tool Learning in Large Language Models [21.800332388883465]
  我々は、パーソナライズされたツール利用に向けて、ユーザのインタラクション履歴を統合する、パーソナライズされたツール学習のタスクを定式化する。 PEToolBenchを構築し,3つの個別設定の下でインタラクション履歴に反映される多様なユーザの好みを特徴付ける。 LLMをパーソナライズしたツール学習タスクに適用するためのフレームワークPEToolLLaMAを提案する。
  論文  参考訳（メタデータ） (2025-02-26T09:43:08Z)
• Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
  我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは表現空間の高レベル認知信号をキャプチャし、ツールを呼び出すタイミングを指示する。 実験の結果,MeCoはLSMの内部認知信号を正確に検出し,ツール使用による意思決定を大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2025-02-18T15:45:01Z)
• Look Before You Leap: Towards Decision-Aware and Generalizable Tool-Usage for Large Language Models [26.28459880766842]
  意思決定・汎用ツール・ユース・フレームワーク(DEER)を提案する。 具体的には、まず、自動生成パイプラインを介して、複数の決定ブランチを持つツール使用サンプルを構築します。 提案するDEERは, 各種データセットのベースラインよりも効果的で, 著しく優れる。
  論文  参考訳（メタデータ） (2024-02-26T16:11:03Z)
• MetaTool Benchmark for Large Language Models: Deciding Whether to Use Tools and Which to Use [79.87054552116443]
  大規模言語モデル(LLM)は、その印象的な自然言語処理(NLP)能力のために大きな注目を集めている。 このベンチマークは、LLMがツールの使用意識を持ち、ツールを正しく選択できるかどうかを評価するためのものだ。 8つの人気のあるLCMを巻き込んだ実験を行い、その大半は依然として効果的にツールを選択するのに苦労していることがわかった。
  論文  参考訳（メタデータ） (2023-10-04T19:39:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。