論文の概要: UserToolBench: A User-Profile-Hidden Benchmark for Personalized Decision Making in Tool-Use LLMs

• arxiv url: http://arxiv.org/abs/2608.10042v1
• Date: Mon, 10 Aug 2026 09:32:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.764397
• Title: UserToolBench: A User-Profile-Hidden Benchmark for Personalized Decision Making in Tool-Use LLMs
• Title（参考訳）: UserToolBench: ツール使用 LLM のパーソナライズされた意思決定のためのユーザプロファイリング型ベンチマーク
• Abstract要約: UserToolBenchは、ツール使用 LLM におけるパーソナライズされた意思決定のためのベンチマークである。 モデルが対話履歴から潜在ユーザの好みを推測できるかどうかをテストする。 10のユーザプロファイル、36のツールセット、1,065のターン、170のユニークなツール、評価にフォーカスしたタスクタイプが含まれている。
• 参考スコア（独自算出の注目度）: 23.563695173602536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tool-use LLMs are increasingly asked to act on users' behalf, but existing benchmarks usually focus on profile recall, style imitation, generic tool use, or response-level personalization. We introduce UserToolBench , a benchmark for personalized decision making in tool-use LLMs. UserToolBench tests whether a model can infer latent user preferences from interaction history, recognize when clarification is needed, and produce user-aligned tool-call trajectories under incomplete information. The benchmark is built from privacy-sanitized real interaction traces and combines structured persona profiles, public API-style tool ecosystems, and long-horizon multi-turn trajectories. It includes 10 user profiles, 36 tool sets, 1,065 turns, 170 unique tools, and evaluation-focused task types covering lack-of-information, single-tool, and multi-tool settings. Experiments with strong tool-use LLMs show that current models still have difficulty with personalized delegation. Multi-tool coordination, missing-constraint inference, and long-horizon behavioral consistency remain major bottlenecks. These results suggest that personalization evaluation should move beyond asking whether outputs sound user-specific and instead ask whether LLMs make correct decisions for the users they represent.
• Abstract（参考訳）: ツールの利用 LLM はユーザに代わって動作するよう要求されることが多いが、既存のベンチマークは通常、プロファイルリコール、スタイルの模倣、ジェネリックツールの使用、応答レベルのパーソナライゼーションに重点を置いている。 ツール利用 LLM におけるパーソナライズされた意思決定のためのベンチマークである UserToolBench を紹介する。 UserToolBenchは、モデルが遅延したユーザの好みをインタラクション履歴から推測し、明確化が必要なことを認識し、不完全な情報の下でユーザ対応のツールコールトラジェクトリを生成するかどうかをテストする。 このベンチマークは、プライバシー保護された実際のインタラクショントレースから構築され、構造化されたペルソナプロファイル、パブリックAPIスタイルのツールエコシステム、長期にわたるマルチターントラジェクトリを組み合わせたものだ。 10のユーザプロファイル、36のツールセット、1,065のターン、170のユニークなツール、情報不足、シングルツール、マルチツール設定を含む評価中心のタスクタイプが含まれている。 強力なツール利用 LLM を用いた実験では、現在のモデルではパーソナライズされたデリゲートが難しいことが示されている。 マルチツールコーディネート、欠落制約推論、長期水平行動整合性は大きなボトルネックのままである。 これらの結果から,パーソナライズ評価は,アウトプットがユーザ固有のものであるかどうかを問うだけでなく,LLMが代表するユーザに対して正しい判断を下すかどうかを問うものとなる。

関連論文リスト

• Latent Preference Modeling for Cross-Session Personalized Tool Calling [9.4096596518028]
  MPTは265のマルチセッション対話からなるベンチマークで、優先度リコール、優先度誘導、優先度伝達の3つの課題をカバーしている。 また、ユーザの好みを進化する仮説として表現するテスト時間メモリ拡張手法であるPRefineを提案する。 これらの結果から,エージェントシステムにおけるロバストなパーソナライゼーションは,選択自体だけでなく,ユーザの選択の背景にある理由を捉えるメモリに依存することが示唆された。
  論文  参考訳（メタデータ） (2026-04-20T06:57:50Z)
• ToolSpectrum : Towards Personalized Tool Utilization for Large Language Models [48.276461194773354]
  ToolSpectrumは、大規模言語モデルのパーソナライズされたツール利用能力を評価するために設計されたベンチマークである。 我々は、パーソナライズ、ユーザプロファイル、環境要因の2つの重要な側面を定式化し、ツール利用に対する個人的およびシナジスティックな影響を分析する。 ツール強化LDMにおけるコンテキスト認識のパーソナライズの必要性を浮き彫りにして,現行モデルに対する限界を明らかにした。
  論文  参考訳（メタデータ） (2025-05-19T14:30:46Z)
• Advancing and Benchmarking Personalized Tool Invocation for LLMs [66.39214525683425]
  パーソナライズされたツール呼び出しの概念を導入し、ツールの優先度とプロファイルに依存したクエリという2つの重要なタスクを定義します。 これらの課題に対処するために、パーソナライズされたツール呼び出し用に設計されたデータ合成フレームワークであるPToolを提案する。 パーソナライズされたツール呼び出しを評価するための最初のベンチマークである textbfPTBench を構築した。
  論文  参考訳（メタデータ） (2025-05-07T02:25:20Z)
• Know Me, Respond to Me: Benchmarking LLMs for Dynamic User Profiling and Personalized Responses at Scale [53.059480071818136]
  大規模言語モデル(LLM)は、幅広いタスクでユーザのためのパーソナライズされたアシスタントとして登場した。 PERSONAMEMは180以上のユーザ-LLMインタラクション履歴を持つキュレートされたユーザプロファイルを備えている。 LLMチャットボットのユーザプロファイルの現在状況に応じて,最も適切な応答を識別する能力を評価する。
  論文  参考訳（メタデータ） (2025-04-19T08:16:10Z)
• PEToolLLM: Towards Personalized Tool Learning in Large Language Models [21.800332388883465]
  我々は、パーソナライズされたツール利用に向けて、ユーザのインタラクション履歴を統合する、パーソナライズされたツール学習のタスクを定式化する。 PEToolBenchを構築し,3つの個別設定の下でインタラクション履歴に反映される多様なユーザの好みを特徴付ける。 LLMをパーソナライズしたツール学習タスクに適用するためのフレームワークPEToolLLaMAを提案する。
  論文  参考訳（メタデータ） (2025-02-26T09:43:08Z)
• Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
  我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは、表現空間内の高レベル認知信号をキャプチャすることで、メタ認知スコアを定量化する。 MeCoは微調整不要で、最小限のコストがかかる。
  論文  参考訳（メタデータ） (2025-02-18T15:45:01Z)
• Learning to Ask: When LLM Agents Meet Unclear Instruction [55.65312637965779]
  大きな言語モデル(LLM)は、言語スキルだけでは達成不可能なタスクに対処するための外部ツールを活用することができる。 我々は、不完全な命令下でのLLMツールの使用性能を評価し、エラーパターンを分析し、Noisy ToolBenchと呼ばれる挑戦的なツール使用ベンチマークを構築した。 Ask-when-Needed (AwN) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-31T23:06:12Z)
• Democratizing Large Language Models via Personalized Parameter-Efficient Fine-tuning [36.88126051792774]
  大規模言語モデル(LLM)のパーソナライゼーションはますます重要になっている。 1つのPEFT Per User (OPPU) は、パーソナライズされたパラメータ効率の微調整(PEFT)モジュールを使用して、ユーザ固有の行動パターンと好みを保存する。 OPPUは、LaMPベンチマークの7つのタスクで既存のプロンプトベースのメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-02-06T21:03:52Z)
• MetaTool Benchmark for Large Language Models: Deciding Whether to Use Tools and Which to Use [79.87054552116443]
  大規模言語モデル(LLM)は、その印象的な自然言語処理(NLP)能力のために大きな注目を集めている。 このベンチマークは、LLMがツールの使用意識を持ち、ツールを正しく選択できるかどうかを評価するためのものだ。 8つの人気のあるLCMを巻き込んだ実験を行い、その大半は依然として効果的にツールを選択するのに苦労していることがわかった。
  論文  参考訳（メタデータ） (2023-10-04T19:39:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。