論文の概要: RecToolBench: Benchmarking Recommendation-Specific Tool Orchestration under Fuzzy User Intent

• arxiv url: http://arxiv.org/abs/2609.30717v1
• Date: Fri, 25 Sep 2026 02:44:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.191469
• Title: RecToolBench: Benchmarking Recommendation-Specific Tool Orchestration under Fuzzy User Intent
• Title（参考訳）: RecToolBench: ファジィユーザインテント下での推奨ツールオーケストレーションのベンチマーク
• Abstract要約: RecToolBenchはファジィユーザ指示の下でツールを使用する推奨エージェントを評価するためのベンチマークである。 ファジィリコメンデーションタスクを生成するスケーラブルなシンセサイザー-ファジフィケーション-ジャッジパイプラインでRecToolBenchを構築する。 本結果は,ファジィユーザ意図に基づくツールオーケストレーションをエージェントレコメンデータシステムのボトルネックとして捉えたものである。
• 参考スコア（独自算出の注目度）: 41.42111751876479
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in agentic recommender systems are shifting recommender systems from passive filtering engines to instruction-following agents that use external tools to resolve user intent. However, existing benchmarks often assume explicit user intent, simplified tool environments, or isolated function calls, leaving realistic tool orchestration for recommendation underexplored. To bridge this gap, we propose RecToolBench, a Model Context Protocol (MCP)-based benchmark for evaluating tool-using recommender agents under fuzzy user instructions. RecToolBench contains more than 1,200 executable tasks across three recommendation domains, 13 MCP servers, and 32 tools, spanning single-tool calls, parallel tool calls, sequential tool chains, and hybrid tool orchestration. We construct RecToolBench with a scalable synthesize--fuzzify--judge pipeline that generates executable fuzzy recommendation tasks, and evaluates agent trajectories using rule-based execution checks and rubric-based LLM evaluation. Experiments on representative LLMs show that syntactically valid tool calls do not guarantee successful recommendations. Models struggle with semantic parameter grounding, multi-step evidence integration, and grounded final recommendations, especially as orchestration complexity increases. Our results identify tool orchestration under fuzzy user intent as a major bottleneck for agentic recommender systems. Our data and code are available at https://github.com/ShawnChenn/RecToolBench.
• Abstract（参考訳）: エージェントレコメンダシステムの最近の進歩は、レコメンダシステムをパッシブフィルタリングエンジンから、ユーザ意図を解決するために外部ツールを使用する命令追従エージェントにシフトしている。 しかしながら、既存のベンチマークでは、明示的なユーザ意図、単純化されたツール環境、あるいは分離された関数呼び出しを前提としています。 このギャップを埋めるために、我々はモデルコンテキストプロトコル(MCP)ベースのベンチマークであるRecToolBenchを提案する。 RecToolBenchには3つのレコメンデーションドメイン、13のMPPサーバ、32のツール、シングルツールコール、並列ツールコール、シーケンシャルツールチェーン、ハイブリッドツールオーケストレーションを含む1200以上の実行可能なタスクが含まれている。 ファジィレコメンデーションタスクを生成するスケーラブルな合成ファジィ・ジャッジパイプラインを用いてRecToolBenchを構築し,ルールベースの実行チェックとルーリックベースのLLM評価を用いてエージェントトラジェクトリを評価する。 LLMの代表的な実験では、構文的に有効なツールコールが成功のレコメンデーションを保証していないことが示されている。 モデルはセマンティックパラメータのグラウンディング、多段階のエビデンス統合、そして特にオーケストレーションの複雑さが増大するにつれて、最終的なレコメンデーションに悩まされる。 本結果は,ファジィユーザ意図に基づくツールオーケストレーションをエージェントレコメンデータシステムのボトルネックとして捉えたものである。 私たちのデータとコードはhttps://github.com/ShawnChenn/RecToolBench.comで公開されています。

関連論文リスト

• ToolRec: Calibrated Preference Alignment for Query Recommendation in On-Device Assistants [9.875012525177285]
  デバイス上でのクエリレコメンデーションに適したリテラルアライメントフレームワークであるToolRecを提案する。 我々はまず,708のシステムツールの包括的なリポジトリであるSysToolKitを,コンテキスト認識ツール検索機構と組み合わせて構築した。 次に、生クリックデータを洗練し、ユーザの行動ノイズを効果的に軽減する2レベルキャリブレーション機構を提案する。
  論文  参考訳（メタデータ） (2026-06-07T06:06:38Z)
• JTPRO: A Joint Tool-Prompt Reflective Optimization Framework for Language Agents [34.99316717979429]
  JTPRO(Joint Tool-Promptive Optimization)は,Trace-20%設定におけるツール・プロンプティブ最適化を改善するためのフレームワークである。 ツール選択精度(TSA)、スロット充足精度(SFA)、総合成功率(OSR)(正しいツール+正しいスロット+正しい値)の3つの指標を用いて、マルチツールベンチマーク間でJTPROを評価した。
  論文  参考訳（メタデータ） (2026-04-20T05:37:43Z)
• RecThinker: An Agentic Framework for Tool-Augmented Reasoning in Recommendation [63.74915464611075]
  RecThinkerはツール拡張推論を推奨するエージェントフレームワークである。 我々はRecThinker専用のツール群を開発し、モデルがユーザアイテム側および協調的な情報を取得することを可能にする。
  論文  参考訳（メタデータ） (2026-03-10T16:07:17Z)
• Gecko: A Simulation Environment with Stateful Feedback for Refining Agent Tool Calls [56.407063247662336]
  本稿では,ルールとLLMを組み合わせてツール応答をシミュレートする総合環境であるGeckoを紹介する。 GATS は GPT-4o, GPT-5, Gemini-3.0-pro など様々な LLM のツールコール性能を一貫して改善している。
  論文  参考訳（メタデータ） (2026-02-22T15:02:00Z)
• TalkPlay-Tools: Conversational Music Recommendation with LLM Tool Calling [20.889365999166813]
  本稿では,ツールコールによる楽曲レコメンデーションシステムを提案する。 本システムでは,LLMをユーザ意図を解釈するエンドツーエンドのレコメンデーションシステムとして位置付ける。 この統合ツールコールフレームワークは,さまざまなレコメンデーションシナリオ間での競合性能を実現することを実証する。
  論文  参考訳（メタデータ） (2025-10-02T06:08:54Z)
• Tool-R1: Sample-Efficient Reinforcement Learning for Agentic Tool Use [50.02614257515131]
  大規模言語モデル(LLM)は、言語理解と推論において強力な能力を示している。 本稿では,LLMの汎用的,構成的,多段階的なツール使用を可能にする強化学習フレームワークであるTool-R1を提案する。
  論文  参考訳（メタデータ） (2025-09-16T09:22:21Z)
• Learning to Ask: When LLM Agents Meet Unclear Instruction [55.65312637965779]
  大きな言語モデル(LLM)は、言語スキルだけでは達成不可能なタスクに対処するための外部ツールを活用することができる。 我々は、不完全な命令下でのLLMツールの使用性能を評価し、エラーパターンを分析し、Noisy ToolBenchと呼ばれる挑戦的なツール使用ベンチマークを構築した。 Ask-when-Needed (AwN) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-31T23:06:12Z)
• Let Me Do It For You: Towards LLM Empowered Recommendation via Tool Learning [57.523454568002144]
  大きな言語モデル(LLM)は、常識的な推論と外部ツールの活用の能力を示している。 ツール学習を通じてLLMを活用したレコメンデーションのためのフレームワークであるToolRecを紹介する。 属性の粒度を探索するプロセスとして推薦プロセスを定式化する。 属性指向ツールには,ランクツールと検索ツールの2種類がある。
  論文  参考訳（メタデータ） (2024-05-24T00:06:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。