論文の概要: $τ$-Rec-Books: A Disclosure-Controlled Benchmark for Requirement Elicitation in Agentic Recommender Systems

• arxiv url: http://arxiv.org/abs/2611.04459v1
• Date: Tue, 03 Nov 2026 07:47:46 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:23:19.734481
• Title: $τ$-Rec-Books: A Disclosure-Controlled Benchmark for Requirement Elicitation in Agentic Recommender Systems
• Title（参考訳）: $τ$-Rec-Books:A Disclosure-Controlled Benchmark for Requirement Elicitation in Agentic Recommender Systems
• Abstract要約: このベンチマークでは、ユーザが要求を公表したときにのみ、各ユーザ要求が修正されながら変更される。 隠された要件は、本を提案し、ユーザの受け入れや拒否からそれを推測することによってのみ見つけることができる。 4つのエージェントと2つのサーチインターフェースで、すべてのエージェントとインターフェースで成功率は0.975(ボランティア)から0.2756(混合)と0.283(隠)に低下する。
• 参考スコア（独自算出の注目度）: 6.146935144379057
• License:
• Abstract: While conversational recommendation systems provide a more natural user interface, they face the challenge of progressively discovering a user's needs before they can recommend an item that satisfies them. To evaluate the ability of AI agents at this elicitation process, we introduce $τ$-Rec-Books, a benchmark that holds each user request fixed while varying only when the user reveals their requirements: all at the start (volunteer), one at the start and the rest when asked (mixed), or some never (hidden). A hidden requirement can be found only by proposing books and inferring it from the user's accept or reject verdicts. We generate 450 tasks over a catalog of 20,000 books from Wikidata, develop a rule-based simulated user to answer the agent, and score recommendations against catalog metadata without an LLM judge. Across four agents and two search interfaces, success rates fall for every agent and interface, on average from 0.975 (volunteer) to 0.756 (mixed) and 0.283 (hidden). Mixed tasks fail mainly because agents do not ask, and when told to ask, every agent reaches at least 0.931. On hidden tasks, most failures come from agents recommending a book they never proposed to the user. When told to propose first, agents only match a simple baseline that proposes popular books, and stay well below one that uses rejection to rule out possible requirements. We release the catalog pipeline, task generator, simulated user, validators, reference agents, and all agent traces at https://github.com/nbharaths/tau-rec/tree/main/data/tracks/books-wikidata-v2.
• Abstract（参考訳）: 会話レコメンデーションシステムは、より自然なユーザインターフェースを提供するが、ユーザのニーズを徐々に発見し、満足するアイテムを推薦する、という課題に直面している。 このライセンスプロセスでAIエージェントの能力を評価するために、$τ$-Rec-Booksというベンチマークを紹介します。 隠された要件は、本を提案し、ユーザの受け入れや拒否からそれを推測することによってのみ見つけることができる。 我々はWikidataから2万冊の書籍カタログ上で450のタスクを生成し、エージェントに回答するためのルールベースのシミュレートされたユーザを開発し、LLM審査員なしでカタログメタデータに対してレコメンデーションをスコアする。 4つのエージェントと2つのサーチインターフェースで、すべてのエージェントとインターフェースで成功率は0.975(ボランティア)から0.2756(混合)と0.283(隠)に低下する。 混合タスクは、主にエージェントが尋ねず、尋ねると、各エージェントが少なくとも0.931に達するため失敗する。 隠れたタスクでは、ほとんどの失敗は、ユーザーが提案しなかった本を推奨するエージェントから来ています。 最初に提案するように指示されると、エージェントは人気のある本を提案する単純なベースラインにマッチし、要求を除外するために拒絶を使用するものよりはるかに低い位置に留まる。 カタログパイプライン、タスクジェネレータ、シミュレーションユーザ、バリデータ、参照エージェント、およびすべてのエージェントトレースをhttps://github.com/nbharaths/tau-rec/tree/main/data/tracks/books-wikidata-v2でリリースします。

関連論文リスト

• PersonaCUABench: Benchmarking Computer-Use Agents Serving Diverse Personas [42.17006659249659]
  我々はPersonaCUABenchを紹介し、11のドメインで74のタスクを固定する。 4つのグループで44人のペルソナのうちの1つを演奏するペルソナエージェントは、ユーザ自身の言葉で各命令を書き直し、CUAの質問に答える。 9つのバックボーン(3,330回の実行)で、タスクの完了率は元の要求に対して36%減少する。
  論文  参考訳（メタデータ） (2026-10-16T06:14:55Z)
• DoGBench: Can Agents Meet Expert Standards for User-Facing Documentation? [0.0]
  DoGBENCHは、実際のユーザ向けソフトウェアドキュメンテーションの生成とメンテナンスのための最初のベンチマークである。 これは、経験豊富なテクニカルライターがレビューで受け入れるであろうドキュメントを、エージェントが作成できるかどうかを問うものだ。 ベンチマークには、Helm、PostHog、Mauticなど、オープンソースプロジェクトの292項目が含まれている。
  論文  参考訳（メタデータ） (2026-09-30T15:04:31Z)
• Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
  クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。 反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
  論文  参考訳（メタデータ） (2026-09-02T08:10:22Z)
• An Interactive Agent for Requirement-Driven Candidate Sourcing [75.63902836826038]
  最初の要件駆動型候補ソーシングエージェントであるsysを提示する。 それは、あいまいな人々の要求を正当化されたスレートに導き、検証し、回収し、検証する。 広さ (100%$カバレッジ 2.5times$ the yield) を支配し、フィールドに直交する。
  論文  参考訳（メタデータ） (2026-08-24T17:04:16Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)
• OptAgent: Optimizing Query Rewriting for E-commerce via Multi-Agent Simulation [1.3722079106827219]
  OptAgentは、マルチエージェントシミュレーションと遺伝的アルゴリズムを組み合わせて、eコマースクエリのクエリを検証、最適化する新しいフレームワークである。 我々は、OptAgentを5つのカテゴリで1000の現実世界のeコマースクエリのデータセットで評価する。
  論文  参考訳（メタデータ） (2025-10-04T10:41:09Z)
• AgentRec: Agent Recommendation Using Sentence Embeddings Aligned to Human Feedback [33.45304935470874]
  本稿では,自然言語のプロンプトを与えられたタスクを実行するエージェントを,多種多様なエージェントに推奨する新しいアーキテクチャを提案する。 テストデータでは、各分類が300ミリ秒未満で、トップ1の精度92.2%を達成することができる。
  論文  参考訳（メタデータ） (2025-01-23T02:25:44Z)
• On Generative Agents in Recommendation [58.42840923200071]
  Agent4Recは、Large Language Modelsに基づいたレコメンデーションのユーザーシミュレータである。 各エージェントは、ページ単位でパーソナライズされた推奨モデルと対話する。
  論文  参考訳（メタデータ） (2023-10-16T06:41:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。