Fugu-MT 論文翻訳(概要): $τ$-Rec: A Verifiable Benchmark for Agentic Recommender Systems

論文の概要: $τ$-Rec: A Verifiable Benchmark for Agentic Recommender Systems

arxiv url: http://arxiv.org/abs/2606.10156v1
Date: Mon, 08 Jun 2026 20:35:45 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-10 15:40:58.185729
Title: $τ$-Rec: A Verifiable Benchmark for Agentic Recommender Systems
Title（参考訳）: $τ$-Rec:エージェントレコメンダシステムの検証可能なベンチマーク
Authors: Bharath Sivaram Narasimhan, Karthik R Narasimhan,
Abstract要約: $$-Recはエージェントレコメンデーションシステムのベンチマークである。主観評価を、検証可能な報酬と明らかにタグ付けされた引き起こしメカニズムに置き換える。 $$-Recは一貫性のある推論のための体系的なテストを提供する。
参考スコア（独自算出の注目度）: 6.146935144379057
License: http://creativecommons.org/licenses/by/4.0/
Abstract: As recommender systems transition toward agentic, multi-turn conversational interfaces, evaluation paradigms have struggled to keep pace. Current benchmarks often rely on "LLM-as-a-judge" evaluations, which introduce subjectivity, high costs and inconsistency. We present $τ$-Rec, a benchmark for agentic recommender systems that replaces subjective evaluation with verifiable rewards and a reveal-tagged elicitation (RTE) mechanism that controls how task constraints surface during dialogue. By testing agents against structured catalog predicates and employing a pass^k reliability metric, $τ$-Rec provides a systematic test for consistent reasoning. Our evaluation of nine configurations across five model families -- GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Flash, DeepSeek V4 Flash, Qwen3-32B and GPT-5 mini -- reveals a steep reliability cliff, where even the best model achieves only ~57% at pass^1 and ~38% at pass^4, highlighting a critical gap in current conversational agent deployment. All code and data are publicly available at https://github.com/nbharaths/tau-rec.
Abstract（参考訳）: 推薦システムがエージェント的でマルチターンの対話インタフェースへと移行するにつれ、評価パラダイムはペースを維持するのに苦労してきた。現在のベンチマークでは、主観性、高いコスト、一貫性を取り入れた"LLM-as-a-judge"の評価に頼っていることが多い。本稿では、主観評価を検証可能な報酬に置き換えるエージェントレコメンデータシステムのベンチマークであるτ$-Recと、対話中にタスクの制約がどのように表されるかを制御するRTE(Explain-Tagged elicitation)機構を提案する。構造化カタログの述語に対してエージェントをテストし、pass^kの信頼性基準を用いることで、$τ$-Recは一貫性のある推論のための体系的なテストを提供する。 GPT-5.4、Claude Sonnet 4.6、Gemini 2.5 Flash、DeepSeek V4 Flash、Qwen3-32B、GPT-5 miniという5つのモデルファミリにわたる9つの構成の評価では、最高のモデルでさえパス^1でわずか57%、パス^4で約38%しか達成できず、現在の会話エージェントデプロイメントにおける重大なギャップが明らかになっている。すべてのコードとデータはhttps://github.com/nbharaths/tau-rec.comで公開されている。

関連論文リスト

FineVerify: Scaling Test-Time Compute with Fine-Grained Self-Verification for Agentic Search [88.16262636915975]
FineVerifyはエージェント検索のためのきめ細かい自己検証フレームワークである。各質問をチェック可能なサブクエストに分解し、サンプル候補を検証し、最も高い集計スコアの候補を選択する。 FineVerifyは、標準のスケーリングベースラインを一貫して上回る。
論文参考訳（メタデータ） (2026-05-30T10:21:20Z)
MTR-Suite: A Framework for Evaluating and Synthesizing Conversational Retrieval Benchmarks [68.78064578688809]
MTR-Suiteは、監査、合成、ベンチマーク検索のための統合されたフレームワークである。 1)従来のベンチマークでアライメントギャップを定量化するためのLCMベースの監査装置であるMTR-Eval,(2)グリーディクラスタリングを用いたマルチエージェントシステムであるMTR-Pipeline,(3)厳格な一般ベンチマークであるMTR-Benchなどが特徴である。
論文参考訳（メタデータ） (2026-05-20T05:26:35Z)
MSAVBench: Towards Comprehensive and Reliable Evaluation of Multi-Shot Audio-Video Generation [88.7702943548674]
マルチショットオーディオビデオ生成のための,初の総合的なベンチマークと適応型ハイブリッド評価フレームワークであるMSAVBenchを紹介する。私たちのベンチマークでは、ビデオ、オーディオ、ショット、参照の4つの重要な領域にまたがっており、多様なタスク設定、最大15のショット数、非現実的なシナリオに挑戦しています。 MSAVBenchは人間の判断と高度に一致し、スピアマンのランク相関は91.5%に達する。
論文参考訳（メタデータ） (2026-05-19T17:59:33Z)
DrawingBench: Evaluating Spatial Reasoning and UI Interaction Capabilities of Large Language Models through Mouse-Based Drawing Tasks [10.977990951788422]
DrawingBenchはエージェントLLMの信頼性を評価するための検証フレームワークである。我々のフレームワークは、20のカテゴリに250の多様なプロンプトと4つの難易度から構成されている。我々は1000回の試験で4つの最先端LCMを評価した。
論文参考訳（メタデータ） (2025-12-01T01:18:21Z)
Evaluating Prompting Strategies and Large Language Models in Systematic Literature Review Screening: Relevance and Task-Stage Classification [1.2234742322758418]
本研究では,大規模言語モデル (LLM) と戦略がどう相互作用するかを定量化し,体系的な文献レビューのスクリーニング段階を自動化する。 GPT-4o, GPT-4o-mini, DeepSeek-Chat-V3, Gemini-2.5-Flash, Claude-3.5-Haiku, Llama-4-Maverickの6種類のLCMを5種類のプロンプト型で評価した。 CoT-Few-shotは、最も信頼性の高い精度とリコールのバランス、ゼロショットは高感度パスのリコールを最大化し、自己反射はモデル全体の過度な傾きと不安定さによって不利益となる。
論文参考訳（メタデータ） (2025-10-17T16:53:09Z)
GroUSE: A Benchmark to Evaluate Evaluators in Grounded Question Answering [0.0]
Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) をプライベートおよび最新の知識ベースと共に使用する共通のパラダイムとして登場した。本稿では,RAG システムによって生成される接地回答を評価する際に LLM-as-a-Judge を用いる際の課題に対処する。
論文参考訳（メタデータ） (2024-09-10T15:39:32Z)
DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models [92.6951708781736]
本稿では,GPT-4とGPT-3.5に着目した大規模言語モデルの総合的信頼性評価を提案する。 GPTモデルは、有害で偏りのある出力を生成し、個人情報を漏らすために、容易に誤解され得る。我々の研究は、GPTモデルの総合的な信頼性評価を示し、信頼性のギャップに光を当てている。
論文参考訳（メタデータ） (2023-06-20T17:24:23Z)
Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
論文参考訳（メタデータ） (2023-05-01T02:37:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。