論文の概要: CARTBench: Rubric-Based Evaluation of Shopping Advice for Complex and Ambiguous Requests with Timelines

• arxiv url: http://arxiv.org/abs/2611.05862v1
• Date: Wed, 04 Nov 2026 02:52:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.926823
• Title: CARTBench: Rubric-Based Evaluation of Shopping Advice for Complex and Ambiguous Requests with Timelines
• Title（参考訳）: CARTBench: タイムラインによる複雑で曖昧な要求に対するショッピングアドバイスの評価
• Abstract要約: 大型言語モデル(LLM)ショッピングアシスタントは、マルチターン会話で製品を推奨している。 しかし、信頼性の高い評価は、データ不足と困難な標準化基準に直面している。 CARTのためのCARTBench(複雑で曖昧な要求とタイムライン)を紹介する。 データ不足のために、私たちは17の小売ドメインにわたる実際の商用ショッピングニーズからケースをキュレートし、タイムスタンプ付き対話と1,603の製品記録をペアリングします。 難易度基準化のために, 完成品から手作業で選択した優れた応答から抽出した, 理想的な応答原理によって導かれるケース特異的な潤滑剤を開発する。
• 参考スコア（独自算出の注目度）: 26.836647000012814
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) shopping assistants now recommend products in multi-turn conversations. However, reliable evaluation faces Data scarcity and Difficulty Standardizing Criteria. To address these obstacles, we introduce CARTBench for CART (Complex and Ambiguous Requests with Timelines). For Data scarcity, we curate cases from real commercial shopping needs across 17 retail domains, pairing timestamped dialogue with 1,603 product records. For Difficulty Standardizing Criteria, we develop case-specific rubrics guided by Ideal Response Principles, distilled from excellent replies manually selected from successfully completed orders. These principles also guide Principle-Guided CART Prompting, our structured recommendation strategy. The experimental benchmark contains 1,328 expert-annotated criteria across Core, Excellence, and Safety. To answer the CART question, we evaluate 7 flagship commercial API models, including GPT-6.1-Sol and Claude-Opus-5, and 35B+ parameters open-weight models. In the first full-suite evaluation under the frozen rubrics, 3 of 10 models exceed 90% on Core, while none exceeds 45% on Excellence. Therefore, we identify an understanding-to-execution gap between required behavior and high-quality purchase advice. To examine these limitations, we diagnose shared failures in product evidence and unresolved needs, linked to changing requirements and decisive unknowns. Code and data are available at https://github.com/Da1yuqin/CARTBench.
• Abstract（参考訳）: 大型言語モデル(LLM)ショッピングアシスタントは、マルチターン会話で製品を推奨している。 しかし、信頼性の高い評価は、データ不足と困難な標準化基準に直面している。 これらの障害に対処するために、CART(Complex and Ambiguous Requests with Timelines)用のCARTBenchを紹介する。 データ不足のために、私たちは17の小売ドメインにわたる実際の商用ショッピングニーズからケースをキュレートし、タイムスタンプ付き対話と1,603の製品記録をペアリングします。 難易度基準化のために, 完成品から手作業で選択した優れた応答から抽出した, 理想的な応答原理によって導かれるケース特異的な潤滑剤を開発する。 これらの原則は、私たちの構造化レコメンデーション戦略である原則ガイドCART Promptingもガイドします。 試験的なベンチマークには、Core、Excellence、Safetyにまたがる1,328のエキスパートアノテート基準が含まれている。 CARTの質問に答えるために、GPT-6.1-SolとClaude-Opus-5を含む7つのフラッグシップ商用APIモデルと35B+パラメータのオープンウェイトモデルを評価した。 冷凍潤滑剤による最初のフルスーツ評価では、10モデル中3モデルがCoreで90%以上、Excellenceで45%以上である。 そこで我々は,要求行動と高品質な購入アドバイスの理解と実行のギャップを同定する。 これらの限界を調べるために、製品証拠と未解決ニーズの共有障害を診断し、要求の変化と決定的未知とを関連づける。 コードとデータはhttps://github.com/Da1yuqin/CARTBench.comで公開されている。

関連論文リスト

• ATLAS-Bench: An Agentic Tool-Use Benchmark for Local Area Search [11.683436248379472]
  ATLAS-Benchは3つのリージョンにわたる1200のクエリのベンチマークである。 各クエリは、必須要件を優先事項と事実条件と主観的判断とを区別する。 また,検索ツールと定点知識ベースを備えた標準化された評価環境であるATLASBoxについても紹介する。
  論文  参考訳（メタデータ） (2026-10-29T06:14:52Z)
• Harbor Adapters and Harbor-Index: Infrastructure and a Curated Meta-Dataset for Large-Scale Agentic Evaluation [141.29138788636013]
  任意のエージェントを評価するために80以上のベンチマークを移植するベンチマークアダプタを開発した。 54のベンチマークで,機能レベルにまたがる8モデルの大規模評価を行う。 私たちは29のベンチマークにまたがる82の難易度、多様性、高品質なタスクをキュレートしたHarbor-Indexを紹介します。
  論文  参考訳（メタデータ） (2026-09-03T16:26:20Z)
• InvestPhilBench: A Multi-Layer Dynamic Benchmark for Evaluating Large Language Model Procedural Reasoning in Expert Investment Philosophy [0.9924185669370708]
  InvestPhilBenchは8つの認知層にまたがる動的ベンチマークである。 v0.6リリースには118のプライマリソース認証投資原則カードが含まれている。 大規模な再現可能なスコア付けには、Benchmark Automated Scoring Pipelineを紹介します。
  論文  参考訳（メタデータ） (2026-06-24T15:53:20Z)
• Shopping Reasoning Bench: An Expert-Authored Benchmark for Multi-Turn Conversational Shopping Assistants [24.455456910655254]
  既存のベンチマークでは、実際のショッピング会話が要求するオープンエンドのマルチターン推論、ドメインの専門知識、基準レベルの品質を共同評価していない。 Shopping Reasoning Benchは、525のミッション(232のシングルターン、293のマルチターン)のエキスパートによるベンチマークで、小売ドメインの専門家が作成した10863の重み付きバイナリルーブリックを紹介します。
  論文  参考訳（メタデータ） (2026-06-10T19:04:09Z)
• Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
  既存のベンチマークは、主に質問レベルで質問をキュレートする。 ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
  論文  参考訳（メタデータ） (2025-12-31T13:55:54Z)
• CIFE: Code Instruction-Following Evaluation [3.941243815951084]
  我々は1,000のPythonタスクのベンチマークを導入し、それぞれが13のカテゴリにまたがる平均7つの開発者指定制約とペアリングした。 補完的付着度を用いて14個のオープンソース・クローズド・ソース・モデルを評価し,C2Aスコア(C2A Score)を提案する。 その結果、部分的満足度と厳密な満足度の間には実質的なギャップがみられ、強いモデルは90%以上の部分的密着性を達成する一方、厳密な密着性は39-66%に留まった。
  論文  参考訳（メタデータ） (2025-12-19T09:43:20Z)
• Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
  我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。 本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。 我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
  論文  参考訳（メタデータ） (2023-05-01T02:37:59Z)
• Recommending Related Products Using Graph Neural Networks in Directed Graphs [0.0]
  関連する製品レコメンデーション(RPR)は、あらゆるEコマースサービスの成功に欠かせない。 関連製品レコメンデーションのための新しいグラフニューラルネットワーク(GNN)フレームワークであるDAEMONを提案する。 DAEMONはノードレコメンデーションタスクのHitRateとMRRで、最先端のベースラインを30-160%上回ります。
  論文  参考訳（メタデータ） (2022-11-18T06:05:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。