論文の概要: PACEShop: Evaluating Personalized, Actionable, Compositional, and Evidence-grounded Shopping Assistants
- arxiv url: http://arxiv.org/abs/2608.26180v1
- Date: Thu, 20 Aug 2026 01:21:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.104002
- Title: PACEShop: Evaluating Personalized, Actionable, Compositional, and Evidence-grounded Shopping Assistants
- Title（参考訳）: PACEShop:パーソナライズ、アクション、コンポジション、エビデンスによるショッピングアシスタントの評価
- Abstract要約: ショッピングアシスタントは、ランク付けされた製品リストから構造化された意思決定サポートへとシフトしており、そこではシステムは買い物客のコンテキスト、製品証拠、そして次のステップのガイダンスを一貫性のあるレコメンデーションエクスペリエンスへと合成する必要がある。
既存のパーソナライズ、グラウンド化、LCM-as-a-judgeベンチマークはこの問題の一部をカバーしているが、構造化されたショッピングアシスト応答に対する共同評価ターゲットを定義していない。
PACE: Personalized, Actionable, compositional, Evidence-grounded Evaluation。
PACEを2つのアーティファクトでインスタンス化します。PACEShopは、ターゲットを、構造化されたペルソナ、監査を備えた22,625のコントロールレコードを通じて測定可能にするベンチマークデータセットです。
- 参考スコア（独自算出の注目度）: 36.11628216058589
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Shopping assistants are shifting from ranked product lists toward structured decision support, where systems must synthesize shopper context, product evidence, and next-step guidance into a coherent recommendation experience. This changes the unit of evaluation: a fluent response can still fail by ignoring shopper context, contradicting itself across components, or leaving defects too vague to localize. Existing personalization, grounding, and LLM-as-a-judge benchmarks cover pieces of this problem, but they do not define a joint evaluation target for structured shopping-assistant responses. We formulate this missing evaluation target as PACE: Personalized, Actionable, Compositional, and Evidence-grounded evaluation. We instantiate PACE with two artifacts: PACEShop, a benchmark dataset that makes the target measurable through 22,625 controlled records with structured personas, auditable evidence pools, GOOD/BAD labels, and gold defect family and location annotations; and PACEJudge, a training-free judging protocol that makes the target reportable through a structured output contract. Our experiments show that generic judges can recognize broad quality but fail to recover the diagnostic fields required for PACE; PACEShop makes these failures verifiable, and PACEJudge improves persona-source, cross-component, grounding, and family/location closure without retraining, showing that realistic shopping-assistant evaluation requires a task-matched output contract rather than only a stronger backbone or scalar prompt.
- Abstract（参考訳）: ショッピングアシスタントは、ランク付けされた製品リストから構造化された意思決定サポートへとシフトしており、そこではシステムは買い物客のコンテキスト、製品証拠、そして次のステップのガイダンスを一貫性のあるレコメンデーションエクスペリエンスへと合成する必要がある。
流動的な応答は、買い物客のコンテキストを無視したり、コンポーネント間で矛盾したり、欠陥があまりに曖昧でローカライズできないことで失敗する可能性がある。
既存のパーソナライズ、グラウンド化、LCM-as-a-judgeベンチマークはこの問題の一部をカバーしているが、構造化されたショッピングアシスト応答に対する共同評価ターゲットを定義していない。
PACE: Personalized, Actionable, compositional, Evidence-grounded Evaluation。
PACEShopは、構造化されたペルソナ、監査可能なエビデンスプール、GOOD/BADラベル、金欠陥ファミリーと位置アノテーションによるターゲットを計測可能なベンチマークデータセットで、構造化された出力契約を通じてターゲットを報告可能なトレーニングフリー判定プロトコルであるPACEJudgeと、2つのアーティファクトでPACEをインスタンス化する。
PACEShopはこれらの障害を検証し,PACEShopはトレーニングをせずにペルソナ,クロスコンポーネント,グラウンド,ファミリー/ロケーションのクロージャを改善し,リアルなショッピング支援評価には,より強力なバックボーンやスカラープロンプトよりもタスクマッチングされた出力契約が必要であることを示した。
関連論文リスト
- Evaluating Open-Weight E-Commerce Agents with Environment-Grounded Verification [5.646213674986304]
ショッピング会話は、同じカートへの多くのルートを持ち、タスク・サクセス・レートは、それら全てを1つのスコアに還元する。
決定論的かつ再現可能なeコマース環境を構築し、各トライアルの顧客と軌道パラメータをプリコミットする。
20Bから35Bパラメータのオープンウェイトエージェントが8つあり、1エージェントあたり160のトライアルと44のメトリクスがあり、結果として得られる能力プロファイルは、アンダーアクション、過剰購入、サポート対象の製品属性、貧弱な検索を区別する。
論文 参考訳（メタデータ） (2026-09-14T13:35:32Z) - ActReview: Rebuttal-Guided Training Data and Rubric Rewards for Actionable Peer Review Generation [54.82704239643649]
本稿では, 紙固有の診断と具体的, 基礎的なリビジョン計画とを結びつける, 反感に満ちたポストトレーニングフレームワークである ActReview を紹介する。
我々の中心的な洞察は、著者の反論は、レビュアーの懸念に対処するための妥当な行動を明らかにし、それゆえ、リビジョン指向のフィードバックに対する潜在的な監督を提供することができるということである。
またActReview-Benchは、診断品質とリビジョンの有用性を評価するために、1,000インスタンスの人為的なベンチマークである。
論文 参考訳（メタデータ） (2026-09-08T17:30:16Z) - SESSE: Sketch, Expand, Sort, Summarize, Evaluate -- LLM-as-Judge Evaluation via Structured Decomposition [0.30586855806896046]
本研究では,SESSE(Sketch, Expand, Sort, Summarize, Evaluate)を提案する。
RewardBench (n=1,000)では、SESSEはチェーンオブソートベースラインとほぼ一致しており、微調整のスペシャリストであるRISE-Judge-32B (92.7%)と競合している。
論文 参考訳（メタデータ） (2026-08-18T20:27:56Z) - Context Is Not Authority: Structured Runtime Governance for Financial Market Agents [13.810351865063632]
SAGE-Finは金融特有の権限取扱契約である。
提案を型付きアダプタバウンド候補にコンパイルする。
それは、名目上の型が消費する応答、実行、またはポリシーアダプタと一致する正確なアーティファクトレシートを必要とする。
論文 参考訳（メタデータ） (2026-08-10T02:26:07Z) - UXBench: Measuring the Actionability of LLM-Generated UX Critiques [58.14408744110387]
対話型UX判断器として大規模言語モデル(LLM)を評価するベンチマークであるUXBenchを紹介する。
UXBenchは10の製品表面のファミリーにまたがる、ローカルファーストで実行可能なウェブフィクスチャで構成されており、カバーゲートのルーリック探索と組み合わせている。
8つのフロンティアモデルについて,自動修理作業プロトコルと視覚障害者による検証実験の両方で評価した。
論文 参考訳（メタデータ） (2026-06-15T06:08:39Z) - Unsupervised Skill Discovery for Agentic Data Analysis [55.42853694128929]
DataCOPEは、データ分析エージェントのための教師なし検証対象のスキル発見フレームワークである。
トラジェクトリ生成のためのデータ分析エージェント、信号抽出のための教師なし検証器、および対照的なスキル蒸留のためのスキルマネージャを反復的にコーディネートする。
我々は,Deep Data Researchのレポートスタイル分析とDABStepの推論スタイル解析についてDataCOPEを評価した。
論文 参考訳（メタデータ） (2026-06-04T17:20:47Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - Conversation for Non-verifiable Learning: Self-Evolving LLMs through Meta-Evaluation [56.84819098277464]
CoNLは、マルチエージェントのセルフプレイを通じて生成、評価、メタ評価を統合するフレームワークである。
CoNLは、安定したトレーニングを維持しながら、自己回帰ベースラインよりも一貫した改善を実現している。
論文 参考訳（メタデータ） (2026-01-29T09:41:14Z) - ORCHID: Orchestrated Retrieval-Augmented Classification with Human-in-the-Loop Intelligent Decision-Making for High-Risk Property [6.643427585499247]
ORCHIDは、HRP分類のためのモジュール型エージェントシステムである。
検索強化世代(RAG)を人間の監視と組み合わせて、監査可能なポリシベースのアウトプットを生成する。
デモでは、単一項目の提出、接地された引用、中小企業のフィードバックキャプチャ、エクスポート可能な監査アーティファクトなどが紹介されている。
論文 参考訳（メタデータ） (2025-11-07T03:48:05Z) - FOR-Prompting: From Objection to Revision via an Asymmetric Prompting Protocol [7.765950922513099]
推論プロトコルは内部の審議を組織するが、自己修正を誘発する外部質問の明確なメカニズムは欠如している。
For-Promptingは、デフェンダーが回答を提案し、Objectionerが直接修正せずに質問スタイルの異議を提起し、Hostが一貫性とクロージャを強制する非対称なプロトコルである。
GSM8Kでは、単一プロンプトよりも約22%のポイントゲインとCoTと同等の精度を示し、一様GPT 4.1判事の推論とコヒーレンスにおいて10%以上の高い評価を得た。
論文 参考訳（メタデータ） (2025-10-02T04:57:58Z) - Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。
我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。
位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
論文 参考訳（メタデータ） (2024-07-01T09:06:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。