論文の概要: From Retrieval to Customer Context: Evaluating Frontier-Model Systems for Voice-of-Customer Analysis
- arxiv url: http://arxiv.org/abs/2610.09375v1
- Date: Wed, 07 Oct 2026 03:30:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.696893
- Title: From Retrieval to Customer Context: Evaluating Frontier-Model Systems for Voice-of-Customer Analysis
- Title（参考訳）: 検索から顧客コンテキストへ:Voice-of-Customer分析のためのフロンティアモデルシステムの評価
- Abstract要約: 顧客コンテキストグラフ支援エージェントは、総合で0.961点、ディープリサーチエージェントは0.710点、エージェントRAGは0.651点、ディープリサーチエージェントは30対の質問のうち27点でリードしている。
最大の利点は分析的な深さ(0.967対0.642)であり、量子化されたテーマと追跡可能な証拠を含むより具体的で階層的に発達した発見を反映している。
- 参考スコア（独自算出の注目度）: 0.4806505912512235
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Organizations increasingly use frontier language models to analyze customer feedback, but answer quality also depends on how that feedback is organized and made available. We define a \emph{customer context graph} as a unified model of customer and business context. Typed relationships connect customer objects (feedback, conversations, users, and accounts), operational objects (tickets, support agents, opportunities, and competitors), and analytical or action objects (taxonomy concepts, evidence, insights, work items, and outcomes). This lets an agent investigate not only what customers say, but why, who is affected, what action followed, who owns it, and whether it was resolved. For this experiment, the graph is populated from public Cursor feedback; the same architecture can support any type of feedback source. We compare Agentic RAG, a Deep Research Agent, and a Customer Context Graph-backed Agent on the same 9,432 public Cursor feedback records using 30 realistic product, incident, comparison, and metadata questions. Without exhaustive ground truth, we jointly score responses on answer quality (coverage and organization), analytical depth (specificity and decomposition), and evidence quality (citation support and traceability), using a comparative rubric calibrated on 28 of the 30 questions. We sample cited records against their claims and weight the three dimensions equally. Under this aligned rubric, the Customer Context Graph-backed Agent scores 0.961 overall, versus 0.710 for the Deep Research Agent and 0.651 for Agentic RAG, and leads the Deep Research Agent on 27 of 30 paired questions (sign-test p < 10^(-5); strictly best on 26 of 30). Its largest advantage is analytical depth (0.967 versus 0.642), reflecting more specific, hierarchically developed findings with quantified themes and traceable evidence...
- Abstract（参考訳）: 企業では、顧客のフィードバックを分析するために、フロンティア言語モデルの利用が増えているが、回答の品質は、そのフィードバックの組織化と利用方法にも依存する。
顧客コンテキストとビジネスコンテキストの統一モデルとして、emph{customer context graph}を定義します。
タイプされた関係は、顧客オブジェクト(フィードバック、会話、ユーザ、アカウント)、運用オブジェクト(チケット、サポートエージェント、機会、競合)、分析オブジェクトまたはアクションオブジェクト(分類学の概念、エビデンス、洞察、作業項目、成果)を結びつける。
これにより、エージェントは顧客の発言だけでなく、誰が影響を受けるのか、どんなアクションが続いたのか、誰がそれを所有しているのか、解決されたかどうかを調査できる。
この実験では、グラフは公開カーソルフィードバックから集約され、同じアーキテクチャはあらゆる種類のフィードバックソースをサポートすることができる。
我々は、30のリアルな製品、インシデント、比較、メタデータの質問を用いて、Deep Research AgentであるAgensic RAGと、同じ9,432の公開カーソルフィードバックレコード上のCustomer Context Graph-backed Agentを比較した。
回答の質(包括的・組織的)、分析深度(特異性・分解性)、エビデンス品質(引用支援とトレーサビリティ)を30問中28問に比較して評価した。
われわれは、彼らの主張に反する記録を引用し、3次元を等しく重み付けした。
この整列されたルーリックの下で、顧客コンテキストグラフ支援エージェントは、全体的な0.961点、Deep Research Agentは0.710点、Agenic RAGは0.651点、Deep Research Agentは30対の質問のうち27点(sign-test p < 10^(-5; 厳密には30の26点)でリードする。
最大の利点は分析的な深さ(0.967対0.642)であり、量子化されたテーマと追跡可能な証拠を含むより具体的で階層的に発達した発見を反映している。
関連論文リスト
- SearchAtlas: Analyzing Agentic Search Strategies via Evidential Query Graphs [30.494397052362384]
本稿では,検索トラジェクトリを構造化グラフに変換するフレームワークであるSearchAtlasを紹介する。
我々の自動解析パイプラインは、人間の注釈付きグラフに対して86.4%の平均エッジF1を達成する。
我々は3つのベンチマークで5つの検索エージェントを分析し、検索尺度とエビデンスアグリゲーションの体系的な違いを明らかにした。
論文 参考訳（メタデータ） (2026-09-09T23:09:26Z) - Evaluating Enterprise Analytics Agents: An End-to-End, Trace-Backed Methodology [10.411056951115214]
分析エージェントのエンドツーエンド評価手法を提案する。
Gradingでは、人間によるゴールデンな回答、繰り返し実行、実行時のトレースを備えた質問バンクを使用している。
大規模なオンラインマーケットプレースにおいて、制御された内部分析エージェント上で方法論をインスタンス化する。
論文 参考訳（メタデータ） (2026-08-28T20:57:45Z) - VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。
100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。
強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
論文 参考訳（メタデータ） (2026-08-18T15:23:06Z) - Personalized Deep Research Query Refinement with Graph-Scaffolded Evidence Grounding [9.25068659105141]
G-STEERは、様々な因子依存性とエビデンス条件にまたがるグラフスキャフォールド軌道から、明確化ポリシーを学習する。
実験の結果、G-STEERは、両DRAにおいて、最強の全体重み付き対象カバレッジと、最上位の下流レポートパーソナライズを実現していることがわかった。
論文 参考訳（メタデータ） (2026-08-06T10:58:17Z) - Understanding Dominant Themes in Reviewing Agentic AI-authored Code [6.183483850365225]
実世界のGitHubリポジトリから,3,177件のエージェントによるPRにまたがる19,450件のインラインレビューコメントを分析した。
AIエージェントはコード生成を加速できるが、対象とする人間レビューの監視を必要とするギャップは依然として残っている。
論文 参考訳（メタデータ） (2026-01-27T07:21:09Z) - RPC-Bench: A Fine-grained Benchmark for Research Paper Comprehension [65.81339691942757]
RPC-Bench(RPC-Bench)は、高品質なコンピュータサイエンス論文のレビュー・リビューの交換から構築された大規模質問応答ベンチマークである。
我々は、科学研究の流れに沿ったきめ細かい分類を設計し、モデルがなぜ、何、どのように学術的な文脈で質問するかを理解し、答える能力を評価する。
論文 参考訳（メタデータ） (2026-01-14T11:37:00Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。
我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
論文 参考訳（メタデータ） (2024-05-31T20:15:10Z) - What if you said that differently?: How Explanation Formats Affect Human Feedback Efficacy and User Perception [53.4840989321394]
我々は,QAモデルが生成した有理性の効果を分析し,その答えを支持する。
ユーザに対して,様々な形式で誤った回答とそれに対応する有理性を提示する。
このフィードバックの有効性を,文脈内学習を通じて評価する。
論文 参考訳（メタデータ） (2023-11-16T04:26:32Z) - Deep Analysis of Visual Product Reviews [3.120478415450056]
これまで研究者らは、言語フィードバックの分析に取り組んできたが、ここでは、欠落しているかもしれない言語レビューの助けは受けていない。
本稿では,製品分類において上位モデルが関与する階層的アーキテクチャを提案し,顧客が提供する製品画像からレビュースコアを予測するために下位モデルが注目する。
提案された階層アーキテクチャは、シングルレベルの最高のアーキテクチャよりも57.48%の性能向上を達成した。
論文 参考訳（メタデータ） (2022-07-19T18:10:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。