論文の概要: ShopEase: A Generative AI-Based Multi-Agent Framework for Intelligent Enterprise Customer Support Using Hybrid Retrieval-Augmented Generation
- arxiv url: http://arxiv.org/abs/2609.13856v1
- Date: Sat, 12 Sep 2026 10:18:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.585879
- Title: ShopEase: A Generative AI-Based Multi-Agent Framework for Intelligent Enterprise Customer Support Using Hybrid Retrieval-Augmented Generation
- Title（参考訳）: ShopEase: ハイブリッド検索拡張生成を使用したインテリジェントエンタープライズ顧客サポートのための、AIベースの汎用マルチエージェントフレームワーク
- Abstract要約: ShopEaseは、エンタープライズカスタマーサポートのためのジェネレーティブAIベースのマルチエージェントフレームワークである。
検索モジュールはFAISS(dense search)とBM25(sparse search)を組み合わせる
システムは、返金、返却、出荷、キャンセル、被害製品、不明の6つのカテゴリで、2632件の顧客クエリで評価された。
- 参考スコア（独自算出の注目度）: 1.38120109831448
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Enterprise customer support systems must answer customer questions correctly, retrieve the right policy information, use customer context, and pass difficult cases to human agents when needed. This paper presents ShopEase, a Generative AI-based multi-agent framework for enterprise customer support. The system combines six components: Intent, CRM, Memory, Hybrid RAG, Escalation, and Supervisor, and uses LLaMA 3.2 running locally through Ollama for response generation. The retrieval module combines FAISS (dense retrieval) and BM25 (sparse retrieval), and six configurations are evaluated: BM25-only, FAISS-only, Fair RRF, Weighted RRF, RRF with Cross-Encoder, and Top-10 Hybrid with Cross-Encoder. Instead of using a fixed mapping between intent and policy, the policy category is decided directly from the retrieved documents. The system was evaluated on 2632 held-out customer queries across six categories: Refund, Return, Shipping, Cancellation, Damaged Product, and Unknown. FAISS-only achieved the highest accuracy of 85.37\% (2247 correct predictions), closely followed by Weighted RRF at 85.07\%. BM25-only achieved only 55.74\% accuracy. Adding cross-encoder reranking did not improve results: RRF with Cross-Encoder reached 83.24\%, and Top-10 Hybrid with Cross-Encoder reached 81.88\%, while also increasing response latency. Category-level analysis shows strong performance on Shipping, Cancellation, and Return, while Unknown queries remain the main source of errors. Statistical testing using McNemar's test shows no significant difference between FAISS-only and Weighted RRF, though both perform significantly better than Fair RRF and the cross-encoder configurations. Overall, dense retrieval gives the best accuracy on this dataset, and additional reranking adds processing time without improving classification performance.
- Abstract（参考訳）: 企業顧客サポートシステムは、顧客の質問に正しく答え、適切なポリシー情報を検索し、顧客コンテキストを使用し、必要な時に困難なケースを人事担当者に渡す必要がある。
本稿では,企業顧客支援のためのジェネレーティブAIベースのマルチエージェントフレームワークであるShopEaseについて述べる。
システムはIntent、CRM、Memory、Hybrid RAG、Escalation、Supervisorの6つのコンポーネントを組み合わせており、応答生成にはOllama経由でローカルに走るLLaMA 3.2を使用している。
検索モジュールは、 FAISS (dense search) と BM25 (sparse search) を組み合わせたもので、BM25 のみ、FAISS のみ、Fair RRF、Weighted RRF、RF with Cross-Encoder、Top-10 Hybrid with Cross-Encoder の6つの構成が評価されている。
意図と方針の固定されたマッピングを使用する代わりに、ポリシーカテゴリは、取得したドキュメントから直接決定される。
このシステムは、返却、返却、出荷、キャンセル、被害製品、不明の6つのカテゴリにわたる2632の顧客クエリで評価された。
FAISSのみの精度は85.37\%(2247の正しい予測)で、さらに85.07\%の重み付きRFが続いた。
BM25は55.74 %の精度しか達成しなかった。
クロスエンコーダによるRFは83.24\%に達し、クロスエンコーダによるTop-10 Hybridは81.88\%に達し、応答遅延も増加した。
カテゴリレベルの分析では、Shipping、Cancellation、Returnのパフォーマンスが強いが、Unknownクエリはエラーの主な原因である。
McNemarのテストによる統計的テストでは、FAISSのみとWeighted RRFの間に有意な差は見られなかったが、どちらもFair RRFとクロスエンコーダの構成よりもかなり優れている。
全体として、高密度検索は、このデータセット上で最高の精度を与え、追加で処理時間を追加し、分類性能を向上しない。
関連論文リスト
- Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳（メタデータ） (2026-09-02T08:10:22Z) - A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination [51.06539604709775]
本稿では、制御ユニットを表現編集からロール条件のエビデンスビューへシフトさせる自己進化型エージェントフレームワークであるA-SRを提案する。
A-SRは、コーディネートプロトコル、オンライン評価器・リワードロールポリシー、および状態制御プロセスメモリ間のルーティングによる公式発見をコーディネートする。
論文 参考訳（メタデータ） (2026-08-05T14:01:10Z) - A corrective agentic hybrid RAG and an operations-grounded evaluation for a scientific facility [0.0]
APS-RAG(Advanced Photon Source Retrieval Augmented Generation)を提案する。
検索エンジンは、密度、スパース、知識グラフチャネルをクエリ型適応逆数融合で融合する。
APS-Benchは50問の質問応答(QA)データセットで、監査可能な金の回答を提供する。
論文 参考訳（メタデータ） (2026-07-27T17:01:30Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳（メタデータ） (2026-05-17T07:08:14Z) - APEX-EM: Non-Parametric Online Learning for Autonomous Agents via Structured Procedural-Episodic Experience Replay [7.370176470430802]
LLMベースの自律エージェントは、永続的な手続き記憶を欠いている。
我々は,構造化手続き計画の蓄積,検索,再利用を行う非パラメトリックオンライン学習フレームワークであるAPEX-EMを提案する。
論文 参考訳（メタデータ） (2026-03-31T00:24:56Z) - Completing Missing Annotation: Multi-Agent Debate for Accurate and Scalable Relevant Assessment for IR Benchmarks [31.017987800426894]
DREAMはLLMエージェントを用いた多段階の議論に基づく関連性評価フレームワークである。
95.2%の精度で、人間の3.5%しか関与していない。
BRIDGEは評価バイアスを緩和し、より公平なレトリバー比較を可能にする改良されたベンチマークである。
論文 参考訳（メタデータ） (2026-02-06T09:27:03Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - RRM: Robust Reward Model Training Mitigates Reward Hacking [51.12341734942797]
リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。
これらのアーティファクトとは無関係に好みを学習する因果的枠組みを導入する。
実験の結果,提案手法は望ましくないアーティファクトをフィルタし,より堅牢な報酬モデルを実現することができた。
論文 参考訳（メタデータ） (2024-09-20T01:46:07Z) - CRAG -- Comprehensive RAG Benchmark [58.15980697921195]
Retrieval-Augmented Generation (RAG) は、Large Language Model (LLM) の知識不足を緩和するための有望なソリューションとして最近登場した。
既存のRAGデータセットは、現実世界の質問回答(QA)タスクの多様性と動的な性質を適切に表現していない。
このギャップを埋めるために、包括的RAGベンチマーク(CRAG)を導入する。
CRAGは、Webと知識グラフ(KG)検索をシミュレートする4,409組の質問応答ペアとモックAPIの実際の質問応答ベンチマークである。
論文 参考訳（メタデータ） (2024-06-07T08:43:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。