論文の概要: Evidence-in-the-Loop: Trace-Driven Optimization for Customer-Service LLM Agents

• arxiv url: http://arxiv.org/abs/2607.18039v1
• Date: Mon, 20 Jul 2026 15:07:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.670542
• Title: Evidence-in-the-Loop: Trace-Driven Optimization for Customer-Service LLM Agents
• Title（参考訳）: Evidence-in-the-Loop: Customer-Service LLM Agentsのためのトレース駆動最適化
• Abstract要約: BM25リコール、イシュー-タイトル-ベクターリコール、イシュー-記述-ベクターリコール、重み付けされたRF核融合、クロスエンコーダリオークティングは、LLMの制御された決定の根拠となる証拠である。 ポリシー誘導オーケストレーションは、このRAGエビデンスとシナリオ固有のルールエビデンス、会話メモリ、固定されたLangGraph DAGcitelanggraph2024内の状態を忘れることとを組み合わせます。 再利用可能な配置パターンとして, textbfhybrid RAG evidence construction, textbfevidence-grounded issue/action decision, textbftrace-driven RAG がある。
• 参考スコア（独自算出の注目度）: 6.9430026014199635
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Production customer-service bots must improve answer quality across iterative releases, yet large language models must not bypass evidence boundaries, policy rules, or human-handoff safeguards. We present an \textbf{Evidence-Grounded Customer-Service Agent Workflow} deployed in a real-world customer-service setting. BM25 recall, issue-title-vector recall, issue-description-vector recall, weighted RRF fusion, and cross-encoder reranking construct grounded FAQ evidence for controlled LLM decisions. Policy-guided orchestration then combines this RAG evidence with scenario-specific rule evidence, conversation memory, and clarification state inside a fixed LangGraph DAG~\cite{langgraph2024}. The paper contributes three reusable deployment patterns: \textbf{hybrid RAG evidence construction}, where multi-channel retrieval and reranking produce auditable FAQ candidates; \textbf{evidence-grounded issue/action decision}, where an Evidence-Grounded Decision Module selects an issue/action from typed FAQ evidence and scenario-specific rule evidence; and \textbf{trace-driven RAG and reranker improvement}, where traces diagnose whether failures come from recall, ranking, final candidate selection, clarification, rule-derived evidence, or action policy, and where reranker fine-tuning is evaluated not only for in-domain gain but also for forgetting risk.
• Abstract（参考訳）: 生産されたカスタマーサービスボットは反復的なリリースを通じて回答の品質を改善する必要があるが、大規模な言語モデルは証拠境界やポリシールール、ヒューマンハンドオフの保護をバイパスしてはならない。 現実世界のカスタマーサービス設定にデプロイされたtextbf{Evidence-Grounded Customer-Service Agent Workflow}を提案する。 BM25リコール、イシュー・タイトル・ベクター・リコール、イシュー・記述・ベクター・リコール、重み付けされたRF融合、クロスエンコーダは、制御されたLLM決定のための基盤となるFAQの証拠を再配置した。 ポリシー誘導オーケストレーションは、このRAGエビデンスとシナリオ固有のルールエビデンス、会話メモリ、固定されたLangGraph DAG~\cite{langgraph2024}内の明確化状態を組み合わせる。 本報告では,マルチチャネル検索と再配置による監査可能なFAQ候補の生成を行う「textbf{hybrid RAGエビデンス構築」,Evidence-Grounded Decision Module が入力されたFAQエビデンスとシナリオ固有のルールエビデンスからイシュー/アクションを選択する「textbf{trace-driven RAG and reranker Improvement」,障害がリコール,ランキング,最終候補選択,明確化,ルール起因のエビデンス,行動ポリシから生じるか否かをトレースが診断する「textbf{trace-driven RAG and reranker Improvement」の3つの再利用可能な展開パターンについて述べる。

関連論文リスト

• ASTRA - Agentic System for Ticket Resolution and Analysis [3.0724026668543174]
  ASTRAは、中央オーケストレータが3つの専門的な情報収集エージェントをコーディネートするチケット解決のためのエージェントシステムである。 TicketSimilarityAgentは、密集した検索とLLMの再分類を通じて、関連する歴史的な前例を検索する。 LogAgentは、数十万のログ行を、構造化された、引用された結果に蒸留する。 DomainKnowledgeAgentは、Model Context Protocolを通じて関連する技術知識を取得する。
  論文  参考訳（メタデータ） (2026-08-28T18:50:17Z)
• SEER: A Self-Grounded Evidence Interface for Controlled Spatial Relation Classification [71.9783246097687]
  SEERは、ペアローカライゼーション中の候補関係を隠蔽し、明示的な主観的/対象的役割を持つクエリ固有ビューを構築し、補完的な証拠として完全なイメージとスパースボックス幾何学を保持する。 正確な逆サポートを持つ関係選択プロトコルでは、オプションリファインメントがエンティティロールを交換し、正確に1つの視覚状態が対応する逆関係に従う場合にのみ前方決定を変更する。 変更されていないプロトコルは、3つのモデルにまたがる2,434個のフィルター付きEmbSpatialペア関係質問に対して +4.35 から +11.79 を得る。
  論文  参考訳（メタデータ） (2026-08-04T13:16:15Z)
• From Prompts to Contracts: Harness Engineering for Auditable Enterprise LLM Agents [0.24554686192257424]
  製品化は、ソースバウンダリ、エンティティルーティング、回答コントラクト、再現可能なトレースの要件を追加します。 本稿では,このパターンをトレース可能な監査可能なLLMエージェントアーキテクチャに再構成するハーネスエンジニアリング手法を提案する。 韓国の5つの企業グループの公開データスライスでインスタンス化し、3つの研究課題を評価する。
  論文  参考訳（メタデータ） (2026-07-09T01:08:33Z)
• MMAgent-R$^2$: Learning to Rerank and Reject for Agentic mRAG [50.46218163777298]
  知識に基づくビジュアル質問回答 (KB-VQA) では、大規模百科事典の知識ベースからクエリ画像と一致する視覚エンティティを検索し、関連する質問に答える必要がある。 MMAgent-R$2$は、視覚的リランク化と能動的拒絶を内部検証機構として統合したエージェントmRAGフレームワークである。
  論文  参考訳（メタデータ） (2026-07-08T13:15:39Z)
• What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
  視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。 SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
  論文  参考訳（メタデータ） (2026-06-01T03:18:01Z)
• Citation-Closure Retrieval and Per-Rule Attribution for Real-World Regulatory Compliance Question Answering [54.97384993676565]
  複雑な国内R&D規制から派生した運用知識グラフを特徴とする,新たなベンチマークであるRegOps-Benchを用いて,レギュレーションコンプライアンスQAを形式化する。 RefWalkはクロスドキュメントの引用を横切り、マックスベースのアグリゲーションを通じてマルチビュー候補を融合させ、ソースへのクレームを明示的にマッピングするためにルールごとの属性を強制する。
  論文  参考訳（メタデータ） (2026-05-28T10:38:38Z)
• PAVE: Premise-Aware Validation and Editing for Retrieval-Augmented LLMs [8.082352336629816]
  PAVEは、根拠に基づく質問応答のための推論時検証層である。 検索されたコンテキストを質問条件のアトミックな事実に分解し、回答をドラフトし、抽出された前提によってそのドラフトがどの程度うまくサポートされているかをスコアし、ファイナライズ前に低サポート出力を更新する。
  論文  参考訳（メタデータ） (2026-03-21T06:23:21Z)
• Orchestrating Specialized Agents for Trustworthy Enterprise RAG [8.772844442593975]
  1パスの検索/書き込みパイプラインは、しばしば浅い要約を生成する。 本稿では,線形検索を反復的かつユーザによる調査に置き換えるエージェントフレームワークであるADOREを紹介する。 私たちのコントリビューションは、メモリロック合成、エビデンスカバレッジ誘導実行、セクションパック長文グラウンドティングの3つです。
  論文  参考訳（メタデータ） (2026-01-26T08:48:41Z)
• ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
  ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。 ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
  論文  参考訳（メタデータ） (2025-11-27T19:01:02Z)
• ORCHID: Orchestrated Retrieval-Augmented Classification with Human-in-the-Loop Intelligent Decision-Making for High-Risk Property [6.643427585499247]
  ORCHIDは、HRP分類のためのモジュール型エージェントシステムである。 検索強化世代(RAG)を人間の監視と組み合わせて、監査可能なポリシベースのアウトプットを生成する。 デモでは、単一項目の提出、接地された引用、中小企業のフィードバックキャプチャ、エクスポート可能な監査アーティファクトなどが紹介されている。
  論文  参考訳（メタデータ） (2025-11-07T03:48:05Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• Retrieval-Augmented Generation with Conflicting Evidence [57.66282463340297]
  大規模言語モデル (LLM) エージェントは、応答の事実性を改善するために、検索強化世代 (RAG) をますます採用している。 実際には、これらのシステムは曖昧なユーザクエリを処理し、複数のソースからの情報に衝突する可能性がある。 RAMDocs(Retrieval with Ambiguity and Misinformation in Documents)は,ユーザクエリのエビデンスを矛盾させるような,複雑で現実的なシナリオをシミュレートする新しいデータセットである。
  論文  参考訳（メタデータ） (2025-04-17T16:46:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。