論文の概要: Cite Before You Speak: Enhancing Context-Response Grounding in E-commerce Conversational LLM-Agents

• arxiv url: http://arxiv.org/abs/2503.04830v2
• Date: Mon, 10 Mar 2025 01:47:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 11:38:52.104754
• Title: Cite Before You Speak: Enhancing Context-Response Grounding in E-commerce Conversational LLM-Agents
• Title（参考訳）: EコマースのLLM-Agentsにおけるコンテキスト応答グラウンドの強化
• Authors: Jingying Zeng, Hui Liu, Zhenwei Dai, Xianfeng Tang, Chen Luo, Samarth Varshney, Zhen Li, Qi He,
• Abstract要約: In-context Learning(ICL)とMulti-UX-Inference(MUI)を利用した「引用体験」を実現する。 この引用生成パラダイムを組み込むことで,実世界のデータに対するLLM応答の基底化が13.83%向上することが実証された。
• 参考スコア（独自算出の注目度）: 14.979094668410676
• License:
• Abstract: With the advancement of conversational large language models (LLMs), several LLM-based Conversational Shopping Agents (CSA) have been developed to help customers answer questions and smooth their shopping journey in e-commerce domain. The primary objective in building a trustworthy CSA is to ensure the agent's responses are accurate and factually grounded, which is essential for building customer trust and encouraging continuous engagement. However, two challenges remain. First, LLMs produce hallucinated or unsupported claims. Such inaccuracies risk spreading misinformation and diminishing customer trust. Second, without providing knowledge source attribution in CSA response, customers struggle to verify LLM-generated information. To address these challenges, we present an easily productionized solution that enables a "citation experience" utilizing In-context Learning (ICL) and Multi-UX-Inference (MUI) to generate responses with citations to attribute its original sources without interfering other existing UX features. With proper UX design, these citation marks can be linked to the related product information and display the source to our customers. In this work, we also build auto-metrics and scalable benchmarks to holistically evaluate LLM's grounding and attribution capabilities. Our experiments demonstrate that incorporating this citation generation paradigm can substantially enhance the grounding of LLM responses by 13.83% on the real-world data. As such, our solution not only addresses the immediate challenges of LLM grounding issues but also adds transparency to conversational AI.
• Abstract（参考訳）: 対話型大規模言語モデル(LLM)の進歩に伴い、顧客への質問への回答やeコマース領域での買い物旅行の円滑化を支援するため、複数のLLMベースの会話型ショッピングエージェント(CSA)が開発されている。 信頼できるCSAを構築する主な目的は、エージェントの応答が正確で、現実的に根拠づけられていることを保証することであり、これは顧客の信頼を築き、継続的なエンゲージメントを促進するのに不可欠である。 しかし、2つの課題が残る。 第一に、LLMは幻覚的または支持的なクレームを発生させる。 このような不正確さは、誤情報を拡散し、顧客の信頼を低下させるリスクがある。 第二に、CSAレスポンスに知識ソースの属性を提供することなく、顧客はLLM生成情報を検証するのに苦労する。 これらの課題に対処するため、本研究では、ICL(In-context Learning)とMulti-UX-Inference(MUI)を利用して、既存のUX機能を介さずに、元のソースを属性付けした応答を生成する「引用体験」を実現する、簡易に生産されたソリューションを提案する。 適切なUX設計により、これらの引用マークは関連する製品情報と関連付けられ、顧客へのソースを表示することができます。 そこで本研究では,LLMのグラウンド化と帰属性を評価するために,オートメトリックとスケーラブルなベンチマークを構築した。 この引用生成パラダイムを組み込むことで,実世界のデータに対するLLM応答の基底化が13.83%向上することが実証された。 したがって、私たちのソリューションは、LLMの基盤となる問題の直接的な課題に対処するだけでなく、会話型AIにも透明性を与えます。

関連論文リスト

• NewsInterview: a Dataset and a Playground to Evaluate LLMs' Ground Gap via Informational Interviews [65.35458530702442]
  我々はジャーナリストのインタビューに焦点をあて、コミュニケーションの基盤と豊富なデータに富んだドメインに焦点をあてる。 我々はNPRとCNNから4万人の2人によるインフォメーションインタビューのデータセットをキュレートする。 LLMは、人間のインタビュアーよりも、認識を使い、より高いレベルの質問に目を向ける可能性がはるかに低い。
  論文  参考訳（メタデータ） (2024-11-21T01:37:38Z)
• Utilize the Flow before Stepping into the Same River Twice: Certainty Represented Knowledge Flow for Refusal-Aware Instruction Tuning [68.57166425493283]
  Refusal-Aware Instruction Tuning (RAIT) により、Large Language Models (LLM) は未知の質問に答えることを拒否できる。 この粗末なアプローチは、LLMが正しく答えられる可能性のある質問に答えることを過剰に拒否する可能性がある。 本稿では,CRaFT(Certainty Represented Knowledge Flow for Refusal-Aware Instructions Tuning)を提案する。
  論文  参考訳（メタデータ） (2024-10-09T14:12:51Z)
• Automated test generation to evaluate tool-augmented LLMs as conversational AI agents [0.27309692684728615]
  対話型AIエージェントを評価するテスト生成パイプラインを提案する。 当社のフレームワークでは,ユーザ定義の手順に基づく多種多様なテストを生成するためにLLMを使用している。 ツール拡張LDMは単一のインタラクションでよく機能するが、完全な会話を扱うのに苦労することが多い。
  論文  参考訳（メタデータ） (2024-09-24T09:57:43Z)
• Peering into the Mind of Language Models: An Approach for Attribution in Contextual Question Answering [9.86691461253151]
  大規模言語モデル(LLM)の隠れ状態表現を利用した文脈質問応答における帰属手法を提案する。 提案手法は,より詳細な属性を提供し,生成した回答の質を保ちながら,広範囲なモデル再訓練および検索モデルオーバーヘッドの必要性を回避している。 本稿では,LLM世代に対するトークンレベルのアノテーションを文脈質問応答設定に有する属性データセットであるVerifiability-granularを提案する。
  論文  参考訳（メタデータ） (2024-05-28T09:12:44Z)
• Blinded by Generated Contexts: How Language Models Merge Generated and Retrieved Contexts When Knowledge Conflicts? [45.233517779029334]
  応答が生成されたコンテキストと検索されたコンテキストに関連付けられているかどうかを識別する。 実験では、誤った情報を提供する場合でも、生成されたコンテキストを優先する複数のLSMにおいて、重大なバイアスが示される。
  論文  参考訳（メタデータ） (2024-01-22T12:54:04Z)
• RECALL: A Benchmark for LLMs Robustness against External Counterfactual Knowledge [69.79676144482792]
  本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。 本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
  論文  参考訳（メタデータ） (2023-11-14T13:24:19Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。