論文の概要: Combating Missed Recalls in E-commerce Search: A CoT-Prompting Testing Approach

• arxiv url: http://arxiv.org/abs/2406.19633v1
• Date: Fri, 28 Jun 2024 03:44:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 17:50:12.937104
• Title: Combating Missed Recalls in E-commerce Search: A CoT-Prompting Testing Approach
• Title（参考訳）: 電子商取引検索で失敗したリコールを議論する: CoT-prompting テストアプローチ
• Authors: Shengnan Wu, Yongxiang Hu, Yingchuan Wang, Jiazhen Gu, Jin Meng, Liujie Fan, Zhongshi Luan, Xin Wang, Yangfan Zhou,
• Abstract要約: mrDetectorは、ミスリコールに特化した最初の自動テスト手法です。 実際の産業データによる実験では、mDetectorは17の偽陽性で100以上のミスリコールを発見した。
• 参考スコア（独自算出の注目度）: 8.682503212678263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Search components in e-commerce apps, often complex AI-based systems, are prone to bugs that can lead to missed recalls - situations where items that should be listed in search results aren't. This can frustrate shop owners and harm the app's profitability. However, testing for missed recalls is challenging due to difficulties in generating user-aligned test cases and the absence of oracles. In this paper, we introduce mrDetector, the first automatic testing approach specifically for missed recalls. To tackle the test case generation challenge, we use findings from how users construct queries during searching to create a CoT prompt to generate user-aligned queries by LLM. In addition, we learn from users who create multiple queries for one shop and compare search results, and provide a test oracle through a metamorphic relation. Extensive experiments using open access data demonstrate that mrDetector outperforms all baselines with the lowest false positive ratio. Experiments with real industrial data show that mrDetector discovers over one hundred missed recalls with only 17 false positives.
• Abstract（参考訳）: 電子商取引アプリの検索コンポーネント(多くの場合、複雑なAIベースのシステム)は、リコールの欠落につながるバグを起こしやすい。 これは店主をイライラさせ、アプリの利益を損なう可能性がある。 しかし、ユーザによるテストケースの生成が困難であり、オラクルが存在しないため、リコールの欠如に対するテストは困難である。 本稿では,ミスリコールに特化した最初の自動テスト手法であるmDetectorを紹介する。 テストケース生成の課題に対処するために,検索中にユーザがクエリを構築する方法の知見を用いて,LLMによるユーザ整合クエリを生成するCoTプロンプトを生成する。 さらに、一つの店舗で複数のクエリを作成したユーザから学習し、検索結果を比較し、メタモルフィックな関係を通じてテストオラクルを提供する。 オープンアクセスデータを用いた大規模な実験は、mdDetectorが全てのベースラインを最低の偽陽性比で上回ることを示した。 実際の産業データによる実験では、mDetectorは17の偽陽性で100以上のミスリコールを発見した。

関連論文リスト

• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• Test Oracle Automation in the era of LLMs [52.69509240442899]
  大規模言語モデル(LLM)は、多様なソフトウェアテストタスクに取り組むのに顕著な能力を示した。 本研究の目的は, 各種のオラクル生成時に生じる課題とともに, LLMs によるオラクルの自動化の可能性について検討することである。
  論文  参考訳（メタデータ） (2024-05-21T13:19:10Z)
• PromptAD: Learning Prompts with only Normal Samples for Few-Shot Anomaly Detection [59.34973469354926]
  本稿では,PromptADと呼ばれる,数発の異常検出のための一級プロンプト学習手法を提案する。 画像レベル/ピクセルレベルの異常検出のために、PromptADはMVTecとVisAで11/12のショット設定で1位を達成した。
  論文  参考訳（メタデータ） (2024-04-08T06:53:30Z)
• An Interactive Query Generation Assistant using LLM-based Prompt Modification and User Feedback [9.461978375200102]
  提案するインタフェースは,単言語および多言語文書コレクション上での対話型クエリ生成をサポートする,新しい検索インタフェースである。 このインタフェースにより、ユーザーは異なるLCMによって生成されたクエリを洗練し、検索したドキュメントやパスに対するフィードバックを提供し、より効果的なクエリを生成するプロンプトとしてユーザーのフィードバックを組み込むことができる。
  論文  参考訳（メタデータ） (2023-11-19T04:42:24Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Automatic Generation of Test Cases based on Bug Reports: a Feasibility Study with Large Language Models [4.318319522015101]
  既存のアプローチは、単純なテスト(例えば単体テスト)や正確な仕様を必要とするテストケースを生成する。 ほとんどのテスト手順は、テストスイートを形成するために人間が書いたテストケースに依存しています。 大規模言語モデル(LLM)を活用し,バグレポートを入力として利用することにより,この生成の実現可能性を検討する。
  論文  参考訳（メタデータ） (2023-10-10T05:30:12Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)
• Learning to Retrieve Engaging Follow-Up Queries [12.380514998172199]
  ユーザが持つ可能性のある次の質問を予測するための検索ベースシステムと関連するデータセットを提案する。 このようなシステムは,ユーザの知識探索を積極的に支援することで,より活発な対話を実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:26:23Z)
• Collaborative Anomaly Detection [66.51075412012581]
  本研究では,タスク間の相関関係を埋め込むことで,全てのタスクを共同で学習するための協調的異常検出(CAD)を提案する。 条件密度推定と条件確率比推定を用いてCADを探索する。 タスク埋め込みモデルを学ぶために、前もって少数のタスクを選択し、それを使ってタスク埋め込みをウォームスタートさせることは有益である。
  論文  参考訳（メタデータ） (2022-09-20T18:01:07Z)
• Simple and Effective Knowledge-Driven Query Expansion for QA-Based Product Attribute Extraction [6.752749933406399]
  eコマースサイトから価値を抽出する上で重要な課題は、さまざまな製品に対する多数の属性の扱い方だ。 本稿では,QAに基づくAVEに対するクエリ(属性)の応答(値)に基づいた知識駆動型クエリ拡張を提案する。
  論文  参考訳（メタデータ） (2022-06-28T19:43:57Z)
• Grouping Search Results with Product Graphs in E-commerce Platforms [2.887393074590696]
  本稿では,検索結果を複数のランクリストに分類し,より優れたユーザインテントを提供するフレームワークを提案する。 例えば「ミルク」という問合せでは、結果は「白い牛乳」、「低脂肪牛乳」、「アーモンドミルク」、「風味のある牛乳」の複数のスタックにまとめられる。
  論文  参考訳（メタデータ） (2021-09-20T08:01:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。