論文の概要: Retrieval Augmented Spelling Correction for E-Commerce Applications
- arxiv url: http://arxiv.org/abs/2410.11655v1
- Date: Tue, 15 Oct 2024 14:42:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-16 14:04:02.998829
- Title: Retrieval Augmented Spelling Correction for E-Commerce Applications
- Title(参考訳): 電子商取引アプリケーションのための検索強化スペル補正
- Authors: Xuan Guo, Rohit Patki, Dante Everaert, Christopher Potts,
- Abstract要約: 新しいブランド名を日常言語に急速に導入することは、eコマースのスペル訂正サービスにユニークな課題をもたらす。
我々は、レトリーバル拡張生成(RAG)を通してこの問題に対処することを模索している。
このアプローチでは、商品名をカタログから検索し、文脈的スペル補正を行うために微調整された大規模言語モデル(LLM)によって使用されるコンテキストに組み込む。
- 参考スコア(独自算出の注目度): 15.454532753459166
- License:
- Abstract: The rapid introduction of new brand names into everyday language poses a unique challenge for e-commerce spelling correction services, which must distinguish genuine misspellings from novel brand names that use unconventional spelling. We seek to address this challenge via Retrieval Augmented Generation (RAG). On this approach, product names are retrieved from a catalog and incorporated into the context used by a large language model (LLM) that has been fine-tuned to do contextual spelling correction. Through quantitative evaluation and qualitative error analyses, we find improvements in spelling correction utilizing the RAG framework beyond a stand-alone LLM. We also demonstrate the value of additional finetuning of the LLM to incorporate retrieved context.
- Abstract(参考訳): 新しいブランド名が日常言語に急速に導入されることは、eコマースのスペル修正サービスにとってユニークな課題となり、非伝統的なスペルを使った新しいブランド名と本当のミススペルを区別する必要がある。
我々は、この課題に、検索拡張生成(RAG)を通して対処することを目指している。
このアプローチでは、商品名をカタログから検索し、文脈的スペル補正を行うために微調整された大規模言語モデル(LLM)によって使用されるコンテキストに組み込む。
定量的評価と定性的誤り解析により,スタンドアローンLCMを超えたRAGフレームワークを用いたスペル補正の改善が得られた。
また、抽出した文脈を組み込むためのLLMの微調整の付加価値を示す。
関連論文リスト
- Evaluation of RAG Metrics for Question Answering in the Telecom Domain [0.650923326742559]
Retrieval Augmented Generation (RAG) は、大規模言語モデル(LLM)が質問応答(QA)タスクを実行できるようにするために広く使われている。
この作業は、いくつかの指標(事実性、文脈関連性、回答関連性、回答正当性、回答類似性、事実正当性)に対して修正されたこのパッケージで、プロンプトの中間出力を提供する。
次に、修正されたRAGASパッケージの出力のエキスパート評価を分析し、通信領域で使用する際の課題を観察する。
論文 参考訳(メタデータ) (2024-07-15T17:40:15Z) - RaFe: Ranking Feedback Improves Query Rewriting for RAG [83.24385658573198]
アノテーションを使わずにクエリ書き換えモデルをトレーニングするためのフレームワークを提案する。
公開されているリランカを活用することで、フィードバックはリライトの目的とよく一致します。
論文 参考訳(メタデータ) (2024-05-23T11:00:19Z) - DANCER: Entity Description Augmented Named Entity Corrector for Automatic Speech Recognition [10.844822448167935]
本稿では、自動音声認識(E2E ASR)における音声の混同を軽減するために、CorrEctoR(dubed DANCER)について述べる。
DANCERは、名前付きエンティティのAISHELL-1に対して、文字誤り率(CER)の約7%の削減により、強いベースラインである音声編集距離ベースNECモデル(PED-NEC)より優れている。
DANCERは、名前付きエンティティを含むHomophoneでテストすると、名前付きエンティティに対してPED-NECよりもCERが46%減少する。
論文 参考訳(メタデータ) (2024-03-26T12:27:32Z) - The ART of LLM Refinement: Ask, Refine, and Trust [85.75059530612882]
ART: Ask, Refine, and Trust と呼ばれる改良目標を用いた推論を提案する。
LLMがいつその出力を洗練すべきかを決めるために必要な質問を尋ねる。
自己補充ベースラインよりも+5ポイントの性能向上を達成する。
論文 参考訳(メタデータ) (2023-11-14T07:26:32Z) - InstructPTS: Instruction-Tuning LLMs for Product Title Summarization [38.87781022894529]
InstructPTSはProduct Title Summarization(PTS)タスクの制御可能なアプローチである
提案手法は,新しい指導的微調整戦略を用いて学習し,様々な基準に従って製品タイトルを要約することができる。
提案手法は,14点以上のBLEU点と8点以上のROUGE点を改良し,より正確な製品名要約を生成する。
論文 参考訳(メタデータ) (2023-10-25T04:56:07Z) - Self-RAG: Learning to Retrieve, Generate, and Critique through
Self-Reflection [74.51523859064802]
我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。
自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。
様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
論文 参考訳(メタデータ) (2023-10-17T18:18:32Z) - Chinese Spelling Correction as Rephrasing Language Model [63.65217759957206]
文中のスペル誤りを検知し,訂正することを目的とした中国語スペル補正(CSC)について検討する。
現在の最先端の手法は、CSCをシーケンスタギングタスクと文対上の細いBERTベースのモデルとみなしている。
本稿では,文字から文字へのタグ付けではなく,追加のスロットを埋め込むことで文全体を言い換える言語モデル(ReLM)を提案する。
論文 参考訳(メタデータ) (2023-08-17T06:04:28Z) - Automatically Correcting Large Language Models: Surveying the landscape
of diverse self-correction strategies [104.32199881187607]
大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。
これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。
本稿では,この新技術について概観する。
論文 参考訳(メタデータ) (2023-08-06T18:38:52Z) - Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。
この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
論文 参考訳(メタデータ) (2023-05-23T17:27:50Z) - An Extended Sequence Tagging Vocabulary for Grammatical Error Correction [10.99087685327798]
本研究では,SymSpell と LemmInflect アルゴリズムを用いたスペル補正と形態変化のための特殊タグを提案する。
その結果,対象のエラーカテゴリ全体および対象のエラーカテゴリにおいて,パフォーマンスが向上したことがわかった。
新しいタグセットでトレーニングされたアンサンブルは、パブリックBEAベンチマークのベースラインタグセットでトレーニングされたものよりも優れています。
論文 参考訳(メタデータ) (2023-02-12T13:31:53Z) - WinoDict: Probing language models for in-context word acquisition [32.81587292382359]
推論中に新しい単語を学習するLarge Language Models(LLM)の能力を測定するために,新しい文脈内学習パラダイムを導入する。
ベンチマークの結果,元のWinogradタスクと比較してLLMの精度が大幅に低下していることが判明した。
論文 参考訳(メタデータ) (2022-09-25T05:30:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。