論文の概要: BSharedRAG: Backbone Shared Retrieval-Augmented Generation for the E-commerce Domain

• arxiv url: http://arxiv.org/abs/2409.20075v1
• Date: Mon, 30 Sep 2024 08:26:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-02 18:56:57.558141
• Title: BSharedRAG: Backbone Shared Retrieval-Augmented Generation for the E-commerce Domain
• Title（参考訳）: BSharedRAG:Eコマースドメイン用のバックボーン共有検索機能付きジェネレーション
• Authors: Kaisi Guan, Qian Cao, Yuchong Sun, Xiting Wang, Ruihua Song,
• Abstract要約: 本稿では,Backbone Shared RAGフレームワーク(BSharedRAG)を提案する。 まずドメイン固有のコーパスを使用して、ベースモデルをドメイン固有のバックボーンモデルとして継続的に事前トレーニングする。 次に、共有バックボーンに基づいて2つのLow-Rank Adaptation (LoRA)モジュールを訓練し、それぞれ検索と生成の損失を最小限に抑える。
• 参考スコア（独自算出の注目度）: 26.546318337208735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval Augmented Generation (RAG) system is important in domains such as e-commerce, which has many long-tail entities and frequently updated information. Most existing works adopt separate modules for retrieval and generation, which may be suboptimal since the retrieval task and the generation task cannot benefit from each other to improve performance. We propose a novel Backbone Shared RAG framework (BSharedRAG). It first uses a domain-specific corpus to continually pre-train a base model as a domain-specific backbone model and then trains two plug-and-play Low-Rank Adaptation (LoRA) modules based on the shared backbone to minimize retrieval and generation losses respectively. Experimental results indicate that our proposed BSharedRAG outperforms baseline models by 5% and 13% in Hit@3 upon two datasets in retrieval evaluation and by 23% in terms of BLEU-3 in generation evaluation. Our codes, models, and dataset are available at https://bsharedrag.github.io.
• Abstract（参考訳）: Retrieval Augmented Generation (RAG) システムは、多くのロングテールエンティティと頻繁に更新される情報を持つeコマースのようなドメインにおいて重要である。 既存のほとんどの作業では、検索タスクと生成タスクが相互に利益を得ることができないため、検索と生成には別個のモジュールが採用されている。 本稿では,Backbone Shared RAGフレームワーク(BSharedRAG)を提案する。 まずドメイン固有のコーパスを使用して、ベースモデルをドメイン固有のバックボーンモデルとして継続的に事前トレーニングし、その後、共有バックボーンに基づいて2つのプラグアンドプレイローランド適応(LoRA)モジュールをトレーニングし、それぞれ検索と生成損失を最小限に抑える。 実験の結果,BSharedRAGはHit@3のベースラインモデルを2つのデータセットで5%,13%,BLEU-3では23%上回った。 私たちのコード、モデル、データセットはhttps://bsharedrag.github.io.comで公開されています。

関連論文リスト

• GMM-ResNext: Combining Generative and Discriminative Models for Speaker Verification [12.598652038778368]
  話者検証のためのGMM-ResNextモデルを提案する。 2つの性関連GMMに基づく2経路GMM-ResNextモデルも提案されている。 提案されたGMM-ResNextは、VoxCeleb1-OテストセットのResNet34とECAPA-TDNNと比較して、EERの48.1%と11.3%の相対的な改善を実現している。
  論文  参考訳（メタデータ） (2024-07-03T14:14:18Z)
• X-ray Made Simple: Radiology Report Generation and Evaluation with Layman's Terms [25.871814979179373]
  ラジオロジーレポート生成(RRG)は多モード生成モデルの進歩によって大きな進歩を遂げた。 既存の語彙ベースのメトリクス(例えばBLEU)によるRRGのハイパフォーマンスは、単なるミラージュ(mirage)である。 我々は、レイマンの用語ベースのデータセット、評価およびトレーニングフレームワークであるRRGフレームワークを提案することによって、この問題に意図せずにアプローチする。
  論文  参考訳（メタデータ） (2024-06-25T19:52:01Z)
• xRAG: Extreme Context Compression for Retrieval-augmented Generation with One Token [108.7069350303884]
  xRAGは、検索拡張生成に適した、革新的なコンテキスト圧縮手法である。 xRAGは、言語モデル表現空間に文書の埋め込みをシームレスに統合する。 実験の結果、xRAGは6つの知識集約タスクで平均10%以上の改善を達成していることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:15:17Z)
• Replica Tree-based Federated Learning using Limited Data [6.572149681197959]
  本研究では,RepTreeFLという新しいフェデレーション学習フレームワークを提案する。 ソリューションの中核はレプリカの概念であり、モデルアーキテクチャをコピーし、ローカルなデータ分散を摂動することで、各クライアントを複製します。 当社のアプローチでは,データ分布の多様さで多数のモデルを集約することで,限られたデータと少数のクライアントから学習することが可能である。
  論文  参考訳（メタデータ） (2023-12-28T17:47:25Z)
• Dynamic Retrieval-Augmented Generation [4.741884506444161]
  動的検索・拡張生成(DRAG)のための新しい手法を提案する。 DRAGは、取得したエンティティの圧縮埋め込みを生成モデルに注入する。 提案手法は,(1)コンテキストウィンドウの長さ制限を解除し,迅速なサイズを節約すること,(2)コンテキストに利用可能な検索エンティティの数を膨大に拡張すること,(3)ミススペルや関連エンティティ名検索の失敗を緩和すること,の3つの目標を達成する。
  論文  参考訳（メタデータ） (2023-12-14T14:26:57Z)
• SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot Neural Sparse Retrieval [92.27387459751309]
  ニューラルスパース検索を評価するための統一PythonツールキットであるSPRINTを提供する。 我々は、よく認識されているベンチマークBEIRにおいて、強く再現可能なゼロショットスパース検索ベースラインを確立する。 SPLADEv2は、元のクエリとドキュメントの外で、ほとんどのトークンでスパース表現を生成する。
  論文  参考訳（メタデータ） (2023-07-19T22:48:02Z)
• Part-Based Models Improve Adversarial Robustness [57.699029966800644]
  人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。 我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。 実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
  論文  参考訳（メタデータ） (2022-09-15T15:41:47Z)
• Tackling Long-Tailed Category Distribution Under Domain Shifts [50.21255304847395]
  既存のアプローチでは、両方の問題が存在するシナリオに対処できません。 本研究では,分散校正型分類損失,視覚意味マッピング,セマンティック類似性誘導拡張の3つの新しい機能ブロックを設計した。 AWA2-LTSとImageNet-LTSという2つの新しいデータセットが提案された。
  論文  参考訳（メタデータ） (2022-07-20T19:07:46Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Hybrid Generative-Retrieval Transformers for Dialogue Domain Adaptation [77.62366712130196]
  マルチドメイン MetaLWOz データセットに微調整した GPT-2 に基づくハイブリッド生成・検索モデル DSTC8 の高速領域適応タスクにおける入賞条件について述べる。 提案モデルでは,MetaLWOz上の解析論理をフォールバックとして使用し,人間の評価におけるSoTA(第2位システムよりも4%向上)と,未知のMultiWOZデータセットに適応した競合一般化性能を実現する。
  論文  参考訳（メタデータ） (2020-03-03T18:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。