論文の概要: Improving Topic Relevance Model by Mix-structured Summarization and LLM-based Data Augmentation

• arxiv url: http://arxiv.org/abs/2404.02616v1
• Date: Wed, 3 Apr 2024 10:05:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 17:50:35.103432
• Title: Improving Topic Relevance Model by Mix-structured Summarization and LLM-based Data Augmentation
• Title（参考訳）: 混合構造要約とLLMデータ拡張による話題関連モデルの改善
• Authors: Yizhu Liu, Ran Tao, Shengyu Guo, Yifan Yang,
• Abstract要約: Dianpingのようなほとんどのソーシャル検索シナリオでは、検索関連性のモデリングは常に2つの課題に直面している。 まず、クエリベースの要約と、クエリなしで文書の要約をトピック関連モデルの入力として取り上げる。 そこで我々は,大規模言語モデル(LLM)の言語理解と生成能力を利用して,既存のトレーニングデータにおけるクエリやドキュメントからのクエリを書き換え,生成する。
• 参考スコア（独自算出の注目度）: 16.170841777591345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Topic relevance between query and document is a very important part of social search, which can evaluate the degree of matching between document and user's requirement. In most social search scenarios such as Dianping, modeling search relevance always faces two challenges. One is that many documents in social search are very long and have much redundant information. The other is that the training data for search relevance model is difficult to get, especially for multi-classification relevance model. To tackle above two problems, we first take query concatenated with the query-based summary and the document summary without query as the input of topic relevance model, which can help model learn the relevance degree between query and the core topic of document. Then, we utilize the language understanding and generation abilities of large language model (LLM) to rewrite and generate query from queries and documents in existing training data, which can construct new query-document pairs as training data. Extensive offline experiments and online A/B tests show that the proposed approaches effectively improve the performance of relevance modeling.
• Abstract（参考訳）: クエリとドキュメント間のトピック関連性は、ドキュメントとユーザの要求とのマッチングの度合いを評価することのできる、ソーシャル検索の非常に重要な部分である。 Dianpingのようなほとんどのソーシャル検索シナリオでは、検索関連性のモデリングは常に2つの課題に直面している。 ひとつは、ソーシャル検索における多くのドキュメントは非常に長く、冗長な情報を持っていることだ。 もうひとつは、検索関連モデルのトレーニングデータは、特にマルチクラス化関連モデルの取得が困難である点である。 以上の2つの問題に対処するために、まず、クエリに基づく要約と、クエリを含まない要約とをトピック関連モデルの入力として取り、クエリとドキュメントの中核トピックとの関連度をモデルが学習するのに役立つ。 そこで我々は,大規模言語モデル(LLM)の言語理解と生成能力を利用して,既存のトレーニングデータにおけるクエリとドキュメントからのクエリを書き換え,生成し,新たなクエリとドキュメントのペアをトレーニングデータとして構築する。 大規模なオフライン実験とオンラインA/Bテストにより,提案手法は妥当性モデリングの性能を効果的に向上することを示した。

関連論文リスト

• Generative Retrieval Meets Multi-Graded Relevance [104.75244721442756]
  GRADed Generative Retrieval (GR$2$)というフレームワークを紹介します。 GR$2$は2つの重要なコンポーネントに焦点を当てている。 マルチグレードとバイナリの関連性を持つデータセットの実験は,GR$2$の有効性を示した。
  論文  参考訳（メタデータ） (2024-09-27T02:55:53Z)
• Leveraging Inter-Chunk Interactions for Enhanced Retrieval in Large Language Model-Based Question Answering [12.60063463163226]
  IIERは、構造、キーワード、セマンティックという3つのタイプの相互作用を考慮し、ドキュメントチャンク間の内部接続をキャプチャする。 対象の質問に基づいて複数のシードノードを特定し、関連するチャンクを反復的に検索して、支持する証拠を収集する。 コンテキストと推論チェーンを洗練し、推論と回答の生成において大きな言語モデルを支援する。
  論文  参考訳（メタデータ） (2024-08-06T02:39:55Z)
• Query-oriented Data Augmentation for Session Search [71.84678750612754]
  本稿では,検索ログの強化とモデリングの強化を目的としたクエリ指向データ拡張を提案する。 検索コンテキストの最も重要な部分を変更することで補足的なトレーニングペアを生成する。 我々は、現在のクエリを変更するためのいくつかの戦略を開発し、その結果、様々な難易度で新しいトレーニングデータを得る。
  論文  参考訳（メタデータ） (2024-07-04T08:08:33Z)
• Database-Augmented Query Representation for Information Retrieval [59.57065228857247]
  データベース拡張クエリ表現(DAQu)と呼ばれる新しい検索フレームワークを提案する。 DAQuは、元のクエリを複数のテーブルにまたがるさまざまな(クエリ関連の)メタデータで拡張する。 リレーショナルデータベースのメタデータを組み込む様々な検索シナリオにおいてDAQuを検証する。
  論文  参考訳（メタデータ） (2024-06-23T05:02:21Z)
• Quest: Query-centric Data Synthesis Approach for Long-context Scaling of Large Language Model [22.07414287186125]
  Questはクエリ中心のデータメソッドで、セマンティックに関連があるが多様なドキュメントを集約する。 生成モデルを使用して、ドキュメント毎の潜在的なクエリを予測し、同様のクエリとキーワードでドキュメントをグループ化する。 実験では、Questの長文タスクにおける優れたパフォーマンスを示し、最大100万トークンのコンテキスト長で顕著な結果が得られる。
  論文  参考訳（メタデータ） (2024-05-30T08:50:55Z)
• SPM: Structured Pretraining and Matching Architectures for Relevance Modeling in Meituan Search [12.244685291395093]
  eコマース検索では、クエリとドキュメントの関連性は、ユーザエクスペリエンスを満たす上で必須の要件である。 本稿では,リッチな構造化文書に適合する2段階の事前学習およびマッチングアーキテクチャを提案する。 このモデルは、すでにオンラインで展開されており、Meituanの検索トラフィックを1年以上にわたって提供している。
  論文  参考訳（メタデータ） (2023-08-15T11:45:34Z)
• CAPSTONE: Curriculum Sampling for Dense Retrieval with Document Expansion [68.19934563919192]
  本稿では,学習中に擬似クエリを利用して,生成したクエリと実際のクエリとの関係を徐々に向上させるカリキュラムサンプリング戦略を提案する。 ドメイン内およびドメイン外両方のデータセットに対する実験結果から,本手法が従来の高密度検索モデルより優れていることが示された。
  論文  参考訳（メタデータ） (2022-12-18T15:57:46Z)
• Text Summarization with Latent Queries [60.468323530248945]
  本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。 本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。 本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
  論文  参考訳（メタデータ） (2021-05-31T21:14:58Z)
• Query Understanding via Intent Description Generation [75.64800976586771]
  問合せ理解のためのQ2ID(Query-to-Intent-Description)タスクを提案する。 クエリとその記述を利用してドキュメントの関連性を計算する既存のランキングタスクとは異なり、Q2IDは自然言語のインテント記述を生成するための逆タスクである。 Q2IDタスクにおける複数の最先端生成モデルとの比較により,本モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2020-08-25T08:56:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。