論文の概要: Summarization-Based Document IDs for Generative Retrieval with Language Models

• arxiv url: http://arxiv.org/abs/2311.08593v2
• Date: Wed, 30 Oct 2024 01:26:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 20:43:58.042090
• Title: Summarization-Based Document IDs for Generative Retrieval with Language Models
• Title（参考訳）: 言語モデルを用いた生成検索のための要約型文書ID
• Authors: Haoxin Li, Daniel Cheng, Phillip Keung, Jungo Kasai, Noah A. Smith,
• Abstract要約: 要約に基づく文書IDを導入し、各文書のIDは抽出的要約または抽象的キーフレーズから構成される。 以上の結果から,ACIDの使用はトップ10とトップ20のリコールをそれぞれ15.6%,14.4%(相対)改善することがわかった。 また, 抽出IDは, MSMARCOのスニペットではなく, ウィキペディア記事の抽象IDよりも優れていた。
• 参考スコア（独自算出の注目度）: 65.11811787587403
• License:
• Abstract: Generative retrieval (Wang et al., 2022; Tay et al., 2022) is a popular approach for end-to-end document retrieval that directly generates document identifiers given an input query. We introduce summarization-based document IDs, in which each document's ID is composed of an extractive summary or abstractive keyphrases generated by a language model, rather than an integer ID sequence or bags of n-grams as proposed in past work. We find that abstractive, content-based IDs (ACID) and an ID based on the first 30 tokens are very effective in direct comparisons with previous approaches to ID creation. We show that using ACID improves top-10 and top-20 recall by 15.6% and 14.4% (relative) respectively versus the cluster-based integer ID baseline on the MSMARCO 100k retrieval task, and 9.8% and 9.9% respectively on the Wikipedia-based NQ 100k retrieval task. Our results demonstrate the effectiveness of human-readable, natural-language IDs created through summarization for generative retrieval. We also observed that extractive IDs outperformed abstractive IDs on Wikipedia articles in NQ but not the snippets in MSMARCO, which suggests that document characteristics affect generative retrieval performance.
• Abstract（参考訳）: 生成的検索 (Wang et al , 2022; Tay et al , 2022) は、入力クエリが与えられた文書識別子を直接生成するエンドツーエンドの文書検索の一般的なアプローチである。 要約に基づく文書IDを導入し、各文書のIDは、過去の研究で提案された整数IDシーケンスやn-gramのバッグではなく、言語モデルによって生成される抽出的要約または抽象的キーフレーズで構成されている。 抽象的コンテンツベースID(ACID)と初期30トークンに基づくIDは,従来のID生成手法と直接比較する上で非常に有効であることがわかった。 我々は、ACIDの使用により、MSMARCO 100k検索タスクにおけるクラスタベースの整数IDベースラインと、WikipediaベースのNQ 100k検索タスクにおける9.8%と9.9%に対して、上位10と上位20のリコールがそれぞれ15.6%、14.4%向上したことを示す。 本研究は, 生成検索のための要約によって生成した, 可読性, 自然言語IDの有効性を示すものである。 また, 抽出IDは, ウィキペディア記事の抽象IDよりも優れているが, MSMARCOのスニペットよりも優れており, 文書の特徴が生成的検索性能に影響を及ぼすことが示唆された。

関連論文リスト

• Planning Ahead in Generative Retrieval: Guiding Autoregressive Generation through Simultaneous Decoding [23.061797784952855]
  本稿では,文書識別子の自動生成を支援する新しい最適化および復号化手法であるPAGを紹介する。 MSMARCO と TREC Deep Learning Track のデータによる実験の結果,PAG は最先端の生成的検索モデルよりも大きなマージンで優れていることがわかった。
  論文  参考訳（メタデータ） (2024-04-22T21:50:01Z)
• Generative Retrieval as Multi-Vector Dense Retrieval [71.75503049199897]
  生成検索は、文書の識別子をエンドツーエンドで生成する。 それまでの研究は、原子識別子による生成的検索が単一ベクトル密度検索と等価であることを示した。 生成的検索と多ベクトル高密度検索は,文書の問合せに対する関連性を測定するのと同じ枠組みを共有していることを示す。
  論文  参考訳（メタデータ） (2024-03-31T13:29:43Z)
• Language Models As Semantic Indexers [78.83425357657026]
  本稿では,ジェネレーティブ言語モデルを用いてセマンティックIDを学習するための自己教師型フレームワークLMIndexerを紹介する。 学習したIDの質を検証し,推奨,製品検索,文書検索の3つの課題において有効性を示す。
  論文  参考訳（メタデータ） (2023-10-11T18:56:15Z)
• Better Generalization with Semantic IDs: A Case Study in Ranking for Recommendations [24.952222114424146]
  本稿では、ランダムIDの代替としてコンテンツ由来の特徴を用いることを提案する。 我々は、ID機能をコンテンツベースの埋め込みに置き換えるだけで、記憶能力の低下により品質が低下することを示した。 コンテンツ埋め込みと同様に、セマンティックIDのコンパクトさはレコメンデーションモデルにおいて容易に適応できる問題を引き起こす。
  論文  参考訳（メタデータ） (2023-06-13T20:34:15Z)
• Multiview Identifiers Enhanced Generative Retrieval [78.38443356800848]
  生成検索は、検索対象の通路の識別子文字列を生成する。 本稿では,パスの内容に基づいて生成される新しいタイプの識別子,合成識別子を提案する。 提案手法は生成的検索において最善を尽くし,その有効性とロバスト性を実証する。
  論文  参考訳（メタデータ） (2023-05-26T06:50:21Z)
• Recommender Systems with Generative Retrieval [58.454606442670034]
  本稿では,対象候補の識別子を自己回帰的に復号する新たな生成検索手法を提案する。 そのために、各項目のセマンティックIDとして機能するために、意味論的に意味のあるコードワードを作成します。 提案手法を用いて学習した推薦システムは,様々なデータセット上での現在のSOTAモデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-08T21:48:17Z)
• Query2doc: Query Expansion with Large Language Models [69.9707552694766]
  提案手法はまず,大言語モデル (LLM) をプロンプトすることで擬似文書を生成する。 query2docは、アドホックIRデータセットでBM25のパフォーマンスを3%から15%向上させる。 また,本手法は,ドメイン内およびドメイン外の両方において,最先端の高密度検索に有効である。
  論文  参考訳（メタデータ） (2023-03-14T07:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。