論文の概要: Improving Document Representations by Generating Pseudo Query Embeddings for Dense Retrieval

• arxiv url: http://arxiv.org/abs/2105.03599v1
• Date: Sat, 8 May 2021 05:28:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-13 10:42:00.751110
• Title: Improving Document Representations by Generating Pseudo Query Embeddings for Dense Retrieval
• Title（参考訳）: デンス検索のための擬似クエリ埋め込み生成による文書表現の改善
• Authors: Hongyin Tang, Xingwu Sun, Beihong Jin, Jingang Wang, Fuzheng Zhang, Wei Wu
• Abstract要約: 反復的なクラスタリングプロセスにより,各文書のクエリを模倣する手法を設計する。 また、2段階のスコア計算手順でマッチング関数を最適化する。 いくつかの人気ランキングとQAデータセットに関する実験結果から、私たちのモデルが最先端の結果を達成できることが示された。
• 参考スコア（独自算出の注目度）: 11.465218502487959
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, the retrieval models based on dense representations have been gradually applied in the first stage of the document retrieval tasks, showing better performance than traditional sparse vector space models. To obtain high efficiency, the basic structure of these models is Bi-encoder in most cases. However, this simple structure may cause serious information loss during the encoding of documents since the queries are agnostic. To address this problem, we design a method to mimic the queries on each of the documents by an iterative clustering process and represent the documents by multiple pseudo queries (i.e., the cluster centroids). To boost the retrieval process using approximate nearest neighbor search library, we also optimize the matching function with a two-step score calculation procedure. Experimental results on several popular ranking and QA datasets show that our model can achieve state-of-the-art results.
• Abstract（参考訳）: 近年,高密度表現に基づく検索モデルは文書検索タスクの第1段階で徐々に適用され,従来の疎ベクトル空間モデルよりも優れた性能を示している。 高効率を得るために、これらのモデルの基本的な構造は、ほとんどの場合ビエンコーダである。 しかし、この単純な構造はクエリに依存せず、ドキュメントのエンコーディング中に深刻な情報損失を引き起こす可能性がある。 この問題に対処するために,各文書のクエリを反復的クラスタリングプロセスで模倣し,複数の疑似クエリ(すなわちクラスタセンタロイド)で文書を表現する手法を設計する。 また,近接探索ライブラリを用いて検索処理を高速化するために,2段階のスコア計算手順でマッチング機能を最適化する。 いくつかの人気ランキングとQAデータセットの実験結果から、我々のモデルが最先端の結果を得ることができることが示された。

関連論文リスト

• Quam: Adaptive Retrieval through Query Affinity Modelling [15.3583908068962]
  ユーザ情報要求に基づいて文書をランク付けする関連モデルを構築することは,情報検索とNLPコミュニティの中心的な課題である。 提案するQuamにより,適応検索の初期段階の統一的な視点を提案する。 提案手法であるQuamは,リコール性能を26%向上させる。
  論文  参考訳（メタデータ） (2024-10-26T22:52:12Z)
• CAPSTONE: Curriculum Sampling for Dense Retrieval with Document Expansion [68.19934563919192]
  本稿では,学習中に擬似クエリを利用して,生成したクエリと実際のクエリとの関係を徐々に向上させるカリキュラムサンプリング戦略を提案する。 ドメイン内およびドメイン外両方のデータセットに対する実験結果から,本手法が従来の高密度検索モデルより優れていることが示された。
  論文  参考訳（メタデータ） (2022-12-18T15:57:46Z)
• Learning Diverse Document Representations with Deep Query Interactions for Dense Retrieval [79.37614949970013]
  そこで本研究では,問合せの深い文書表現を学習する高密度検索モデルを提案する。 本モデルでは,各文書に生成した擬似クエリをエンコードして,クエリインフォームド・マルチビュー文書表現を得る。
  論文  参考訳（メタデータ） (2022-08-08T16:00:55Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Multi-View Document Representation Learning for Open-Domain Dense Retrieval [87.11836738011007]
  本稿では,多視点文書表現学習フレームワークを提案する。 ドキュメントを表現し、異なるクエリに合わせるように強制するために、マルチビューの埋め込みを作成することを目的としている。 実験により,本手法は最近の成果より優れ,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-03-16T03:36:38Z)
• Augmenting Document Representations for Dense Retrieval with Interpolation and Perturbation [49.940525611640346]
  ドキュメント拡張(Document Augmentation for dense Retrieval)フレームワークは、ドキュメントの表現をDense Augmentationとperturbationsで強化する。 2つのベンチマークデータセットによる検索タスクにおけるDARの性能評価を行い、ラベル付き文書とラベルなし文書の密集検索において、提案したDARが関連するベースラインを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-03-15T09:07:38Z)
• CODER: An efficient framework for improving retrieval through COntextualized Document Embedding Reranking [11.635294568328625]
  本稿では,最小計算コストで広範囲の検索モデルの性能を向上させるためのフレームワークを提案する。 ベース密度検索法により抽出された事前計算された文書表現を利用する。 実行時に第一段階のメソッドの上に無視可能な計算オーバーヘッドを発生させ、最先端の高密度検索手法と簡単に組み合わせられるようにする。
  論文  参考訳（メタデータ） (2021-12-16T10:25:26Z)
• Value Retrieval with Arbitrary Queries for Form-like Documents [50.5532781148902]
  フォーム状文書に対する任意のクエリを用いた値検索を提案する。 本手法は,フォームのレイアウトやセマンティクスの理解に基づいて,任意のクエリのターゲット値を予測する。 本稿では,大規模モデル事前学習における文書理解を改善するためのシンプルな文書言語モデリング (simpleDLM) 戦略を提案する。
  論文  参考訳（メタデータ） (2021-12-15T01:12:02Z)
• Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback [29.719150565643965]
  本稿では,疑似関連性フィードバック(PRF)を用いて高密度検索のためのクエリ表現を改善する新しいクエリエンコーダであるANCE-PRFを提案する。 ANCE-PRF は BERT エンコーダを使用し、検索モデルである ANCE からクエリとトップ検索されたドキュメントを消費し、関連ラベルから直接クエリの埋め込みを生成する。 PRFエンコーダは、学習された注意機構でノイズを無視しながら、PRF文書から関連および補完的な情報を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2021-08-30T18:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。