論文の概要: Decoding a Neural Retriever's Latent Space for Query Suggestion
- arxiv url: http://arxiv.org/abs/2210.12084v1
- Date: Fri, 21 Oct 2022 16:19:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 13:25:29.905432
- Title: Decoding a Neural Retriever's Latent Space for Query Suggestion
- Title(参考訳): クエリ提案のためのニューラルリトリバーの潜在空間のデコード
- Authors: Leonard Adolphs, Michelle Chen Huebscher, Christian Buck, Sertan
Girgin, Olivier Bachem, Massimiliano Ciaramita, Thomas Hofmann
- Abstract要約: 本稿では,有意なクエリをその潜在表現から復号することが可能であること,また,潜在空間の正しい方向に移動すると,関連する段落を検索するクエリを復号することができることを示す。
クエリデコーダを用いて、MSMarcoのクエリ再構成の大規模な合成データセットを生成する。
このデータに基づいて、クエリー提案の適用のために擬似関連フィードバック(PRF)T5モデルを訓練する。
- 参考スコア(独自算出の注目度): 28.410064376447718
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural retrieval models have superseded classic bag-of-words methods such as
BM25 as the retrieval framework of choice. However, neural systems lack the
interpretability of bag-of-words models; it is not trivial to connect a query
change to a change in the latent space that ultimately determines the retrieval
results. To shed light on this embedding space, we learn a "query decoder"
that, given a latent representation of a neural search engine, generates the
corresponding query. We show that it is possible to decode a meaningful query
from its latent representation and, when moving in the right direction in
latent space, to decode a query that retrieves the relevant paragraph. In
particular, the query decoder can be useful to understand "what should have
been asked" to retrieve a particular paragraph from the collection. We employ
the query decoder to generate a large synthetic dataset of query reformulations
for MSMarco, leading to improved retrieval performance. On this data, we train
a pseudo-relevance feedback (PRF) T5 model for the application of query
suggestion that outperforms both query reformulation and PRF information
retrieval baselines.
- Abstract(参考訳): ニューラル検索モデルは、bm25のような古典的な単語のバッグ・オブ・ワード法を検索フレームワークとして置き換えた。
しかし、ニューラルネットワークは、単語の袋モデルの解釈性に欠けており、クエリの変更を最終的に検索結果を決定する潜在空間の変更につなぐことは自明ではない。
この埋め込み空間に光を当てるために、ニューラルネットワークの潜在表現が与えられた場合、対応するクエリを生成する"クエリデコーダ"を学習する。
我々は,その潜在表現から有意義なクエリをデコードすることができ,また,潜在空間で正しい方向に移動する場合,関連する段落を取得するクエリをデコードできることを示す。
特に、クエリデコーダは、コレクションから特定の段落を取得するために「何を要求すべきか」を理解するのに役立ちます。
我々はクエリデコーダを用いてmsmarcoのクエリ変換の大規模な合成データセットを生成し,検索性能の向上に繋がる。
このデータに基づいて、クエリ修正とPRF情報検索ベースラインの両方に優れるクエリ提案の適用のために、擬似関連フィードバック(PRF)T5モデルを訓練する。
関連論文リスト
- Ask Optimal Questions: Aligning Large Language Models with Retriever's
Preference in Conversational Search [25.16282868262589]
RetPOは、ターゲット検索システムの好みに合わせて検索クエリを再構成するための言語モデル(LM)を最適化するように設計されている。
我々は、12Kの会話で410K以上のクエリを書き換えるRetrievers' Feedbackと呼ばれる大規模なデータセットを構築した。
このモデルにより,最近の2つの対話型検索ベンチマークにおいて,最先端の性能が得られた。
論文 参考訳(メタデータ) (2024-02-19T04:41:31Z) - ConvGQR: Generative Query Reformulation for Conversational Search [37.54018632257896]
ConvGQRは、生成事前訓練された言語モデルに基づいて会話クエリを再構成する新しいフレームワークである。
本稿では,クエリ再構成と検索の両方を最適化する知識注入機構を提案する。
論文 参考訳(メタデータ) (2023-05-25T01:45:06Z) - Decomposing Complex Queries for Tip-of-the-tongue Retrieval [72.07449449115167]
複雑なクエリは、コンテンツ要素(例えば、書籍の文字やイベント)、ドキュメントテキスト以外の情報を記述する。
この検索設定は舌の先端 (TOT) と呼ばれ、クエリと文書テキスト間の語彙的および意味的重複に依存するモデルでは特に困難である。
クエリを個別のヒントに分解し、サブクエリとしてルーティングし、特定の検索者にルーティングし、結果をアンサンブルすることで、このような複雑なクエリを扱うための、シンプルで効果的なフレームワークを導入します。
論文 参考訳(メタデータ) (2023-05-24T11:43:40Z) - Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。
この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
論文 参考訳(メタデータ) (2023-05-23T17:27:50Z) - Improving Content Retrievability in Search with Controllable Query
Generation [5.450798147045502]
マシンが学習した検索エンジンは高い検索可能性バイアスを持ち、クエリの大部分が同じエンティティを返す。
そこで我々はCtrlQGenを提案する。CtrlQGenは、選択したインテントナローあるいは広義のクエリを生成する方法である。
音楽,ポッドキャスト,書籍の各分野のデータセットから得られた結果から,高密度検索モデルの検索可能性バイアスを著しく低減できることがわかった。
論文 参考訳(メタデータ) (2023-03-21T07:46:57Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳(メタデータ) (2022-05-23T11:01:59Z) - Graph Enhanced BERT for Query Understanding [55.90334539898102]
クエリ理解は、ユーザの検索意図を探索し、ユーザが最も望まれる情報を発見できるようにする上で、重要な役割を果たす。
近年、プレトレーニング言語モデル (PLM) は様々な自然言語処理タスクを進歩させてきた。
本稿では,クエリコンテンツとクエリグラフの両方を活用可能な,グラフ強化事前学習フレームワークGE-BERTを提案する。
論文 参考訳(メタデータ) (2022-04-03T16:50:30Z) - Improving Query Representations for Dense Retrieval with Pseudo
Relevance Feedback [29.719150565643965]
本稿では,疑似関連性フィードバック(PRF)を用いて高密度検索のためのクエリ表現を改善する新しいクエリエンコーダであるANCE-PRFを提案する。
ANCE-PRF は BERT エンコーダを使用し、検索モデルである ANCE からクエリとトップ検索されたドキュメントを消費し、関連ラベルから直接クエリの埋め込みを生成する。
PRFエンコーダは、学習された注意機構でノイズを無視しながら、PRF文書から関連および補完的な情報を効果的にキャプチャする。
論文 参考訳(メタデータ) (2021-08-30T18:10:26Z) - APRF-Net: Attentive Pseudo-Relevance Feedback Network for Query
Categorization [12.634704014206294]
クエリ分類のためのレアクエリの表現を強化するために,textbfAttentive textbfPseudo textbfRelevance textbfFeedback textbfNetwork (APRF-Net) という新しいディープニューラルネットワークを提案する。
以上の結果から,APRF-Netはクエリ分類をF1@1$スコアで5.9%改善し,レアクエリでは8.2%向上した。
論文 参考訳(メタデータ) (2021-04-23T02:34:08Z) - Tree-Augmented Cross-Modal Encoding for Complex-Query Video Retrieval [98.62404433761432]
インターネット上のユーザ生成ビデオの急速な増加により、テキストベースのビデオ検索システムの必要性が高まっている。
従来の手法は主に単純なクエリによる検索における概念に基づくパラダイムを好んでいる。
木を増設したクロスモーダルを提案する。
クエリの言語構造とビデオの時間表現を共同で学習する手法。
論文 参考訳(メタデータ) (2020-07-06T02:50:27Z) - Query Resolution for Conversational Search with Limited Supervision [63.131221660019776]
本稿では,双方向トランスフォーマに基づくニューラルクエリ解決モデルQuReTeCを提案する。
我々はQuReTeCが最先端モデルより優れており、また、QuReTeCのトレーニングに必要な人為的なデータ量を大幅に削減するために、我々の遠隔監視手法が有効であることを示す。
論文 参考訳(メタデータ) (2020-05-24T11:37:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。