論文の概要: Generative Dense Retrieval: Memory Can Be a Burden

• arxiv url: http://arxiv.org/abs/2401.10487v1
• Date: Fri, 19 Jan 2024 04:24:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 16:55:47.481467
• Title: Generative Dense Retrieval: Memory Can Be a Burden
• Title（参考訳）: Generative Dense Retrieval:メモリはバーデンになれる
• Authors: Peiwen Yuan, Xinglin Wang, Shaoxiong Feng, Boyuan Pan, Yiwei Li, Heda Wang, Xupeng Miao, Kan Li
• Abstract要約: Generative Retrieval (GR) はクエリが与えられたドキュメント識別子を自動でデコードする。 Dense Retrieval (DR) はクラスタから関連ドキュメントへのきめ細かいクラスタ内マッチングを実現するために導入された。 DRは、NQデータセットを複数の設定で平均3.0R@100改善する。
• 参考スコア（独自算出の注目度）: 16.964086245755798
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative Retrieval (GR), autoregressively decoding relevant document identifiers given a query, has been shown to perform well under the setting of small-scale corpora. By memorizing the document corpus with model parameters, GR implicitly achieves deep interaction between query and document. However, such a memorizing mechanism faces three drawbacks: (1) Poor memory accuracy for fine-grained features of documents; (2) Memory confusion gets worse as the corpus size increases; (3) Huge memory update costs for new documents. To alleviate these problems, we propose the Generative Dense Retrieval (GDR) paradigm. Specifically, GDR first uses the limited memory volume to achieve inter-cluster matching from query to relevant document clusters. Memorizing-free matching mechanism from Dense Retrieval (DR) is then introduced to conduct fine-grained intra-cluster matching from clusters to relevant documents. The coarse-to-fine process maximizes the advantages of GR's deep interaction and DR's scalability. Besides, we design a cluster identifier constructing strategy to facilitate corpus memory and a cluster-adaptive negative sampling strategy to enhance the intra-cluster mapping ability. Empirical results show that GDR obtains an average of 3.0 R@100 improvement on NQ dataset under multiple settings and has better scalability.
• Abstract（参考訳）: クエリが与えられた文書識別子を自動でデコードする生成検索(gr)は,小規模コーパスの設定下でうまく機能することが示されている。 モデルパラメータで文書コーパスを記憶することにより、GRはクエリとドキュメント間の深い相互作用を暗黙的に達成する。 しかし,このような記憶機構の欠点は,(1) 文書の微細な特徴に対する記憶精度の低下,(2) コーパスサイズの増加に伴う記憶の混乱,(3) 新たな文書に対するメモリ更新コストの増大,の3つである。 これらの問題を緩和するために,GDR(Generative Dense Retrieval)パラダイムを提案する。 具体的には、gdrはまず、限られたメモリボリュームを使用して、クエリから関連するドキュメントクラスタへのクラスタ間マッチングを実現する。 次に、Dense Retrieval (DR) のメモリフリーマッチング機構を導入し、クラスタから関連ドキュメントへのきめ細かいクラスタ内マッチングを行う。 粗粒度プロセスはGRの深い相互作用とDRのスケーラビリティの利点を最大化する。 さらに,コーパスメモリを容易にするクラスタ識別子構築戦略とクラスタ内マッピング能力を高めるクラスタ適応型ネガティブサンプリング戦略を設計する。 実験の結果、GDRはNQデータセットを複数の設定で平均3.0R@100改善し、スケーラビリティが向上した。

関連論文リスト

• Generative Retrieval Meets Multi-Graded Relevance [104.75244721442756]
  GRADed Generative Retrieval (GR$2$)というフレームワークを紹介します。 GR$2$は2つの重要なコンポーネントに焦点を当てている。 マルチグレードとバイナリの関連性を持つデータセットの実験は,GR$2$の有効性を示した。
  論文  参考訳（メタデータ） (2024-09-27T02:55:53Z)
• MemoRAG: Moving towards Next-Gen RAG Via Memory-Inspired Knowledge Discovery [24.38640001674072]
  Retrieval-Augmented Generation (RAG)は、検索ツールを利用して外部データベースにアクセスする。 既存のRAGシステムは主に簡単な質問応答タスクに有効である。 本稿では,MemoRAGを提案する。
  論文  参考訳（メタデータ） (2024-09-09T13:20:31Z)
• ABCDE: Application-Based Cluster Diff Evals [49.1574468325115]
  それは実用性を目指しており、アイテムはアプリケーション固有の重要な値を持つことができ、クラスタリングがどちらが優れているかを判断するときに人間の判断を使うのは粗悪であり、アイテムの任意のスライスのためのメトリクスを報告できる。 クラスタリング品質の差分を測定するアプローチは、高価な地平を前もって構築し、それに関して各クラスタリングを評価する代わりに、ABCDEはクラスタリング間の実際の差分に基づいて、判定のための質問をサンプリングする。
  論文  参考訳（メタデータ） (2024-07-31T08:29:35Z)
• Graph Neural Re-Ranking via Corpus Graph [12.309841763251406]
  Graph Neural Re-Ranking(GNRR)は、グラフニューラルネットワーク(GNN)に基づくパイプラインで、推論中に各クエリがドキュメントの分散を考慮できるようにする。 我々は、GNNが文書間の相互作用を効果的に捉え、人気のあるランキング指標の性能を向上させることを実証した。
  論文  参考訳（メタデータ） (2024-06-17T16:38:19Z)
• Accelerating Inference of Retrieval-Augmented Generation via Sparse Context Selection [28.15184715270483]
  大きな言語モデル (LLM) は、検索によって強化され、堅牢な性能と広範な汎用性を示す。 本稿では,スパースRAGという新しいパラダイムを提案する。 Sparse RAGは、検索したドキュメントを並列にエンコードする。
  論文  参考訳（メタデータ） (2024-05-25T11:10:04Z)
• Corrective Retrieval Augmented Generation [36.04062963574603]
  Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。 生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。 CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
  論文  参考訳（メタデータ） (2024-01-29T04:36:39Z)
• Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
  大規模未ラベルデータから学ぶための2つの戦略を提案する。 第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。 第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
  論文  参考訳（メタデータ） (2023-07-26T16:19:19Z)
• Lift Yourself Up: Retrieval-augmented Text Generation with Self Memory [72.36736686941671]
  本稿では,検索拡張生成モデルを改善するための新しいフレームワーク,Selfmemを提案する。 Selfmemは、検索拡張ジェネレータを反復的に使用して、無制限のメモリプールを生成し、メモリセレクタを使用して、続く生成ラウンドの1つの出力をメモリとして選択する。 我々は,3つの異なるテキスト生成タスクにおける自己メモの有効性を評価する。
  論文  参考訳（メタデータ） (2023-05-03T21:40:54Z)
• Hybrid Inverted Index Is a Robust Accelerator for Dense Retrieval [25.402767809863946]
  逆ファイル構造は高密度検索を高速化する一般的な手法である。 本研究では,Hybrid Inverted Index (HI$2$)を提案する。
  論文  参考訳（メタデータ） (2022-10-11T15:12:41Z)
• Hierarchical Memory Learning for Fine-Grained Scene Graph Generation [49.39355372599507]
  本稿では,HML(Hierarchical Memory Learning)フレームワークを提案する。 粗い述語と細かな述語を自律的に分割した後、モデルはまず粗い述語で訓練され、次に細かな述語を学ぶ。
  論文  参考訳（メタデータ） (2022-03-14T08:01:14Z)
• Dual Cluster Contrastive learning for Person Re-Identification [78.42770787790532]
  私たちはDual Cluster Contrastive Learning(DCC)という統合クラスタコントラストフレームワークを定式化します。 DCCは、個々のメモリバンクとセントロイドクラスタメモリバンクの2種類のメモリバンクを維持している。 教師なしまたは監督されていない人物のReIDに容易に適用できる。
  論文  参考訳（メタデータ） (2021-12-09T02:43:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。