論文の概要: Continually Updating Generative Retrieval on Dynamic Corpora
- arxiv url: http://arxiv.org/abs/2305.18952v2
- Date: Fri, 15 Sep 2023 20:22:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 23:39:06.916488
- Title: Continually Updating Generative Retrieval on Dynamic Corpora
- Title(参考訳): 動的コーパスの連続的更新
- Authors: Soyoung Yoon, Chaeeun Kim, Hyunji Lee, Joel Jang, Sohee Yang, Minjoon
Seo
- Abstract要約: 我々は,検索を静的アーカイブとしてではなく,動的知識基盤として,現実の環境との整合性を高めている。
本稿では、StreamingQAベンチマークを用いて、二重エンコーダの包括的評価と生成検索を行う。
結果,Dynamic Generative Retrieval (DynamicGR) は予期せぬ結果を示した。
- 参考スコア(独自算出の注目度): 43.68139539401105
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The majority of prior work on information retrieval (IR) assumes that the
corpus is static, whereas in the real world, the documents are continually
updated. In this paper, we incorporate often overlooked dynamic nature of
knowledge into the retrieval systems. Our work treats retrieval not as static
archives but as dynamic knowledge bases better aligned with real-world
environments. We conduct a comprehensive evaluation of dual encoders and
generative retrieval, utilizing the StreamingQA benchmark designed for the
temporal knowledge updates. Our initial results show that while generative
retrieval outperforms dual encoders in static settings, the opposite is true in
dynamic settings. Surprisingly, however, when we utilize a parameter-efficient
pre-training method to enhance adaptability of generative retrieval to new
corpora, our resulting model, Dynamic Generative Retrieval (DynamicGR),
exhibits unexpected findings. It (1) efficiently compresses new knowledge in
their internal index, attaining a remarkable storage capacity due to its fully
parametric architecture and (2) outperforms dual encoders not only in static
settings but in dynamic scenarios with a 5% margin in hit@5, requiring 4 times
less training time.
- Abstract(参考訳): 情報検索(IR)に関する先行研究の大半は、コーパスが静的であると仮定しているが、実際の世界では、文書は継続的に更新される。
本稿では,しばしば見過ごされる知識の動的な性質を検索システムに組み込む。
我々の研究は、検索を静的アーカイブとしてではなく、動的知識ベースとして現実世界の環境に適合させるものとして扱う。
我々は,時系列知識更新用に設計されたstreamingqaベンチマークを用いて,デュアルエンコーダと生成的検索の包括的評価を行う。
生成的検索は静的な環境ではデュアルエンコーダよりも優れているが,動的設定では逆である。
しかし,新しいコーパスに対する生成検索の適応性を高めるためにパラメータ効率のよい事前学習法を用いると,得られたモデルであるDynamic Generative Retrieval (DynamicGR) が予期せぬ結果を示した。
1) 内部インデックスにおける新しい知識を効率よく圧縮し、完全にパラメトリックなアーキテクチャのために顕著なストレージ容量を実現し、(2) 静的な設定だけでなく、5%のマージンを持つ動的シナリオでも2つのエンコーダを上回り、4倍のトレーニング時間を必要とする。
関連論文リスト
- Evaluating Retrieval Quality in Retrieval-Augmented Generation [21.115495457454365]
従来のエンドツーエンド評価手法は計算コストが高い。
本稿では,検索リストの各文書をRAGシステム内の大規模言語モデルで個別に利用するeRAGを提案する。
eRAGは、ランタイムを改善し、エンドツーエンド評価の最大50倍のGPUメモリを消費する、大きな計算上のアドバンテージを提供する。
論文 参考訳(メタデータ) (2024-04-21T21:22:28Z) - Repoformer: Selective Retrieval for Repository-Level Code Completion [30.706277772743615]
検索強化生成(RAG)の最近の進歩は、リポジトリレベルのコード補完の新たな時代が始まった。
本稿では,不要な場合の検索を回避できる選択的なRAGフレームワークを提案する。
我々のフレームワークは、異なる世代モデル、検索者、プログラミング言語を効果的に扱えることを示す。
論文 参考訳(メタデータ) (2024-03-15T06:59:43Z) - CorpusLM: Towards a Unified Language Model on Corpus for Knowledge-Intensive Tasks [20.390672895839757]
Retrieval-augmented Generation (RAG) は、事実精度を高めるための一般的なソリューションとして登場した。
従来の検索モジュールは、大きなドキュメントインデックスと生成タスクとの切り離しに依存していることが多い。
生成検索,クローズドブック生成,RAGを統合した統一言語モデルである textbfCorpusLM を提案する。
論文 参考訳(メタデータ) (2024-02-02T06:44:22Z) - EASRec: Elastic Architecture Search for Efficient Long-term Sequential
Recommender Systems [82.76483989905961]
現在のSRS(Sequential Recommender Systems)は、計算とリソースの非効率に悩まされている。
我々は、効率的な長期シーケンスレコメンダシステム(EASRec)のための弾性アーキテクチャー探索を開発する。
EASRecは、入力データバッチから履歴情報を活用するデータ認識ゲートを導入し、レコメンデーションネットワークの性能を改善する。
論文 参考訳(メタデータ) (2024-02-01T07:22:52Z) - CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented
Generation of Large Language Models [55.47070014913373]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。
本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
論文 参考訳(メタデータ) (2024-01-30T14:25:32Z) - Building Interpretable and Reliable Open Information Retriever for New
Domains Overnight [67.03842581848299]
情報検索は、オープンドメイン質問応答(QA)など、多くのダウンストリームタスクにとって重要な要素である。
本稿では、エンティティ/イベントリンクモデルとクエリ分解モデルを用いて、クエリの異なる情報単位により正確にフォーカスする情報検索パイプラインを提案する。
より解釈可能で信頼性が高いが,提案したパイプラインは,5つのIRおよびQAベンチマークにおける通過カバレッジと記述精度を大幅に向上することを示す。
論文 参考訳(メタデータ) (2023-08-09T07:47:17Z) - Incorporating Relevance Feedback for Information-Seeking Retrieval using
Few-Shot Document Re-Ranking [56.80065604034095]
我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。
異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
論文 参考訳(メタデータ) (2022-10-19T16:19:37Z) - Autoregressive Search Engines: Generating Substrings as Document
Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。
これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。
本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文 参考訳(メタデータ) (2022-04-22T10:45:01Z) - Beyond [CLS] through Ranking by Generation [22.27275853263564]
我々は情報検索のための生成フレームワークを再考する。
我々の生成的アプローチは、解答選択タスクに対する最先端のセマンティック類似性に基づく識別モデルと同じくらい有効であることを示す。
論文 参考訳(メタデータ) (2020-10-06T22:56:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。