論文の概要: Continually Updating Generative Retrieval on Dynamic Corpora
- arxiv url: http://arxiv.org/abs/2305.18952v1
- Date: Sat, 27 May 2023 16:05:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 16:40:28.015355
- Title: Continually Updating Generative Retrieval on Dynamic Corpora
- Title（参考訳）: 動的コーパスの連続的更新
- Authors: Soyoung Yoon, Chaeeun Kim, Hyunji Lee, Joel Jang, Minjoon Seo
- Abstract要約: 本稿では,検索手法の一般化可能性の定量化を目的としたSTREAMINGIRという新しいベンチマークを提案する。
本研究では,バイエンコーダの詳細な比較評価を行い,性能の点で生成的検索を行う。
本研究は, 実用的な動的環境における生成的検索の新たな可能性を明らかにするものである。
- 参考スコア（独自算出の注目度）: 15.318178023067558
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative retrieval has recently been gaining a lot of attention from the
research community for its simplicity, high performance, and the ability to
fully leverage the power of deep autoregressive models. However, prior work on
generative retrieval has mostly investigated on static benchmarks, while
realistic retrieval applications often involve dynamic environments where
knowledge is temporal and accumulated over time. In this paper, we introduce a
new benchmark called STREAMINGIR, dedicated to quantifying the generalizability
of retrieval methods to dynamically changing corpora derived from StreamingQA,
that simulates realistic retrieval use cases. On this benchmark, we conduct an
in-depth comparative evaluation of bi-encoder and generative retrieval in terms
of performance as well as efficiency under varying degree of supervision. Our
results suggest that generative retrieval shows (1) detrimental performance
when only supervised data is used for fine-tuning, (2) superior performance
over bi-encoders when only unsupervised data is available, and (3) lower
performance to bi-encoders when both unsupervised and supervised data is used
due to catastrophic forgetting; nevertheless, we show that parameter-efficient
measures can effectively mitigate the issue and result in competitive
performance and efficiency with respect to the bi-encoder baseline. Our results
open up a new potential for generative retrieval in practical dynamic
environments. Our work will be open-sourced.
- Abstract（参考訳）: 生成的検索は、その単純さ、ハイパフォーマンス、そして深い自己回帰モデルのパワーを十分に活用できる能力について、研究コミュニティから多くの注目を集めている。
しかしながら、生成的検索に関する以前の研究は静的ベンチマークで主に研究されてきたが、現実的な検索アプリケーションは時間とともに知識が蓄積される動的環境を伴うことが多い。
本稿では,ストリームQAから派生したコーパスを動的に変化させる検索手法の一般化可能性の定量化を目的としたSTREAMINGIRという新しいベンチマークを提案する。
本ベンチマークでは,bi-encoderとgenerative retrievalの比較評価を行った。
Our results suggest that generative retrieval shows (1) detrimental performance when only supervised data is used for fine-tuning, (2) superior performance over bi-encoders when only unsupervised data is available, and (3) lower performance to bi-encoders when both unsupervised and supervised data is used due to catastrophic forgetting; nevertheless, we show that parameter-efficient measures can effectively mitigate the issue and result in competitive performance and efficiency with respect to the bi-encoder baseline.
本研究は,実用的な動的環境における生成的検索の新たな可能性を開く。
私たちの仕事はオープンソース化されます。
関連論文リスト
- Developing Retrieval Augmented Generation (RAG) based LLM Systems from PDFs: An Experience Report [3.4632900249241874]
本稿では,PDF文書を主データ源とする検索拡張生成システム(RAG)の開発経験報告について述べる。
RAGアーキテクチャは、Large Language Models (LLM) の生成能力と情報検索の精度を組み合わせたものである。
この研究の実際的な意味は、様々な分野における生成AIシステムの信頼性を高めることである。
論文 参考訳（メタデータ） (2024-10-21T12:21:49Z) - Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。
具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。
さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
論文 参考訳（メタデータ） (2024-10-11T14:03:29Z) - LightRAG: Simple and Fast Retrieval-Augmented Generation [12.86888202297654]
Retrieval-Augmented Generation (RAG) システムは、外部知識ソースを統合することで、大規模言語モデル(LLM)を強化する。
既存のRAGシステムには、フラットなデータ表現への依存やコンテキスト認識の欠如など、大きな制限がある。
テキストインデックスと検索プロセスにグラフ構造を組み込んだLightRAGを提案する。
論文 参考訳（メタデータ） (2024-10-08T08:00:12Z) - From Matching to Generation: A Survey on Generative Information Retrieval [21.56093567336119]
生成情報検索(GenIR)は新たなパラダイムとして登場し,近年注目を集めている。
本稿では,GenIRの最新研究動向を体系的にレビューすることを目的とする。
論文 参考訳（メタデータ） (2024-04-23T09:05:37Z) - CorpusLM: Towards a Unified Language Model on Corpus for Knowledge-Intensive Tasks [20.390672895839757]
Retrieval-augmented Generation (RAG) は、事実精度を高めるための一般的なソリューションとして登場した。
従来の検索モジュールは、大きなドキュメントインデックスと生成タスクとの切り離しに依存していることが多い。
生成検索,クローズドブック生成,RAGを統合した統一言語モデルである textbfCorpusLM を提案する。
論文 参考訳（メタデータ） (2024-02-02T06:44:22Z) - Analysis of the Memorization and Generalization Capabilities of AI
Agents: Are Continual Learners Robust? [91.682459306359]
連続学習(CL)では、AIエージェントが動的環境下で非定常データストリームから学習する。
本稿では,過去の知識を維持しつつ,動的環境への堅牢な一般化を実現するための新しいCLフレームワークを提案する。
提案フレームワークの一般化と記憶性能を理論的に解析した。
論文 参考訳（メタデータ） (2023-09-18T21:00:01Z) - Building Interpretable and Reliable Open Information Retriever for New
Domains Overnight [67.03842581848299]
情報検索は、オープンドメイン質問応答(QA)など、多くのダウンストリームタスクにとって重要な要素である。
本稿では、エンティティ/イベントリンクモデルとクエリ分解モデルを用いて、クエリの異なる情報単位により正確にフォーカスする情報検索パイプラインを提案する。
より解釈可能で信頼性が高いが,提案したパイプラインは,5つのIRおよびQAベンチマークにおける通過カバレッジと記述精度を大幅に向上することを示す。
論文 参考訳（メタデータ） (2023-08-09T07:47:17Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳（メタデータ） (2023-05-12T11:58:15Z) - Incorporating Relevance Feedback for Information-Seeking Retrieval using
Few-Shot Document Re-Ranking [56.80065604034095]
我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。
異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
論文 参考訳（メタデータ） (2022-10-19T16:19:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。