論文の概要: ELITE: Embedding-Less retrieval with Iterative Text Exploration

• arxiv url: http://arxiv.org/abs/2505.11908v1
• Date: Sat, 17 May 2025 08:48:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.932515
• Title: ELITE: Embedding-Less retrieval with Iterative Text Exploration
• Title（参考訳）: ELITE:反復テキスト探索による埋め込みレス検索
• Authors: Zhangyu Wang, Siyuan Gao, Rong Zhou, Hao Wang, Li Ning,
• Abstract要約: 大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げた。 長期のコンテキスト制約を維持する能力は、ドキュメントレベルやマルチターンタスクのパフォーマンスを制限します。
• 参考スコア（独自算出の注目度）: 5.8851517822935335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have achieved impressive progress in natural language processing, but their limited ability to retain long-term context constrains performance on document-level or multi-turn tasks. Retrieval-Augmented Generation (RAG) mitigates this by retrieving relevant information from an external corpus. However, existing RAG systems often rely on embedding-based retrieval trained on corpus-level semantic similarity, which can lead to retrieving content that is semantically similar in form but misaligned with the question's true intent. Furthermore, recent RAG variants construct graph- or hierarchy-based structures to improve retrieval accuracy, resulting in significant computation and storage overhead. In this paper, we propose an embedding-free retrieval framework. Our method leverages the logical inferencing ability of LLMs in retrieval using iterative search space refinement guided by our novel importance measure and extend our retrieval results with logically related information without explicit graph construction. Experiments on long-context QA benchmarks, including NovelQA and Marathon, show that our approach outperforms strong baselines while reducing storage and runtime by over an order of magnitude.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語処理において目覚ましい進歩を遂げているが、長期のコンテキスト制約を維持する能力は、ドキュメントレベルやマルチターンタスクのパフォーマンスを制限している。 Retrieval-Augmented Generation (RAG)は、外部コーパスから関連情報を検索することでこれを緩和する。 しかし、既存のRAGシステムは、しばしば、コーパスレベルのセマンティック類似性に基づいて訓練された埋め込みベースの検索に依存しており、これは、形式的に類似しているが質問の真の意図と一致していないコンテンツを取得することにつながる。 さらに、最近のRAG変種は、検索精度を向上させるためにグラフベースまたは階層ベースの構造を構築しており、計算とストレージのオーバーヘッドが大幅に増大している。 本稿では,埋め込み不要な検索フレームワークを提案する。 提案手法は,新たな重要度尺度によって導かれる反復探索空間改良を用いた検索におけるLLMの論理的推論能力を活用し,明示的なグラフ構築を伴わない論理的関連情報を用いて検索結果を拡張する。 NovelQA や Marathon などの長期コンテキスト QA ベンチマークの実験では,我々のアプローチはストレージとランタイムを桁違いに削減しながら,強いベースラインを上回ります。

関連論文リスト

• Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks [11.053340674721005]
  検索拡張世代(RAG)は,外部知識ソースを統合することで言語モデルを強化する強力なアプローチとして注目されている。 本稿では、リアルタイム検索をバイパスする代替パラダイムであるキャッシュ拡張生成(CAG)を提案する。
  論文  参考訳（メタデータ） (2024-12-20T06:58:32Z)
• Corrective Retrieval Augmented Generation [36.04062963574603]
  Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。 生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。 CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
  論文  参考訳（メタデータ） (2024-01-29T04:36:39Z)
• Dense X Retrieval: What Retrieval Granularity Should We Use? [56.90827473115201]
  しばしば見過ごされる設計選択は、コーパスが索引付けされる検索単位である。 本稿では,高密度検索のための新しい検索ユニット,命題を提案する。 実験により、提案のような細粒度単位によるコーパスのインデックス付けは、検索タスクにおける通過レベル単位を著しく上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-12-11T18:57:35Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Generation-Augmented Retrieval for Open-domain Question Answering [134.27768711201202]
  GAR(Generation-Augmented Retrieval)は、オープンドメインの質問に答える機能である。 クエリーに対して多様なコンテキストを生成することは、結果の融合が常により良い検索精度をもたらすので有益であることを示す。 GARは、抽出読取装置を備えた場合、抽出QA設定の下で、自然質問およびトリビアQAデータセットの最先端性能を達成する。
  論文  参考訳（メタデータ） (2020-09-17T23:08:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。