Fugu-MT 論文翻訳(概要): ImpRAG: Retrieval-Augmented Generation with Implicit Queries

論文の概要: ImpRAG: Retrieval-Augmented Generation with Implicit Queries

arxiv url: http://arxiv.org/abs/2506.02279v1
Date: Mon, 02 Jun 2025 21:38:21 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-04 21:47:35.094225
Title: ImpRAG: Retrieval-Augmented Generation with Implicit Queries
Title（参考訳）: ImpRAG: 命令型クエリによる検索拡張ジェネレーション
Authors: Wenzheng Zhang, Xi Victoria Lin, Karl Stratos, Wen-tau Yih, Mingda Chen,
Abstract要約: ImpRAGは、検索と生成を統一モデルに統合するクエリフリーなRAGシステムである。我々は、ImpRAGが、多様な形式を持つ未確認タスクの正確なマッチスコアを3.6-11.5改善したことを示す。
参考スコア（独自算出の注目度）: 49.510101132093396
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Retrieval-Augmented Generation (RAG) systems traditionally treat retrieval and generation as separate processes, requiring explicit textual queries to connect them. This separation can limit the ability of models to generalize across diverse tasks. In this work, we propose a query-free RAG system, named ImpRAG, which integrates retrieval and generation into a unified model. ImpRAG allows models to implicitly express their information needs, eliminating the need for human-specified queries. By dividing pretrained decoder-only language models into specialized layer groups, ImpRAG optimizes retrieval and generation tasks simultaneously. Our approach employs a two-stage inference process, using the same model parameters and forward pass for both retrieval and generation, thereby minimizing the disparity between retrievers and language models. Experiments on 8 knowledge-intensive tasks demonstrate that ImpRAG achieves 3.6-11.5 improvements in exact match scores on unseen tasks with diverse formats, highlighting its effectiveness in enabling models to articulate their own information needs and generalize across tasks. Our analysis underscores the importance of balancing retrieval and generation parameters and leveraging generation perplexities as retrieval training objectives for enhanced performance.
Abstract（参考訳）: Retrieval-Augmented Generation (RAG) システムは伝統的に検索と生成を別プロセスとして扱い、それらを接続するために明示的なテキストクエリを必要とする。この分離は、様々なタスクにまたがってモデルを一般化する能力を制限することができる。本研究では,検索と生成を統一モデルに統合したクエリフリーRAGシステムImpRAGを提案する。 ImpRAGは、人間が指定したクエリを不要にすることで、モデルが情報ニーズを暗黙的に表現することを可能にする。事前訓練されたデコーダのみの言語モデルを特殊な層群に分割することにより、ImpRAGは検索と生成を同時に最適化する。提案手法では,同一モデルパラメータとフォワードパスを用いて,検索と生成の両方に2段階の推論プロセスを導入し,検索と言語モデルの相違を最小化する。 8つの知識集約型タスクの実験では、ImpRAGは、さまざまなフォーマットで見えないタスクの正確なマッチスコアを3.6-11.5改善し、モデルが自身の情報ニーズを明確にし、タスクをまたいだ一般化を可能にする効果を強調している。本分析は,検索と生成パラメータのバランスをとることの重要性と,検索学習の目的として生成の難易度を活用することの重要性を強調した。

関連論文リスト

Accelerating Adaptive Retrieval Augmented Generation via Instruction-Driven Representation Reduction of Retrieval Overlaps [16.84310001807895]
本稿では,A-RAG法に適用可能なモデルに依存しないアプローチを提案する。具体的には、キャッシュアクセスと並列生成を使用して、それぞれプリフィルとデコードステージを高速化する。
論文参考訳（メタデータ） (2025-05-19T05:39:38Z)
SemCORE: A Semantic-Enhanced Generative Cross-Modal Retrieval Framework with MLLMs [70.79124435220695]
セマンティック強化型Cross-mOdal Retrievalフレームワーク(SemCORE)を提案する。まず,自然言語の理解と生成に最適化された生成モデルとターゲット識別子を効果的に整合させる構造化自然言語識別器(SID)を構築した。次に、粒度の細かいターゲット識別を可能にするジェネレーティブ・セマンティック・検証(GSV)戦略を導入する。
論文参考訳（メタデータ） (2025-04-17T17:59:27Z)
Ext2Gen: Alignment through Unified Extraction and Generation for Robust Retrieval-Augmented Generation [18.570899885235104]
提案するExt2Genは,回答を生成する前にクエリ関連文を抽出することでRAGを強化する新しい抽出列生成モデルである。実験により、Ext2Genはクエリ関連文を高い精度とリコールで効果的に識別し、信頼性の高い回答をもたらすことが示された。
論文参考訳（メタデータ） (2025-02-28T06:46:53Z)
Chain-of-Retrieval Augmented Generation [72.06205327186069]
本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
論文参考訳（メタデータ） (2025-01-24T09:12:52Z)
Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
論文参考訳（メタデータ） (2024-10-08T15:22:36Z)
RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。 Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
論文参考訳（メタデータ） (2024-03-31T08:58:54Z)
List-aware Reranking-Truncation Joint Model for Search and Retrieval-augmented Generation [80.12531449946655]
本稿では,2つのタスクを同時に実行可能なRe rank-Truncation joint model(GenRT)を提案する。 GenRTは、エンコーダ-デコーダアーキテクチャに基づく生成パラダイムによるリランクとトランケーションを統合している。提案手法は,Web検索および検索拡張LLMにおけるリランクタスクとトラルケーションタスクの両方においてSOTA性能を実現する。
論文参考訳（メタデータ） (2024-02-05T06:52:53Z)
CorpusLM: Towards a Unified Language Model on Corpus for Knowledge-Intensive Tasks [20.390672895839757]
Retrieval-augmented Generation (RAG) は、事実精度を高めるための一般的なソリューションとして登場した。従来の検索モジュールは、大きなドキュメントインデックスと生成タスクとの切り離しに依存していることが多い。生成検索,クローズドブック生成,RAGを統合した統一言語モデルである textbfCorpusLM を提案する。
論文参考訳（メタデータ） (2024-02-02T06:44:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。