Fugu-MT 論文翻訳(概要): Ext2Gen: Alignment through Unified Extraction and Generation for Robust Retrieval-Augmented Generation

論文の概要: Ext2Gen: Alignment through Unified Extraction and Generation for Robust Retrieval-Augmented Generation

arxiv url: http://arxiv.org/abs/2503.04789v2
Date: Wed, 12 Mar 2025 14:42:18 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-13 15:37:38.976626
Title: Ext2Gen: Alignment through Unified Extraction and Generation for Robust Retrieval-Augmented Generation
Title（参考訳）: Ext2Gen:ロバスト検索拡張生成のための統一抽出と生成によるアライメント
Authors: Hwanjun Song, Jeonghwan Choi, Minseok Kim,
Abstract要約: 提案するExt2Genは,回答を生成する前にクエリ関連文を抽出することでRAGを強化する新しい抽出列生成モデルである。実験により、Ext2Genはクエリ関連文を高い精度とリコールで効果的に識別し、信頼性の高い回答をもたらすことが示された。
参考スコア（独自算出の注目度）: 18.570899885235104
License:
Abstract: Retrieval-augmented generation (RAG) enhances LLMs by integrating external knowledge, but generation remains fragile due to the uncertain placement of relevant chunks and retrieval-induced information overload, leading to hallucinations. We propose Ext2Gen, a novel extract-then-generate model that enhances RAG robustness by first extracting query-relevant sentences before generating answers. To optimize this model, we employ preference alignment through pairwise feedback learning, enabling the model to generate robust answers regardless of variations in retrieval results. Extensive experiments demonstrate that Ext2Gen effectively identifies query-relevant sentences with high precision and recall, leading to highly reliable answers. Furthermore, deploying our model in a RAG environment reveals that it not only boosts the performance of the base LLM but also synergizes with advanced retrieval strategies like query expansion. The model is available at https://huggingface.co/DISLab/Ext2Gen-8B-R2.
Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、外部知識を統合することでLLMを増強するが、関連するチャンクの配置の不確かさと検索による情報の過負荷により、生成は脆弱であり、幻覚を引き起こす。応答を生成する前にクエリ関連文を抽出することでRAGロバスト性を高める新しい抽出列生成モデルExt2Genを提案する。このモデルを最適化するために、ペアワイズフィードバック学習による選好アライメントを採用し、検索結果の変動によらず頑健な回答を生成できるようにする。大規模な実験により、Ext2Genはクエリ関連文を高い精度とリコールで効果的に識別し、信頼性の高い回答をもたらすことが示されている。さらに、RAG環境にモデルをデプロイすることで、ベースLLMの性能を向上するだけでなく、クエリ拡張のような高度な検索戦略と相乗化することを明らかにする。モデルはhttps://huggingface.co/DISLab/Ext2Gen-8B-R2で公開されている。

関連論文リスト

Optimizing Knowledge Integration in Retrieval-Augmented Generation with Self-Selection [72.92366526004464]
Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) がより正確で信頼性の高い応答を生成するのに有効であることが証明されている。本稿では,自己選択型RAGフレームワークを提案する。このフレームワークでは,内部パラメトリック知識のみで生成されたペアの応答からLLMを選択できる。
論文参考訳（メタデータ） (2025-02-10T04:29:36Z)
Chain-of-Retrieval Augmented Generation [72.06205327186069]
本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
論文参考訳（メタデータ） (2025-01-24T09:12:52Z)
Improving Factuality with Explicit Working Memory [68.39261790277615]
大規模な言語モデルは、幻覚として知られる、事実的に不正確なコンテンツを生成することができる。 EWE(Explicit Working Memory)は、外部リソースからのリアルタイムフィードバックを受信するワーキングメモリを統合することで、長文テキスト生成における事実性を高める新しい手法である。
論文参考訳（メタデータ） (2024-12-24T00:55:59Z)
Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
論文参考訳（メタデータ） (2024-11-11T14:25:37Z)
SEER: Self-Aligned Evidence Extraction for Retrieval-Augmented Generation [21.823931225182115]
本稿では,バニラモデルをエビデンス抽出器として最適化するためのモデルに基づくエビデンス抽出学習フレームワークSEERを提案する。提案手法は, 最終RAG性能を大幅に向上させ, 抽出した証拠の忠実度, 有用性, 簡潔性を向上し, 証拠の長さを9.25倍に短縮する。
論文参考訳（メタデータ） (2024-10-15T06:26:24Z)
Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
論文参考訳（メタデータ） (2024-10-11T14:03:29Z)
RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。 Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
論文参考訳（メタデータ） (2024-03-31T08:58:54Z)
Blended RAG: Improving RAG (Retriever-Augmented Generation) Accuracy with Semantic Search and Hybrid Query-Based Retrievers [0.0]
Retrieval-Augmented Generation (RAG) は、大規模言語モデル (LLM) で文書のプライベートな知識基盤を注入し、生成的Q&A (Question-Answering) システムを構築するための一般的なアプローチである。本稿では,Vector インデックスや Sparse インデックスなどのセマンティック検索手法をハイブリッドクエリ手法と組み合わせた 'Blended RAG' 手法を提案する。本研究は,NQ や TREC-COVID などの IR (Information Retrieval) データセットの検索結果の改善と,新たなベンチマーク設定を行う。
論文参考訳（メタデータ） (2024-03-22T17:13:46Z)
Corrective Retrieval Augmented Generation [36.04062963574603]
Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。 CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
論文参考訳（メタデータ） (2024-01-29T04:36:39Z)
Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
論文参考訳（メタデータ） (2023-10-17T18:18:32Z)
Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy [164.83371924650294]
検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。 Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
論文参考訳（メタデータ） (2023-05-24T16:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。