論文の概要: Oreo: A Plug-in Context Reconstructor to Enhance Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2502.13019v2
• Date: Thu, 20 Feb 2025 16:47:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:28:22.430951
• Title: Oreo: A Plug-in Context Reconstructor to Enhance Retrieval-Augmented Generation
• Title（参考訳）: Oreo: Retrieval-Augmented Generationを強化するプラグインコンテキストリコンストラクタ
• Authors: Sha Li, Naren Ramakrishnan,
• Abstract要約: 大規模言語モデル(LLM)は、パラメトリックな知識が限られ、ドメイン固有の専門知識が欠如しているため、幻覚に弱いままである。 Retrieval-Augmented Generation (RAG)は、LLMの知識基盤を強化するために外部文書検索を組み込むことによって、この問題に対処する。 発電機に供給する前に外部の知識ソースを洗練するためのコンパクトで効率的でプラガブルなモジュールを導入する。
• 参考スコア（独自算出の注目度）: 28.568010424711563
• License:
• Abstract: Despite the remarkable capabilities of Large Language Models (LLMs) in various NLP tasks, they remain vulnerable to hallucinations due to their limited parametric knowledge and lack of domain-specific expertise. Retrieval-Augmented Generation (RAG) addresses this challenge by incorporating external document retrieval to augment the knowledge base of LLMs. In this approach, RAG retrieves document chunks from an external corpus in response to a query, which are then used as context for the downstream language model to generate an answer. However, these retrieved knowledge sources often include irrelevant or erroneous information, undermining the effectiveness of RAG in downstream tasks. To overcome this limitation, we introduce a compact, efficient, and pluggable module designed to refine external knowledge sources before feeding them to the generator. The module reconstructs retrieved content by extracting the most relevant and supportive information and reorganising it into a concise, query-specific format. Through a three-stage training paradigm - comprising supervised fine-tuning, contrastive multi-task learning, and reinforcement learning-based alignment - it prioritises critical knowledge and aligns it with the generator's preferences. This method enables LLMs to produce outputs that are more accurate, reliable, and contextually appropriate.
• Abstract（参考訳）: 様々なNLPタスクにおけるLarge Language Models(LLM)の顕著な能力にもかかわらず、パラメトリック知識の制限とドメイン固有の専門知識の欠如により、幻覚に弱いままである。 Retrieval-Augmented Generation (RAG)は、LLMの知識基盤を強化するために外部文書検索を組み込むことによって、この問題に対処する。 このアプローチでは、RAGはクエリに応答して外部コーパスからドキュメントチャンクを取得し、ダウンストリーム言語モデルのコンテキストとして使用して回答を生成する。 しかしながら、これらの検索された知識源は、しばしば無関係または誤の情報を含み、下流タスクにおけるRAGの有効性を損なう。 この制限を克服するため,発電機に供給する前に外部の知識ソースを洗練するためのコンパクトで効率的でプラガブルなモジュールを導入する。 モジュールは、最も関連性の高い支援的な情報を抽出し、簡潔でクエリ固有のフォーマットに再構成することで、検索されたコンテンツを再構成する。 教師付き微調整、対照的なマルチタスク学習、強化学習に基づくアライメントを含む3段階のトレーニングパラダイムを通じて、重要な知識を優先し、ジェネレータの好みに合わせる。 この方法により、LCMはより正確で信頼性があり、文脈的に適切な出力を生成することができる。

関連論文リスト

• Parametric Retrieval Augmented Generation [32.29608109539912]
  Parametric RAGは、外部知識を直接フィードフォワードネットワークのパラメータに統合する新しいRAGパラダイムである。 これは、大きな言語モデルにおける知識増強の有効性と効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-01-27T10:04:49Z)
• Enhancing LLM's Ability to Generate More Repository-Aware Unit Tests Through Precise Contextual Information Injection [4.367526927436771]
  プロンプトエンジニアリングによって導かれる大規模言語モデル(LLM)は、幅広いタスクを扱う能力に注目を集めている。 LLMは、プロジェクトのグローバルな文脈に対する認識の欠如により、焦点メソッドや関数の単体テストを生成する際に幻覚を示す可能性がある。 我々は,レポジトリ対応の単体テストを生成するLLMの能力を向上するRATesterを提案する。
  論文  参考訳（メタデータ） (2025-01-13T15:43:36Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
  本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。 具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。 さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
  論文  参考訳（メタデータ） (2024-10-11T14:03:29Z)
• Peering into the Mind of Language Models: An Approach for Attribution in Contextual Question Answering [9.86691461253151]
  大規模言語モデル(LLM)の隠れ状態表現を利用した文脈質問応答における帰属手法を提案する。 提案手法は,より詳細な属性を提供し,生成した回答の質を保ちながら,広範囲なモデル再訓練および検索モデルオーバーヘッドの必要性を回避している。 本稿では,LLM世代に対するトークンレベルのアノテーションを文脈質問応答設定に有する属性データセットであるVerifiability-granularを提案する。
  論文  参考訳（メタデータ） (2024-05-28T09:12:44Z)
• REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering [115.72130322143275]
  REAR(Relevance-Aware Retrieval-augmented approach for open-domain Question answering, QA) 我々は,特殊な設計のアセスメントモジュールを組み込むことで,LLMベースのRAGシステムのための新しいアーキテクチャを開発する。 オープンドメインの4つのQAタスクの実験では、REARは以前の競争力のあるRAGアプローチよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-02-27T13:22:51Z)
• Contextual Knowledge Pursuit for Faithful Visual Synthesis [33.191847768674826]
  大きな言語モデル(LLM)では、幻覚を減らすための一般的な戦略は、外部データベースから事実知識を取得することである。 本稿では,外部知識とパラメトリック知識の相補的強みを利用して,生成元が信頼できる視覚コンテンツを生成できるようにするフレームワークであるコンパラメトリック知識探索法(CKPT)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T18:51:46Z)
• Learning to Filter Context for Retrieval-Augmented Generation [75.18946584853316]
  生成モデルは、部分的にまたは完全に無関係な経路が与えられた出力を生成するために要求される。 FILCOは、語彙と情報理論のアプローチに基づいて有用なコンテキストを特定する。 テスト時に検索したコンテキストをフィルタリングできるコンテキストフィルタリングモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-14T18:41:54Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。