論文の概要: Compressing Long Context for Enhancing RAG with AMR-based Concept Distillation

• arxiv url: http://arxiv.org/abs/2405.03085v1
• Date: Mon, 6 May 2024 00:18:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 15:14:27.608087
• Title: Compressing Long Context for Enhancing RAG with AMR-based Concept Distillation
• Title（参考訳）: AMRを用いた概念蒸留によるRAG向上のための圧縮長文脈
• Authors: Kaize Shi, Xueyao Sun, Qing Li, Guandong Xu,
• Abstract要約: 大規模言語モデル(LLM)は情報取得に大きく貢献している。 Retrieval Augmented Generation (RAG)は、外部の非パラメトリック知識を取り入れることで、この制限に対処する。 本稿では,抽象表現(AMR)に基づく概念蒸留アルゴリズムを用いた新しい概念ベースRAGフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 17.156915103545728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have made significant strides in information acquisition. However, their overreliance on potentially flawed parametric knowledge leads to hallucinations and inaccuracies, particularly when handling long-tail, domain-specific queries. Retrieval Augmented Generation (RAG) addresses this limitation by incorporating external, non-parametric knowledge. Nevertheless, the retrieved long-context documents often contain noisy, irrelevant information alongside vital knowledge, negatively diluting LLMs' attention. Inspired by the supportive role of essential concepts in individuals' reading comprehension, we propose a novel concept-based RAG framework with the Abstract Meaning Representation (AMR)-based concept distillation algorithm. The proposed algorithm compresses the cluttered raw retrieved documents into a compact set of crucial concepts distilled from the informative nodes of AMR by referring to reliable linguistic features. The concepts explicitly constrain LLMs to focus solely on vital information in the inference process. We conduct extensive experiments on open-domain question-answering datasets to empirically evaluate the proposed method's effectiveness. The results indicate that the concept-based RAG framework outperforms other baseline methods, particularly as the number of supporting documents increases, while also exhibiting robustness across various backbone LLMs. This emphasizes the distilled concepts are informative for augmenting the RAG process by filtering out interference information. To the best of our knowledge, this is the first work introducing AMR to enhance the RAG, presenting a potential solution to augment inference performance with semantic-based context compression.
• Abstract（参考訳）: 大規模言語モデル(LLM)は情報取得に大きく貢献している。 しかしながら、潜在的に欠陥のあるパラメトリック知識への過度な依存は、特に長い尾のドメイン固有のクエリを扱う際に、幻覚と不正確な結果をもたらす。 Retrieval Augmented Generation (RAG)は、外部の非パラメトリック知識を取り入れることで、この制限に対処する。 それでも、検索された長文文書には、しばしばノイズがあり、重要な知識とともに無関係な情報が含まれており、LLMの注意を否定的に薄めている。 本稿では,AMR(Abstract Meaning Representation)に基づく概念蒸留アルゴリズムを用いた新しい概念ベースRAGフレームワークを提案する。 提案アルゴリズムは, バラバラの生文書を, 信頼性のある言語的特徴を参照して, AMRの情報ノードから抽出した重要な概念のコンパクトな集合に圧縮する。 この概念は LLM を推論プロセスにおける重要な情報のみにのみ焦点を絞っている。 提案手法の有効性を実証的に評価するために,オープンドメイン質問応答データセットに関する広範な実験を行った。 以上の結果から,RAGフレームワークは他のベースライン手法よりも優れており,特にサポートドキュメントの数が増加するとともに,バックボーンLLMの堅牢性も高いことが示唆された。 このことは、蒸留された概念が干渉情報をフィルタリングすることでRAGプロセスの増強に有益なことを強調している。 我々の知る限りでは、RAGを強化するためにAMRを導入した最初の成果であり、セマンティックベースのコンテキスト圧縮による推論性能を向上するための潜在的なソリューションを提供する。

関連論文リスト

• Context Awareness Gate For Retrieval Augmented Generation [2.749898166276854]
  Retrieval Augmented Generation (RAG) は、大規模言語モデル(LLM)の限界を軽減し、ドメイン固有の質問に答える手段として広く採用されている。 これまでの研究は主に、取得したデータチャンクの精度と品質を改善し、生成パイプライン全体のパフォーマンスを向上させることに重点を置いてきた。 オープンドメイン質問応答における無関係情報検索の効果について検討し,LLM出力の品質に対する顕著な有害な影響を明らかにする。
  論文  参考訳（メタデータ） (2024-11-25T06:48:38Z)
• Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
  本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。 具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。 さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
  論文  参考訳（メタデータ） (2024-10-11T14:03:29Z)
• GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。 本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• How Much Can RAG Help the Reasoning of LLM? [9.601957219734683]
  Retrieval-Augmented Generation (RAG)は、現代のLarge Language Models (LLMs)で大きな人気を集めている。 RAGは推論プロセスにどのように役立つのか、RAGは推論能力を改善するのにどのように役立つのか、まだ疑問が残る。
  論文  参考訳（メタデータ） (2024-10-03T09:48:09Z)
• Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting [68.90949377014742]
  Speculative RAG(投機的RAG)は、より大規模なジェネラリストLMを利用して、より小さな蒸留専門のLMによって並列に生成された複数のRAGドラフトを効率よく検証するフレームワークである。 提案手法は,より小さな専門家のLMにドラフト作成を委譲することでRAGを加速し,より大きなジェネラリストのLMがドラフトに1回の検証パスを実行する。 PubHealthの従来のRAGシステムと比較して、レイテンシを51%削減しながら、最大12.97%の精度向上を実現している。
  論文  参考訳（メタデータ） (2024-07-11T06:50:19Z)
• Retrieval Meets Reasoning: Even High-school Textbook Knowledge Benefits Multimodal Reasoning [49.3242278912771]
  RMR(Retrieval Meets Reasoning)と呼ばれる新しいマルチモーダルRAGフレームワークについて紹介する。 RMRフレームワークは、最も関連性の高い問合せ対を特定するために、バイモーダル検索モジュールを使用する。 これは、ベンチマークデータセットのスペクトルにわたって様々なビジョン言語モデルの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-05-31T14:23:49Z)
• IM-RAG: Multi-Round Retrieval-Augmented Generation Through Learning Inner Monologues [10.280113107290067]
  IM-RAGアプローチは、多ラウンドRAGをサポートするために、情報検索システムとLarge Language Models (LLM)を統合する。 IMプロセス全体が強化学習(Reinforcement Learning, RL)によって最適化され、プログレストラッカーが組み込まれ、中間段階の報酬が提供される。 提案手法は, 赤外線モジュールの統合において高い柔軟性を提供しながら, 最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2024-05-15T12:41:20Z)
• REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering [115.72130322143275]
  REAR(Relevance-Aware Retrieval-augmented approach for open-domain Question answering, QA) 我々は,特殊な設計のアセスメントモジュールを組み込むことで,LLMベースのRAGシステムのための新しいアーキテクチャを開発する。 オープンドメインの4つのQAタスクの実験では、REARは以前の競争力のあるRAGアプローチよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-02-27T13:22:51Z)
• Robust Saliency-Aware Distillation for Few-shot Fine-grained Visual Recognition [57.08108545219043]
  サンプルが少ない新しいサブカテゴリを認識することは、コンピュータビジョンにおいて不可欠で挑戦的な研究課題である。 既存の文献は、ローカルベースの表現アプローチを採用することでこの問題に対処している。 本稿では,ロバスト・サリエンシ・アウェア蒸留法(RSaD)を提案する。
  論文  参考訳（メタデータ） (2023-05-12T00:13:17Z)
• Entity Concept-enhanced Few-shot Relation Extraction [35.10974511223129]
  長尾分布問題において,FSRE (Few-shot relation extract) が重要である。 ほとんどの既存のFSREアルゴリズムは、認識されたエンティティペアと共に文の情報に基づいて関係を正確に分類することができない。 本稿では,エンティティ固有の概念を導入し,関係予測の手がかりを提供する,エンティティ強化型FEw-shot Relation extract scheme(ConceptFERE)を提案する。
  論文  参考訳（メタデータ） (2021-06-04T10:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。