論文の概要: Multi-Source Knowledge Pruning for Retrieval-Augmented Generation: A Benchmark and Empirical Study

• arxiv url: http://arxiv.org/abs/2409.13694v2
• Date: Wed, 27 Nov 2024 15:13:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:24:35.667213
• Title: Multi-Source Knowledge Pruning for Retrieval-Augmented Generation: A Benchmark and Empirical Study
• Title（参考訳）: 検索機能強化ジェネレーションのためのマルチソース知識プランニング : ベンチマークと実証的研究
• Authors: Shuo Yu, Mingyue Cheng, Jiqian Yang, Jie Ouyang, Yucong Luo, Chenyi Lei, Qi Liu, Enhong Chen,
• Abstract要約: 大規模言語モデル (LLM) の幻覚を緩和するための効果的なアプローチとして, 検索拡張世代 (RAG) が認識されている。 本稿では,多様かつ相補的な領域にまたがる構造化知識と非構造化知識を組み合わせたベンチマークデータセットを標準化する。 また,マルチグラニュラリティプルーニング戦略を採用するのが主な特徴であるPruningRAGというプラグイン・アンド・プレイのRAGフレームワークを開発した。
• 参考スコア（独自算出の注目度）: 46.55831783809377
• License:
• Abstract: Retrieval-augmented generation (RAG) is increasingly recognized as an effective approach for mitigating the hallucination of large language models (LLMs) through the integration of external knowledge. While numerous efforts, most studies focus on a single type of externeal knowledge source. However, in real-world applications, most situations involve diverse knowledge from various sources, yet this area has been less explored. The main dilemma is the lack of a suitable dataset containing multiple knowledge sources and pre-exploration of the associated issues. To address these challenges, we standardize a benchmark dataset that combines structured and unstructured knowledge across diverse and complementary domains. Based on this dataset, we further develop a plug-and-play RAG framework, PruningRAG, whose main characteristic is to employ multi-granularity pruning strategies for optimizing the integration of relevant information and minimizing misleading context. Building upon the standardized dataset and PruningRAG, we also report a series of experimental results, as well as insightful findings. Our dataset and code are publicly available\footnote{https://github.com/USTCAGI/PruningRAG}, with the aim of advancing future research in the RAG community.
• Abstract（参考訳）: 大規模言語モデル (LLM) の幻覚を緩和するための効果的なアプローチとして, 検索拡張世代 (RAG) が, 外部知識の統合によってますます認識されている。 多くの努力を払っているが、ほとんどの研究は単一種類の外部知識源に焦点を当てている。 しかし、現実世界の応用では、ほとんどの状況は様々な情報源からの多様な知識を伴っているが、この領域は研究されていない。 主なジレンマは、複数の知識ソースと関連する問題の事前探索を含む適切なデータセットがないことである。 これらの課題に対処するため、さまざまな補完ドメインにまたがる構造化知識と非構造化知識を組み合わせたベンチマークデータセットを標準化しました。 このデータセットに基づいて、プラグアンドプレイのRAGフレームワークであるPruningRAGをさらに発展させ、その主な特徴は、関連する情報の統合を最適化し、誤解を招くコンテキストを最小限に抑えるために、多粒度プルーニング戦略を採用することである。 標準化されたデータセットとPruningRAGに基づいて、一連の実験結果と洞察に富んだ結果も報告する。 我々のデータセットとコードは公開されており、RAGコミュニティにおける今後の研究を進めることを目的としています。

関連論文リスト

• A Comprehensive Survey of Retrieval-Augmented Generation (RAG): Evolution, Current Landscape and Future Directions [0.0]
  RAGは、検索機構と生成言語モデルを組み合わせることで、出力の精度を高める。 近年の研究では, 検索効率向上のための新しい手法が注目されている。 RAGモデルの堅牢性向上に焦点をあてた今後の研究方向性が提案されている。
  論文  参考訳（メタデータ） (2024-10-03T22:29:47Z)
• Trustworthiness in Retrieval-Augmented Generation Systems: A Survey [59.26328612791924]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。 本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-16T09:06:44Z)
• RAGChecker: A Fine-grained Framework for Diagnosing Retrieval-Augmented Generation [61.14660526363607]
  本稿では,検索モジュールと生成モジュールの両方に対して,一連の診断指標を組み込んだ詳細な評価フレームワークであるRAGCheckerを提案する。 RAGCheckerは、他の評価指標よりも、人間の判断との相関が著しく優れている。 RAGCheckerのメトリクスは、より効果的なRAGシステムの開発において研究者や実践者を導くことができる。
  論文  参考訳（メタデータ） (2024-08-15T10:20:54Z)
• CRAG -- Comprehensive RAG Benchmark [58.15980697921195]
  Retrieval-Augmented Generation (RAG) は、Large Language Model (LLM) の知識不足を緩和するための有望なソリューションとして最近登場した。 既存のRAGデータセットは、現実世界の質問回答(QA)タスクの多様性と動的な性質を適切に表現していない。 このギャップを埋めるために、包括的RAGベンチマーク(CRAG)を導入する。 CRAGは、Webと知識グラフ(KG)検索をシミュレートする4,409組の質問応答ペアとモックAPIの実際の質問応答ベンチマークである。
  論文  参考訳（メタデータ） (2024-06-07T08:43:07Z)
• DuetRAG: Collaborative Retrieval-Augmented Generation [57.440772556318926]
  協調検索拡張生成フレームワークであるDuetRAGが提案されている。 ブートストラップの哲学はドメインフィニングとRAGモデルを同時に統合することである。
  論文  参考訳（メタデータ） (2024-05-12T09:48:28Z)
• A Survey on Retrieval-Augmented Text Generation for Large Language Models [1.4579344926652844]
  Retrieval-Augmented Generation (RAG)は、検索手法とディープラーニングの進歩を融合する。 本稿では,RAGパラダイムを検索前,検索後,検索後,生成の4つのカテゴリに分類する。 RAGの進化を概説し、重要な研究の分析を通して分野の進歩について論じている。
  論文  参考訳（メタデータ） (2024-04-17T01:27:42Z)
• Retrieval-Augmented Generation for AI-Generated Content: A Survey [38.50754568320154]
  このような課題に対処するためのパラダイムとして,レトリーバル拡張生成(RAG)が登場している。 RAGは情報検索プロセスを導入し、利用可能なデータストアから関連オブジェクトを検索することで生成プロセスを強化する。 本稿では,RAG手法をAIGCシナリオに統合する既存の取り組みを概観的にレビューする。
  論文  参考訳（メタデータ） (2024-02-29T18:59:01Z)
• REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering [115.72130322143275]
  REAR(Relevance-Aware Retrieval-augmented approach for open-domain Question answering, QA) 我々は,特殊な設計のアセスメントモジュールを組み込むことで,LLMベースのRAGシステムのための新しいアーキテクチャを開発する。 オープンドメインの4つのQAタスクの実験では、REARは以前の競争力のあるRAGアプローチよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-02-27T13:22:51Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)
• Retrieval-Augmented Generation for Large Language Models: A Survey [17.82361213043507]
  大きな言語モデル(LLM)には印象的な能力があるが、幻覚のような課題に直面している。 Retrieval-Augmented Generation (RAG) は,外部データベースからの知識を取り入れた,有望なソリューションとして登場した。
  論文  参考訳（メタデータ） (2023-12-18T07:47:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。