論文の概要: RuleRAG: Rule-guided retrieval-augmented generation with language models for question answering

• arxiv url: http://arxiv.org/abs/2410.22353v1
• Date: Tue, 15 Oct 2024 14:51:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-03 08:19:46.833638
• Title: RuleRAG: Rule-guided retrieval-augmented generation with language models for question answering
• Title（参考訳）: RuleRAG: 質問応答のための言語モデルを用いたルール誘導検索拡張生成
• Authors: Zhongwu Chen, Chengjin Xu, Dingmin Wang, Zhen Huang, Yong Dou, Jian Guo,
• Abstract要約: LMを用いたルールガイド型検索生成を提案する。 それは、レトリバーが規則の方向に論理的に関連のある文書を検索するように誘導する。 ジェネレータを一様に誘導し、同じルールの集合による回答を生成する。
• 参考スコア（独自算出の注目度）: 19.116208435764513
• License:
• Abstract: Retrieval-augmented generation (RAG) framework has shown promising potential in knowledge-intensive question answering (QA) by retrieving external corpus and generating based on augmented context. However, existing approaches only consider the query itself, neither specifying the retrieval preferences for the retrievers nor informing the generators of how to refer to the retrieved documents for the answers, which poses a significant challenge to the QA performance. To address these issues, we propose Rule-Guided Retrieval-Augmented Generation with LMs, which explicitly introduces symbolic rules as demonstrations for in-context learning (RuleRAG-ICL) to guide retrievers to retrieve logically related documents in the directions of rules and uniformly guide generators to generate answers attributed by the guidance of the same set of rules. Moreover, the combination of queries and rules can be further used as supervised fine-tuning data to update retrievers and generators (RuleRAG-FT) to achieve better rule-based instruction following capability, leading to retrieve more supportive results and generate more acceptable answers. To emphasize the attribution of rules, we construct five rule-aware QA benchmarks, including three temporal and two static scenarios, and equip RuleRAG with several kinds of retrievers and generators. Experiments demonstrate that training-free RuleRAG-ICL effectively improves the retrieval quality of +89.2% in Recall@10 scores and generation accuracy of +103.1% in exact match scores over standard RAG on average across the five benchmarks, and further fine-tuned RuleRAG-FT consistently yields more significant performance enhancement. Extensive analyses indicate that RuleRAG scales well with increasing numbers of retrieved documents and exhibits generalization ability for untrained rules.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) フレームワークは、外部コーパスを検索し、拡張コンテキストに基づいて生成することで、知識集約型質問応答(QA)の有望な可能性を示している。 しかし、既存の手法ではクエリ自体を考慮せず、検索者の検索好みを指定したり、検索した文書を参照する方法を生成元に通知したりしないため、QAのパフォーマンスには大きな課題が生じる。 これらの問題に対処するために,ルールガイド付き検索拡張生成(LM)を提案する。これは,ルールの方向の論理的関連文書の検索と,同じルールセットのガイダンスによる回答を生成するために,検索者が論理的関連文書の検索を誘導するための,コンテキスト内学習(RuleRAG-ICL)のデモンストレーションとして,象徴的ルールを明示的に導入するものである。 さらに、クエリとルールの組み合わせは、レトリバーとジェネレータ(RuleRAG-FT)を更新するための教師付き微調整データとして、より優れたルールベースの命令追従能力を達成し、より支援的な結果を取得し、より受け入れられる回答を生成するために、さらに利用することができる。 ルールの属性を強調するために,3つの時間的シナリオと2つの静的シナリオを含む5つのルール対応QAベンチマークを構築し,複数のタイプの検索器とジェネレータを備える。 実験では、Recall@10スコアの+89.2%の検索品質と、標準RAGに対する正確なマッチスコアの+103.1%の精度を5つのベンチマークで効果的に改善し、さらに微調整されたR RuleRAG-FTは、より優れたパフォーマンス向上をもたらすことが示されている。 広範囲な分析から,ルールRAGは検索された文書の数の増加とともにスケールし,未学習の規則に対する一般化能力を示すことが示唆された。

関連論文リスト

• Probing-RAG: Self-Probing to Guide Language Models in Selective Document Retrieval [3.9639424852746274]
  本稿では,言語モデルの中間層からの隠れ状態表現を利用して,与えられたクエリに対する追加検索の必要性を適応的に決定するProbing-RAGを提案する。 Probing-RAGはモデルの内部認識を効果的に捉え、外部文書の取得に関する信頼性の高い意思決定を可能にする。
  論文  参考訳（メタデータ） (2024-10-17T08:48:54Z)
• Toward General Instruction-Following Alignment for Retrieval-Augmented Generation [63.611024451010316]
  Retrieval-Augmented Generation (RAG) システムの効果的な適用には、自然な指示に従うことが不可欠である。 RAGシステムにおける命令追従アライメントのための,最初の自動化,拡張性,検証可能な合成パイプラインであるVIF-RAGを提案する。
  論文  参考訳（メタデータ） (2024-10-12T16:30:51Z)
• Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
  本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。 具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。 さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
  論文  参考訳（メタデータ） (2024-10-11T14:03:29Z)
• SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
  Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。 SFR-RAG(SFR-RAG)について述べる。 また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
  論文  参考訳（メタデータ） (2024-09-16T01:08:18Z)
• RNR: Teaching Large Language Models to Follow Roles and Rules [153.6596303205894]
  既存のIFT命令から多様な役割やルールを生成する自動データ生成パイプラインであるモデルを提案する。 このデータは、複雑なシステムプロンプトに従うモデルをトレーニングするために使用することができる。 我々のフレームワークは、大規模言語モデルにおける役割と規則に従う能力を大幅に改善します。
  論文  参考訳（メタデータ） (2024-09-10T06:07:32Z)
• RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
  大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。 この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。 Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
  論文  参考訳（メタデータ） (2024-03-31T08:58:54Z)
• Blended RAG: Improving RAG (Retriever-Augmented Generation) Accuracy with Semantic Search and Hybrid Query-Based Retrievers [0.0]
  Retrieval-Augmented Generation (RAG) は、大規模言語モデル (LLM) で文書のプライベートな知識基盤を注入し、生成的Q&A (Question-Answering) システムを構築するための一般的なアプローチである。 本稿では,Vector インデックスや Sparse インデックスなどのセマンティック検索手法をハイブリッドクエリ手法と組み合わせた 'Blended RAG' 手法を提案する。 本研究は,NQ や TREC-COVID などの IR (Information Retrieval) データセットの検索結果の改善と,新たなベンチマーク設定を行う。
  論文  参考訳（メタデータ） (2024-03-22T17:13:46Z)
• GAR-meets-RAG Paradigm for Zero-Shot Information Retrieval [16.369071865207808]
  本稿では,既存のパラダイムの課題を克服する新しいGAR-meets-RAG再帰の定式化を提案する。 鍵となる設計原則は、リライト・検索段階がシステムのリコールを改善し、最終段階が精度を向上させることである。 我々の手法はBEIRベンチマークで新たな最先端性を確立し、8つのデータセットのうち6つでRecall@100とnDCG@10の指標で過去の最高の結果を上回った。
  論文  参考訳（メタデータ） (2023-10-31T03:52:08Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)
• Generation-Augmented Retrieval for Open-domain Question Answering [134.27768711201202]
  GAR(Generation-Augmented Retrieval)は、オープンドメインの質問に答える機能である。 クエリーに対して多様なコンテキストを生成することは、結果の融合が常により良い検索精度をもたらすので有益であることを示す。 GARは、抽出読取装置を備えた場合、抽出QA設定の下で、自然質問およびトリビアQAデータセットの最先端性能を達成する。
  論文  参考訳（メタデータ） (2020-09-17T23:08:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。