論文の概要: SKILL-RAG: Self-Knowledge Induced Learning and Filtering for Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2509.20377v1
• Date: Sat, 20 Sep 2025 11:02:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:12.4766
• Title: SKILL-RAG: Self-Knowledge Induced Learning and Filtering for Retrieval-Augmented Generation
• Title（参考訳）: SKILL-RAG: 自己学習による検索・拡張生成のための学習とフィルタリング
• Authors: Tomoaki Isoda,
• Abstract要約: Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の性能を大幅に改善した。 そこで本研究では,SKILL-RAGを提案する。SKILL-RAGは,モデルの自己知識を利用して,検索した文書が与えられたクエリに応答するのに有効であるかどうかを判断する手法である。 実験結果から,SKILL-RAGは生成品質を向上するだけでなく,入力文書数を大幅に削減することがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) has significantly improved the performance of large language models (LLMs) on knowledge-intensive tasks in recent years. However, since retrieval systems may return irrelevant content, incorporating such information into the model often leads to hallucinations. Thus, identifying and filtering out unhelpful retrieved content is a key challenge for improving RAG performance.To better integrate the internal knowledge of the model with external knowledge from retrieval, it is essential to understand what the model "knows" and "does not know" (which is also called "self-knowledge"). Based on this insight, we propose SKILL-RAG (Self-Knowledge Induced Learning and Filtering for RAG), a novel method that leverages the model's self-knowledge to determine which retrieved documents are beneficial for answering a given query. We design a reinforcement learning-based training framework to explicitly elicit self-knowledge from the model and employs sentence-level granularity to filter out irrelevant content while preserving useful knowledge.We evaluate SKILL-RAG using Llama2-7B and Qwen3-8B on several question answering benchmarks. Experimental results demonstrate that SKILL-RAG not only improves generation quality but also significantly reduces the number of input documents, validating the importance of self-knowledge in guiding the selection of high-quality retrievals.
• Abstract（参考訳）: 近年,知識集約型タスクにおける大規模言語モデル(LLM)の性能は,RAG(Retrieval-Augmented Generation)により大幅に向上している。 しかし、検索システムは無関係な内容を返す可能性があるため、そのような情報をモデルに組み込むと幻覚につながることが多い。 したがって、検索から外部知識とモデルの内部知識をうまく統合するためには、モデルが「知る」と「知らない」とは何かを理解することが不可欠である(「自己知る」とも呼ばれる)。 この知見に基づいて,モデルの自己知識を生かしたSKILL-RAG(Self-Knowledge induced Learning and Filtering for RAG)を提案する。 我々は、モデルから自己知識を明示的に引き出すための強化学習ベースのトレーニングフレームワークを設計し、意味のある知識を保ちながら無関係なコンテンツをフィルタリングする文レベルの粒度を用いて、いくつかの質問応答ベンチマークでLlama2-7BとQwen3-8Bを用いてSKILL-RAGを評価する。 実験結果から,SKILL-RAGは生成品質を向上するだけでなく,入力文書数を大幅に削減し,高品質な検索を導く上での自己知識の重要性を検証した。

関連論文リスト

• Improving Multilingual Retrieval-Augmented Language Models through Dialectic Reasoning Argumentations [65.11348389219887]
  そこで,Dialectic-RAG(Dialectic-RAG, DRAG)を提案する。 我々は、文脈内学習戦略と、より小さなモデルをインストラクションするための実演の構築の両方において、我々のフレームワークが与える影響を示す。
  論文  参考訳（メタデータ） (2025-04-07T06:55:15Z)
• Systematic Knowledge Injection into Large Language Models via Diverse Augmentation for Domain-Specific RAG [24.660769275714685]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) にドメイン知識を組み込む重要な手法として登場した。 本稿では,学習データを2つの方法で強化することで,微調整プロセスを大幅に強化する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T12:39:51Z)
• DeepNote: Note-Centric Deep Retrieval-Augmented Generation [72.70046559930555]
  Retrieval-Augmented Generation (RAG)は質問応答のための大規模言語モデル(LLM)における事実誤りと幻覚を緩和する 我々は、ノート中心の適応検索により、知識ソースの奥深くで堅牢な探索を実現する適応RAGフレームワークであるDeepNoteを開発した。
  論文  参考訳（メタデータ） (2024-10-11T14:03:29Z)
• Do You Know What You Are Talking About? Characterizing Query-Knowledge Relevance For Reliable Retrieval Augmented Generation [19.543102037001134]
  言語モデル(LM)は幻覚や誤報に悩まされていることが知られている。 外部知識コーパスから検証可能な情報を検索する検索拡張生成(RAG)は、これらの問題に対する具体的な解決策を提供する。 RAG生成品質は、ユーザのクエリと検索したドキュメントの関連性に大きく依存する。
  論文  参考訳（メタデータ） (2024-10-10T19:14:55Z)
• REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering [115.72130322143275]
  REAR(Relevance-Aware Retrieval-augmented approach for open-domain Question answering, QA) 我々は,特殊な設計のアセスメントモジュールを組み込むことで,LLMベースのRAGシステムのための新しいアーキテクチャを開発する。 オープンドメインの4つのQAタスクの実験では、REARは以前の競争力のあるRAGアプローチよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-02-27T13:22:51Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)
• Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
  大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。 検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。 SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
  論文  参考訳（メタデータ） (2023-10-08T04:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。