論文の概要: CL-RAG: Bridging the Gap in Retrieval-Augmented Generation with Curriculum Learning

• arxiv url: http://arxiv.org/abs/2505.10493v1
• Date: Thu, 15 May 2025 16:53:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.426538
• Title: CL-RAG: Bridging the Gap in Retrieval-Augmented Generation with Curriculum Learning
• Title（参考訳）: CL-RAG:カリキュラム学習による検索強化世代におけるギャップのブリッジ
• Authors: Shaohan Wang, Licheng Zhang, Zheren Fu, Zhendong Mao,
• Abstract要約: Retrieval-Augmented Generation (RAG) は、大規模言語モデル(LLM)の能力を高める効果的な方法である。 既存の方法は、検索したトップkの文書を直接利用することにより、RAGシステムにおけるレトリバーやジェネレータの最適化に重点を置いている。 本稿では,CL-RAGという,多段階のカリキュラム学習に基づくRAGシステムトレーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 23.424936103502976
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) is an effective method to enhance the capabilities of large language models (LLMs). Existing methods focus on optimizing the retriever or generator in the RAG system by directly utilizing the top-k retrieved documents. However, the documents effectiveness are various significantly across user queries, i.e. some documents provide valuable knowledge while others totally lack critical information. It hinders the retriever and generator's adaptation during training. Inspired by human cognitive learning, curriculum learning trains models using samples progressing from easy to difficult, thus enhancing their generalization ability, and we integrate this effective paradigm to the training of the RAG system. In this paper, we propose a multi-stage Curriculum Learning based RAG system training framework, named CL-RAG. We first construct training data with multiple difficulty levels for the retriever and generator separately through sample evolution. Then, we train the model in stages based on the curriculum learning approach, thereby optimizing the overall performance and generalization of the RAG system more effectively. Our CL-RAG framework demonstrates consistent effectiveness across four open-domain QA datasets, achieving performance gains of 2% to 4% over multiple advanced methods.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、大規模言語モデル(LLM)の能力を高める効果的な手法である。 既存の方法は、検索したトップkの文書を直接利用することにより、RAGシステムにおけるレトリバーやジェネレータの最適化に重点を置いている。 しかし、文書の有効性は、ユーザクエリー、すなわち、ある文書が貴重な知識を提供するのに対して、他の文書は重要な情報を全く欠いているなど、様々な点で異なる。 訓練中のレトリバーと発電機の適応を妨げる。 人間の認知学習にインスパイアされたカリキュラム学習モデルでは,サンプルの進行を容易から困難にし,それらの一般化能力を高め,この効果的なパラダイムをRAGシステムのトレーニングに統合する。 本稿では,CL-RAGという,多段階のカリキュラム学習に基づくRAGシステムトレーニングフレームワークを提案する。 まず、サンプルの進化を通じて、検索器とジェネレータを別々に複数の難易度を持つトレーニングデータを構築した。 そして、カリキュラム学習アプローチに基づいて段階的にモデルを訓練し、RAGシステムの全体的な性能と一般化をより効果的に最適化する。 我々のCL-RAGフレームワークは、4つのオープンドメインQAデータセットで一貫した有効性を示し、複数の高度なメソッドに対して2%から4%のパフォーマンス向上を実現しています。

関連論文リスト

• Direct Retrieval-augmented Optimization: Synergizing Knowledge Selection and Language Models [83.8639566087953]
  本稿では,2つの主要コンポーネントのエンドツーエンドトレーニングを可能にするDROという,直接検索拡張最適化フレームワークを提案する。 DROは、 (i) 文書置換推定と (ii) 再重み付けされ、段階的に改善されたRAGコンポーネントの2つのフェーズの間で交代する。 理論解析により,DROは強化学習における政策段階的な手法に類似していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-05T23:54:53Z)
• Knowing You Don't Know: Learning When to Continue Search in Multi-round RAG through Self-Practicing [4.874077691069634]
  RAGは、言語モデルの知識を高め、AI生成幻覚を減らす強力な能力を示した。 現在のマルチラウンドRAGシステムは、十分な情報が既に取得されている場合でも検索を続けることができる。 本稿では,RAGシステムの自己認識とマルチラウンド検索機能を強化するための新しいフレームワークである textbfSIM-RAG を提案する。
  論文  参考訳（メタデータ） (2025-05-05T17:39:35Z)
• Revisiting Robust RAG: Do We Still Need Complex Robust Training in the Era of Powerful LLMs? [69.38149239733994]
  モデル容量が増大するにつれて、複雑な堅牢なトレーニング戦略が必要かどうかを検討する。 モデルがより強力になるにつれて、複雑な堅牢なトレーニングメソッドによってもたらされるパフォーマンス向上が劇的に減少することがわかった。 この結果から,RAGシステムはモデルがより強力になるにつれて,よりシンプルなアーキテクチャやトレーニング戦略の恩恵を受けることが示唆された。
  論文  参考訳（メタデータ） (2025-02-17T03:34:31Z)
• RAG-Reward: Optimizing RAG with Reward Modeling and RLHF [8.911260109659489]
  Retrieval-augmented Generation (RAG)は、関連知識と最新の知識でLarge Language Models (LLM)を強化する。 RAG最適化のための強化学習における報酬モデルの役割は未定である。 報酬モデルを開発するためのフレームワークである textbfRAG-Reward を導入する。
  論文  参考訳（メタデータ） (2025-01-22T22:59:19Z)
• Fine-Grained Guidance for Retrievers: Leveraging LLMs' Feedback in Retrieval-Augmented Generation [20.420575358183687]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)に固有の幻覚を緩和する有効な方法であることが証明されている。 従来のアプローチでは、通常、RAGの最適化に欠けるセマンティックな類似性に基づいて、レトリバーをトレーニングする。 我々は,LLMの言語機能を活用して,より粒度の細かい情報中心の視点からサンプルを構築する新しいフレームワークFiGRetを提案する。
  論文  参考訳（メタデータ） (2024-11-06T14:42:39Z)
• RAG-DDR: Optimizing Retrieval-Augmented Generation Using Differentiable Data Rewards [78.74923079748521]
  Retrieval-Augmented Generation (RAG) は、外部リソースから知識を取得することで、Large Language Models (LLM) における幻覚を緩和する効果を証明している。 現在のアプローチでは、命令チューニングを使用してLLMを最適化し、検索した知識を活用する能力を改善している。 本稿では,異なるRAGモジュール間でデータ嗜好を整列させることでRAGシステムを訓練するDDR法を提案する。
  論文  参考訳（メタデータ） (2024-10-17T12:53:29Z)
• RAG Foundry: A Framework for Enhancing LLMs for Retrieval Augmented Generation [8.377398103067508]
  我々は、RAGのユースケースのための大規模言語モデルを拡張するためのオープンソースのフレームワークであるRAG Foundryを紹介します。 RAG Foundryはデータ生成、トレーニング、推論、評価を単一のワークフローに統合する。 多様なRAG構成を持つLlama-3およびPhi-3モデルを拡張し,微調整することで,フレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2024-08-05T15:16:24Z)
• FlashRAG: A Modular Toolkit for Efficient Retrieval-Augmented Generation Research [70.6584488911715]
  検索増強世代(RAG)は、かなりの研究関心を集めている。 既存のRAGツールキットは、しばしば重くて柔軟であり、研究者のカスタマイズのニーズを満たすことができない。 我々のツールキットは16の高度なRAGメソッドを実装し、38のベンチマークデータセットを収集し、整理した。
  論文  参考訳（メタデータ） (2024-05-22T12:12:40Z)
• Retrieval as Attention: End-to-end Learning of Retrieval and Reading within a Single Transformer [80.50327229467993]
  学習した1つのモデルが競合検索とQA性能の両方を達成可能であることを示す。 エンドツーエンド適応は、教師なし設定と教師なし設定の両方において、ドメイン外のデータセットのパフォーマンスを大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2022-12-05T04:51:21Z)
• Hybrid Generative-Retrieval Transformers for Dialogue Domain Adaptation [77.62366712130196]
  マルチドメイン MetaLWOz データセットに微調整した GPT-2 に基づくハイブリッド生成・検索モデル DSTC8 の高速領域適応タスクにおける入賞条件について述べる。 提案モデルでは,MetaLWOz上の解析論理をフォールバックとして使用し,人間の評価におけるSoTA(第2位システムよりも4%向上)と,未知のMultiWOZデータセットに適応した競合一般化性能を実現する。
  論文  参考訳（メタデータ） (2020-03-03T18:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。