論文の概要: A Comparison of Independent and Joint Fine-tuning Strategies for Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2510.01600v1
• Date: Thu, 02 Oct 2025 02:30:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.952866
• Title: A Comparison of Independent and Joint Fine-tuning Strategies for Retrieval-Augmented Generation
• Title（参考訳）: 検索・拡張生成のための独立型・結合型微調整法の比較
• Authors: Neal Gregory Lawton, Alfy Samuel, Anoop Kumar, Daben Liu,
• Abstract要約: 我々は、微調整型検索拡張生成(RAG)パイプラインの戦略を評価し、比較する。 これらの戦略はすべて、EMとF1の世代品質の同等の改善を達成していることを観察する。
• 参考スコア（独自算出の注目度）: 4.199577388005438
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A Comparison of Independent and Joint Fine-tuning Strategies for Retrieval-Augmented Generation Download PDF Neal Gregory Lawton, Alfy Samuel, Anoop Kumar, Daben Liu Published: 20 Aug 2025, Last Modified: 17 Sept 2025EMNLP 2025 FindingsConference, Publication Chairs, AuthorsRevisionsBibTeXCC BY 4.0 Keywords: Retrieval-Augmented Generation (RAG), Large Language Models (LLMs), Fine-tuning, Question Answering, Joint fine-tuning TL;DR: We evaluate and compare strategies for fine-tuning Retrieval Augmented Generation (RAG) pipelines, including independent fine-tuning, joint fine-tuning, and two-phase fine-tuning. Abstract: Retrieval augmented generation (RAG) is a popular framework for question answering that is powered by two large language models (LLMs): an embedding model that retrieves context documents from a database that are relevant to a given question, and a generator model that uses the retrieved context to generate an answer to the question. Both the embedding and generator models can be fine-tuned to increase performance of a RAG pipeline on a new task, but multiple fine-tuning strategies exist with different costs and benefits. In this paper, we evaluate and compare several RAG fine-tuning strategies, including independent, joint, and two-phase fine-tuning. In our experiments, we observe that all of these strategies achieve about equal improvement in EM and F1 generation quality metrics, although they have significantly different computational costs. We conclude the optimal fine-tuning strategy to use depends on whether the training dataset includes context labels and whether a grid search over the learning rates for the embedding and generator models is required.
• Abstract（参考訳）: A Comparison of Independent and Joint Fine-tuning Strategies for Retrieval-Augmented Generation download PDF Neal Gregory Lawton, Alfy Samuel, Anoop Kumar, Daben Liu Published: 20 Aug 2025, Last Modified: 17 Sept 2025EMNLP 2025 FindingsConference, Publishation Chairs, Authors RevisionsBibTeXCC BY 4.0 Keywords: Retrieval-Augmented Generation (RAG), Large Language Models (LLMs), Fine-tuning, Question Answering, Joint Fine-tuning TL;DR:我々は、独立した微調整、微調整を含む微調整(RAG)パイプラインの評価と比較を行った。 要約: Retrieval augmented generation (RAG)は2つの大きな言語モデル(LLM)をベースとした質問応答のための一般的なフレームワークであり、ある質問に関連するデータベースからコンテキスト文書を抽出する埋め込みモデルと、検索したコンテキストを使用して質問に対する回答を生成するジェネレータモデルである。 埋め込みモデルとジェネレータモデルはどちらも、新しいタスクにおけるRAGパイプラインのパフォーマンスを向上させるために微調整できるが、異なるコストと利点で複数の微調整戦略が存在する。 本稿では,独立性,関節性,二相微調整を含む複数のRAG微調整戦略を評価し,比較する。 実験では,計算コストは著しく異なるものの,これらすべての戦略がEMとF1生成の品質指標の同等の改善について達成されていることを観察した。 トレーニングデータセットにコンテキストラベルが含まれているか,組込みおよびジェネレータモデルに対する学習率をグリッドで検索する必要があるかによって,最適な微調整戦略が求められる。

関連論文リスト

• HIRAG: Hierarchical-Thought Instruction-Tuning Retrieval-Augmented Generation [16.201341932327036]
  我々は、新しいRAG命令微調整手法、階層型命令-調整型検索生成(HIRAG)を導入する。 この方法は,多段階のプログレッシブ・チェーン・オブ・シントを利用して,モデルのオープンブック検査能力を向上させる。 実験によると、HIRAGトレーニング戦略は、RGB、PopQA、MuSiQue、HotpotQA、PubmedQAといったデータセット上でのモデルのパフォーマンスを大幅に改善する。
  論文  参考訳（メタデータ） (2025-07-08T06:53:28Z)
• ImpRAG: Retrieval-Augmented Generation with Implicit Queries [34.72864597562907]
  ImpRAGは、検索と生成を統一モデルに統合するクエリフリーなRAGシステムである。 我々は、ImpRAGが、多様な形式を持つ未確認タスクの正確なマッチスコアを3.6-11.5改善したことを示す。
  論文  参考訳（メタデータ） (2025-06-02T21:38:21Z)
• Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation [52.3707788779464]
  我々は、コンテキストに対する属性応答(ARC-JSD)のための新しいJensen-Shannon Divergence駆動方式を提案する。 ARC-JSDは、追加の微調整、勾配計算、サロゲートモデリングなしで、重要な文脈文の効率的かつ正確な識別を可能にする。 TyDi QA, Hotpot QA, Musique など,様々なスケールの命令調整 LLM を用いたRAG ベンチマークの評価により,精度が向上し,計算効率が向上した。
  論文  参考訳（メタデータ） (2025-05-22T09:04:03Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
  Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。 SFR-RAG(SFR-RAG)について述べる。 また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
  論文  参考訳（メタデータ） (2024-09-16T01:08:18Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Prompt Generate Train (PGT): Few-shot Domain Adaption of Retrieval Augmented Generation Models for Open Book Question-Answering [0.0]
  そこで本稿では,テキスト文書のプロプライエタリなコレクション上で,オープンブック質問応答のための生成的質問応答モデルを効率的に開発する枠組みを提案する。 このフレームワークは、教師付き微調整および強化学習を用いて、レトリバー拡張生成(RAG)モデルを対象領域に適応させる。
  論文  参考訳（メタデータ） (2023-07-12T04:44:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。