論文の概要: A Comparison of Independent and Joint Fine-tuning Strategies for Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2510.01600v2
• Date: Fri, 17 Oct 2025 20:14:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:10.727412
• Title: A Comparison of Independent and Joint Fine-tuning Strategies for Retrieval-Augmented Generation
• Title（参考訳）: 検索・拡張生成のための独立型・結合型微調整法の比較
• Authors: Neal Gregory Lawton, Alfy Samuel, Anoop Kumar, Daben Liu,
• Abstract要約: 独立性, 関節性, 二相微調整を含む複数のRAG微調整戦略を評価し, 比較した。 最適な微調整戦略は、トレーニングデータセットにコンテキストラベルが含まれているかどうかに依存すると結論付けている。
• 参考スコア（独自算出の注目度）: 4.199577388005438
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A Comparison of Independent and Joint Fine-tuning Strategies for Retrieval-Augmented Generation Download PDF Neal Gregory Lawton, Alfy Samuel, Anoop Kumar, Daben Liu Published: 20 Aug 2025, Retrieval augmented generation (RAG) is a popular framework for question answering that is powered by two large language models (LLMs): an embedding model that retrieves context documents from a database that are relevant to a given question, and a generator model that uses the retrieved context to generate an answer to the question. Both the embedding and generator models can be fine-tuned to increase performance of a RAG pipeline on a new task, but multiple fine-tuning strategies exist with different costs and benefits. In this paper, we evaluate and compare several RAG fine-tuning strategies, including independent, joint, and two-phase fine-tuning. In our experiments, we observe that all of these strategies achieve about equal improvement in EM and F1 generation quality metrics, although they have significantly different computational costs. We conclude the optimal fine-tuning strategy to use depends on whether the training dataset includes context labels and whether a grid search over the learning rates for the embedding and generator models is required.
• Abstract（参考訳）: A Comparison of Independent and Joint Fine-tuning Strategies for Retrieval-Augmented Generation Download PDF Neal Gregory Lawton, Alfy Samuel, Anoop Kumar, Daben Liu Published: 20 A25, Retrieval augmented generation (RAG)は2つの大きな言語モデル(LLM)をベースとした質問応答のための一般的なフレームワークである。 埋め込みモデルとジェネレータモデルはどちらも、新しいタスクにおけるRAGパイプラインのパフォーマンスを高めるために微調整できるが、異なるコストと利点で複数の微調整戦略が存在する。 本稿では,独立性,関節性,二相微調整を含む複数のRAG微調整戦略を評価し,比較する。 実験では,計算コストは著しく異なるものの,これらすべての戦略がEMとF1生成の品質指標の同等の改善について達成されていることを観察した。 トレーニングデータセットにコンテキストラベルが含まれているか,組込みおよびジェネレータモデルに対する学習率をグリッドで検索する必要があるかによって,最適な微調整戦略が求められる。

関連論文リスト

• RouteRAG: Efficient Retrieval-Augmented Generation from Text and Graph via Reinforcement Learning [69.87510139069218]
  Retrieval-Augmented Generation (RAG)は、非パラメトリック知識をLarge Language Models (LLM)に統合する 強化学習(RL)による多ターン推論へのテキストベースRAGの進歩 LLMがマルチターンおよび適応的なグラフテキストハイブリッドRAGを実現するためのRLベースのフレームワークであるモデルを導入する。
  論文  参考訳（メタデータ） (2025-12-10T10:05:31Z)
• Towards Mixed-Modal Retrieval for Universal Retrieval-Augmented Generation [72.34977512403643]
  Retrieval-Augmented Generation (RAG) は、外部コーパスから関連文書を取得することで、大規模言語モデル(LLM)を強化するための強力なパラダイムとして登場した。 既存のRAGシステムは、主に平凡なテキスト文書に焦点を当てており、クエリとドキュメントの両方が(テキストや画像のような)混合モダリティを含む実世界のシナリオでは、しばしば不足している。 我々は,Universal Retrieval-Augmented Generationシナリオに適した混合モーダル-混合モーダルレトリバーであるNyxを提案する。
  論文  参考訳（メタデータ） (2025-10-20T09:56:43Z)
• LLM Routing with Dueling Feedback [49.67815163970033]
  ユーザの満足度,モデルの専門性,推論コストのバランスを保ちながら,クエリ毎に最適なモデルを選択するという課題について検討する。 絶対的なスコアではなく、ペアの選好フィードバックから学習することで、ルーティングをコンテキストデュエルの帯域として定式化する。 分類的重み付けを用いた対照的な微調整を用いて,オフラインデータからモデル埋め込みを導出する表現学習手法であるカテゴリーキャリブレーション・ファインタニング(CCFT)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T12:52:25Z)
• Each to Their Own: Exploring the Optimal Embedding in RAG [5.61623830061444]
  Retrieval-Augmented Generationは、低コストでパラメータチューニングの最小限の労力で有名である。 複数の埋め込みモデルの利点を組み合わせることでRAGを強化する2つの手法を提案し,検討する。 Confident RAGは、異なる埋め込みモデルを使用して複数のレスポンスを生成し、次に、最も信頼度の高いレスポンスを選択する。
  論文  参考訳（メタデータ） (2025-07-23T12:03:54Z)
• HIRAG: Hierarchical-Thought Instruction-Tuning Retrieval-Augmented Generation [16.201341932327036]
  我々は、新しいRAG命令微調整手法、階層型命令-調整型検索生成(HIRAG)を導入する。 この方法は,多段階のプログレッシブ・チェーン・オブ・シントを利用して,モデルのオープンブック検査能力を向上させる。 実験によると、HIRAGトレーニング戦略は、RGB、PopQA、MuSiQue、HotpotQA、PubmedQAといったデータセット上でのモデルのパフォーマンスを大幅に改善する。
  論文  参考訳（メタデータ） (2025-07-08T06:53:28Z)
• ImpRAG: Retrieval-Augmented Generation with Implicit Queries [34.72864597562907]
  ImpRAGは、検索と生成を統一モデルに統合するクエリフリーなRAGシステムである。 我々は、ImpRAGが、多様な形式を持つ未確認タスクの正確なマッチスコアを3.6-11.5改善したことを示す。
  論文  参考訳（メタデータ） (2025-06-02T21:38:21Z)
• Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation [52.3707788779464]
  我々は、コンテキストに対する属性応答(ARC-JSD)のための新しいJensen-Shannon Divergence駆動方式を提案する。 ARC-JSDは、追加の微調整、勾配計算、サロゲートモデリングなしで、重要な文脈文の効率的かつ正確な識別を可能にする。 TyDi QA, Hotpot QA, Musique など,様々なスケールの命令調整 LLM を用いたRAG ベンチマークの評価により,精度が向上し,計算効率が向上した。
  論文  参考訳（メタデータ） (2025-05-22T09:04:03Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• Balancing Cost and Effectiveness of Synthetic Data Generation Strategies for LLMs [0.6700983301090584]
  大規模言語モデル(LLM)は、より高度なユースケースに適用され、微調整のための高品質でタスク固有のデータセットを生成する。 高品質な人的データを使用することは、モデルのパフォーマンスをアンロックするための最も一般的なアプローチであるが、多くのシナリオでは違法に高価である。 合成データやハイブリッドデータの生成など、いくつかの代替手法も登場したが、これらの手法の有効性は未だ不明である。
  論文  参考訳（メタデータ） (2024-09-29T20:14:50Z)
• SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
  Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。 SFR-RAG(SFR-RAG)について述べる。 また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
  論文  参考訳（メタデータ） (2024-09-16T01:08:18Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Prompt Generate Train (PGT): Few-shot Domain Adaption of Retrieval Augmented Generation Models for Open Book Question-Answering [0.0]
  そこで本稿では,テキスト文書のプロプライエタリなコレクション上で,オープンブック質問応答のための生成的質問応答モデルを効率的に開発する枠組みを提案する。 このフレームワークは、教師付き微調整および強化学習を用いて、レトリバー拡張生成(RAG)モデルを対象領域に適応させる。
  論文  参考訳（メタデータ） (2023-07-12T04:44:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。