論文の概要: RAGferee: Building Contextual Reward Models for Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2509.26011v1
• Date: Tue, 30 Sep 2025 09:41:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 14:45:00.085563
• Title: RAGferee: Building Contextual Reward Models for Retrieval-Augmented Generation
• Title（参考訳）: RAGferee:Retrieval-Augmented Generationのためのコンテキストリワードモデルの構築
• Authors: Andrei C. Coman, Ionut-Teodor Sorodoc, Leonardo F. R. Ribeiro, Bill Byrne, James Henderson, Adrià de Gispert,
• Abstract要約: RAGfereeは、質問回答(QA)データセットを、スタイリスティックな特徴よりも基礎性を優先する選好ペアに再利用する方法論である。 RAGfereeを用いて、4Kサンプルと7Bから24Bパラメータの微調整RMの小さな選好データセットをキュレートする。 我々のRAG中心のRMはConJudgeBenchの最先端性能を達成し、既存の70B以上のRMをはるかに大きな(2.4Mサンプルまで)一般コーパスで訓練し、+15.5%の絶対的な改善を実現した。
• 参考スコア（独自算出の注目度）: 26.854073751273585
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Existing Reward Models (RMs), typically trained on general preference data, struggle in Retrieval Augmented Generation (RAG) settings, which require judging responses for faithfulness to retrieved context, relevance to the user query, appropriate refusals when context is insufficient, completeness and conciseness of information. To address the lack of publicly available RAG-centric preference datasets and specialised RMs, we introduce RAGferee, a methodology that repurposes question-answering (QA) datasets into preference pairs that prioritise groundedness over stylistic features, enabling the training of contextual RMs better suited to judging RAG responses. Using RAGferee, we curate a small preference dataset of 4K samples and fine-tune RMs ranging from 7B to 24B parameters. Our RAG-centric RMs achieve state-of-the-art performance on ContextualJudgeBench, surpassing existing 70B+ RMs trained on much larger (up to 2.4M samples) general corpora, with an absolute improvement of +15.5%.
• Abstract（参考訳）: 既存のリワードモデル(RM)は、一般的に一般的な嗜好データに基づいて訓練され、検索されたコンテキストに対する忠実さ、ユーザクエリとの関連性、コンテキストが不十分な場合の適切な拒絶、情報の完全性、簡潔さの判断を必要とする、検索可能な拡張生成(RAG)設定で苦労する。 RAG中心の嗜好データセットや特化RMの欠如に対処するため、RAGfereeは質問応答(QA)データセットをスタイル的特徴よりも基礎性を優先する選好ペアに再利用し、RAG応答の判断に適した文脈的RMのトレーニングを可能にする手法である。 RAGfereeを用いて、4Kサンプルと7Bから24Bパラメータの微調整RMの小さな選好データセットをキュレートする。 我々のRAG中心のRMはContextualJudgeBenchの最先端性能を達成し、既存の70B以上のRMをはるかに大きな(2.4Mサンプルまで)汎用コーパスで訓練し、+15.5%の絶対的な改善を実現した。

関連論文リスト

• OpenRAG: Optimizing RAG End-to-End via In-Context Retrieval Learning [13.181087031343619]
  本稿では,レトリバーを調整してコンテキスト内の関連性を捉えることで,エンドツーエンドに最適化されたRAGフレームワークであるOpenRAGを紹介する。 幅広いタスクにわたる実験により、OpenRAGは、レトリバーをエンドツーエンドにチューニングすることで、元のレトリバーよりも4.0%の一貫した改善をもたらすことを示した。
  論文  参考訳（メタデータ） (2025-03-11T13:04:05Z)
• RPO: Retrieval Preference Optimization for Robust Retrieval-Augmented Generation [33.85528514353727]
  本稿では,検索関連性に基づいた多元的知識を適応的に活用するRetrieval Preference Optimization (RPO)を提案する。 RPOは、トレーニングにおける検索関連性の認識を定量化する唯一のRAG指定アライメントアプローチである。 4つのデータセットの実験では、RPOは追加のコンポーネントを使わずに、RAGを4～10%精度で上回っている。
  論文  参考訳（メタデータ） (2025-01-23T14:58:56Z)
• RAG-RewardBench: Benchmarking Reward Models in Retrieval Augmented Generation for Preference Alignment [18.491114307921848]
  RAG設定におけるRM評価のための最初のベンチマークであるRAG-RewardBenchを提案する。 まず、RMを評価するために、RAG固有の4つの決定的かつ挑戦的なシナリオを設計する。 次に、データソースの多様性を高めるために、18個のRAGサブセット、6個のレトリバー、24個のALMを組み込んだ。 最後に、LLM-as-a-judgeアプローチを採用し、好みのアノテーション効率と有効性を改善する。
  論文  参考訳（メタデータ） (2024-12-18T11:28:05Z)
• Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
  UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。 我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
  論文  参考訳（メタデータ） (2024-12-16T19:11:55Z)
• Retrieval-Augmented Generation for Domain-Specific Question Answering: A Case Study on Pittsburgh and CMU [3.1787418271023404]
  我々は、ドメイン固有の質問に答えるために、関連文書を含む大規模言語モデルを提供するために、検索型拡張生成システム(RAG)を設計した。 我々は,グリーディスクレーピング戦略を用いて1,800以上のサブページを抽出し,手動とMistralの生成した質問応答ペアを組み合わせたハイブリッドアノテーションプロセスを用いた。 我々のRAGフレームワークはBM25とFAISSレトリバーを統合し、文書検索精度を向上させるリランカで強化した。
  論文  参考訳（メタデータ） (2024-11-20T20:10:43Z)
• RRM: Robust Reward Model Training Mitigates Reward Hacking [51.12341734942797]
  リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。 これらのアーティファクトとは無関係に好みを学習する因果的枠組みを導入する。 実験の結果,提案手法は望ましくないアーティファクトをフィルタし,より堅牢な報酬モデルを実現することができた。
  論文  参考訳（メタデータ） (2024-09-20T01:46:07Z)
• SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
  Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。 SFR-RAG(SFR-RAG)について述べる。 また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
  論文  参考訳（メタデータ） (2024-09-16T01:08:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。