論文の概要: RAG-RewardBench: Benchmarking Reward Models in Retrieval Augmented Generation for Preference Alignment
- arxiv url: http://arxiv.org/abs/2412.13746v1
- Date: Wed, 18 Dec 2024 11:28:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-19 16:49:40.999753
- Title: RAG-RewardBench: Benchmarking Reward Models in Retrieval Augmented Generation for Preference Alignment
- Title（参考訳）: RAG-RewardBench: 参照アライメントのための検索拡張ジェネレーションにおけるリワードモデルのベンチマーク
- Authors: Zhuoran Jin, Hongbang Yuan, Tianyi Men, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao,
- Abstract要約: RAG設定におけるRM評価のための最初のベンチマークであるRAG-RewardBenchを提案する。
まず、RMを評価するために、RAG固有の4つの決定的かつ挑戦的なシナリオを設計する。
次に、データソースの多様性を高めるために、18個のRAGサブセット、6個のレトリバー、24個のALMを組み込んだ。
最後に、LLM-as-a-judgeアプローチを採用し、好みのアノテーション効率と有効性を改善する。
- 参考スコア（独自算出の注目度）: 18.491114307921848
- License:
- Abstract: Despite the significant progress made by existing retrieval augmented language models (RALMs) in providing trustworthy responses and grounding in reliable sources, they often overlook effective alignment with human preferences. In the alignment process, reward models (RMs) act as a crucial proxy for human values to guide optimization. However, it remains unclear how to evaluate and select a reliable RM for preference alignment in RALMs. To this end, we propose RAG-RewardBench, the first benchmark for evaluating RMs in RAG settings. First, we design four crucial and challenging RAG-specific scenarios to assess RMs, including multi-hop reasoning, fine-grained citation, appropriate abstain, and conflict robustness. Then, we incorporate 18 RAG subsets, six retrievers, and 24 RALMs to increase the diversity of data sources. Finally, we adopt an LLM-as-a-judge approach to improve preference annotation efficiency and effectiveness, exhibiting a strong correlation with human annotations. Based on the RAG-RewardBench, we conduct a comprehensive evaluation of 45 RMs and uncover their limitations in RAG scenarios. Additionally, we also reveal that existing trained RALMs show almost no improvement in preference alignment, highlighting the need for a shift towards preference-aligned training.We release our benchmark and code publicly at https://huggingface.co/datasets/jinzhuoran/RAG-RewardBench/ for future work.
- Abstract（参考訳）: 既存の検索言語モデル(RALMs)が信頼できる応答を提供し、信頼できる情報源を基盤にしているにもかかわらず、彼らはしばしば人間の好みと効果的に一致しているのを見落としている。
アライメントプロセスにおいて、報酬モデル(RM)は、最適化を導くために人間の価値にとって重要なプロキシとして機能する。
しかし、ALMにおける優先調整のための信頼性のあるRMの評価と選択方法については、まだ不明である。
そこで本研究では,RAG設定におけるRM評価のための最初のベンチマークであるRAG-RewardBenchを提案する。
まず、マルチホップ推論、きめ細かい引用、適切な棄損、矛盾する堅牢性を含む、RAG固有の4つのシナリオを設計する。
次に、データソースの多様性を高めるために、18個のRAGサブセット、6個のレトリバー、24個のALMを組み込んだ。
最後に、LLM-as-a-judgeアプローチを採用し、人間のアノテーションと強い相関関係を示す。
RAG-RewardBenchに基づいて45のRMの総合的な評価を行い、RAGシナリオにおける制限を明らかにする。
さらに、既存のトレーニングされたRALMは、好みのアライメントをほとんど改善せず、好みのアライメントへのシフトの必要性を強調しています。将来の作業のために、ベンチマークとコードをhttps://huggingface.co/datasets/jinzhuoran/RAG-RewardBench/で公開しています。
関連論文リスト
- RMB: Comprehensively Benchmarking Reward Models in LLM Alignment [44.84304822376291]
リワードモデル(RM)は、大きな言語モデル(LLM)のアライメントをガイドする。
我々は、49以上の実世界のシナリオをカバーする包括的なRMベンチマークであるRMBを提案する。
ベンチマークに基づいて、最先端のRMについて広範な分析を行う。
論文 参考訳（メタデータ） (2024-10-13T16:06:54Z) - Reward-RAG: Enhancing RAG with Reward Driven Supervision [43.66966457772646]
本稿では、Reward-Driven Supervisionを通じて、Retrieval-Augmented Generation(RAG)モデルを強化するために設計された新しいアプローチであるReward-RAGを紹介する。
従来のRAG手法とは異なり,本手法ではCriticGPTを用いて検索情報を特定の領域に適応させ,専用報酬モデルを訓練する。
この報酬モデルは、RAGを微調整するための合成データセットを生成し、その出力を人間の好みとより密に一致させる。
論文 参考訳（メタデータ） (2024-10-03T15:26:50Z) - Does RAG Introduce Unfairness in LLMs? Evaluating Fairness in Retrieval-Augmented Generation Systems [18.926129063000264]
RAG(Retrieval-Augmented Generation)は近年,外部知識ソースの統合能力の向上に注目が集まっている。
本稿では,RAG法に適した公平度評価フレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-29T22:04:26Z) - Post-hoc Reward Calibration: A Case Study on Length Bias [28.266675778940133]
リワードモデル(RM)は、トレーニングデータに突発的な相関を利用してバイアスを発生させることができる。
これらのバイアスは、誤った出力ランキング、準最適モデル評価、望ましくない振る舞いの増幅につながる可能性がある。
本稿では、追加データやトレーニングを使わずにバイアスを修正するという課題に対処する。
論文 参考訳（メタデータ） (2024-09-25T22:30:42Z) - RRM: Robust Reward Model Training Mitigates Reward Hacking [51.12341734942797]
リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。
これらのアーティファクトとは無関係に好みを学習する因果的枠組みを導入する。
実験の結果,提案手法は望ましくないアーティファクトをフィルタし,より堅牢な報酬モデルを実現することができた。
論文 参考訳（メタデータ） (2024-09-20T01:46:07Z) - SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。
SFR-RAG(SFR-RAG)について述べる。
また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
論文 参考訳（メタデータ） (2024-09-16T01:08:18Z) - Understand What LLM Needs: Dual Preference Alignment for Retrieval-Augmented Generation [64.7982176398485]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)の幻覚化問題を緩和する効果を実証している。
本稿では,RAGシステム内での多様な知識嗜好の整合を図った汎用フレームワークであるDPA-RAGを提案する。
論文 参考訳（メタデータ） (2024-06-26T18:26:53Z) - Pistis-RAG: Enhancing Retrieval-Augmented Generation with Human Feedback [41.88662700261036]
RAGシステムは、セマンティックな関連性だけでは生成品質の向上を保証していない場合に制限に直面している。
我々は、LLMと人間の嗜好をよりよく整合させるために、コンテンツ中心のアプローチで設計された新しいRAGフレームワークであるPristis-RAGを提案する。
論文 参考訳（メタデータ） (2024-06-21T08:52:11Z) - WARM: On the Benefits of Weight Averaged Reward Models [63.08179139233774]
Weight Averaged Reward Models (WARM) を提案する。
最良N法とRL法を用いた要約タスクの実験は、WARMがLLM予測の全体的な品質とアライメントを改善することを示す。
論文 参考訳（メタデータ） (2024-01-22T18:27:08Z) - Confronting Reward Model Overoptimization with Constrained RLHF [114.71591361764547]
成分RM間の相関がこれらの点の位置に有意な影響を及ぼすことを示す。
ラグランジュ乗算器によって自然に表現される動的重みを学習することで、成分RMの重み付けの問題に対処する。
論文 参考訳（メタデータ） (2023-10-06T16:59:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。