論文の概要: PA-RAG: RAG Alignment via Multi-Perspective Preference Optimization

• arxiv url: http://arxiv.org/abs/2412.14510v1
• Date: Thu, 19 Dec 2024 04:18:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:33:21.416734
• Title: PA-RAG: RAG Alignment via Multi-Perspective Preference Optimization
• Title（参考訳）: PA-RAG:マルチパースペクティブ参照最適化によるRAGアライメント
• Authors: Jiayi Wu, Hengyi Cai, Lingyong Yan, Hao Sun, Xiang Li, Shuaiqiang Wang, Dawei Yin, Ming Gao,
• Abstract要約: 検索拡張世代(RAG)は、大規模言語モデル(LLM)における時代遅れおよび幻覚的内容の問題を軽減する。 RAGジェネレータは、不適切な応答情報、応答堅牢性、および励振品質に悩まされることが多い。 本稿では,PA-RAG要求を包括的に整合させるため,複数視点優先アライメント(PA-RAG)を提案する。
• 参考スコア（独自算出の注目度）: 35.48003039415176
• License:
• Abstract: The emergence of Retrieval-augmented generation (RAG) has alleviated the issues of outdated and hallucinatory content in the generation of large language models (LLMs), yet it still reveals numerous limitations. When a general-purpose LLM serves as the RAG generator, it often suffers from inadequate response informativeness, response robustness, and citation quality. Past approaches to tackle these limitations, either by incorporating additional steps beyond generating responses or optimizing the generator through supervised fine-tuning (SFT), still failed to align with the RAG requirement thoroughly. Consequently, optimizing the RAG generator from multiple preference perspectives while maintaining its end-to-end LLM form remains a challenge. To bridge this gap, we propose Multiple Perspective Preference Alignment for Retrieval-Augmented Generation (PA-RAG), a method for optimizing the generator of RAG systems to align with RAG requirements comprehensively. Specifically, we construct high-quality instruction fine-tuning data and multi-perspective preference data by sampling varied quality responses from the generator across different prompt documents quality scenarios. Subsequently, we optimize the generator using SFT and Direct Preference Optimization (DPO). Extensive experiments conducted on four question-answer datasets across three LLMs demonstrate that PA-RAG can significantly enhance the performance of RAG generators. Our code and datasets are available at https://github.com/wujwyi/PA-RAG.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) の出現により、大規模言語モデル(LLM)の生成における時代遅れと幻覚的コンテンツの問題が緩和されたが、それでも多くの制限が明らかにされている。 汎用LLMがRAGジェネレータとして機能する場合、応答の伝達性、応答の堅牢性、および励振品質に悩まされることが多い。 これらの制限に対処するための過去のアプローチは、応答の生成以上の追加ステップを組み込んだり、監督された微調整(SFT)を通じてジェネレータを最適化するというものだったが、それでもRAGの要求と完全に一致しなかった。 したがって、複数の好みの観点からRAGジェネレータを最適化し、エンドツーエンドのLCMフォーマットを維持することは依然として課題である。 このギャップを埋めるため、我々はPA-RAG(Multiple Perspective Preference Alignment for Retrieval-Augmented Generation)を提案する。 具体的には,異なる文書品質シナリオにまたがって,生成元から様々な品質応答をサンプリングすることにより,高品質な命令微調整データと多目的嗜好データを構築する。 次に,SFT と Direct Preference Optimization (DPO) を用いて,ジェネレータの最適化を行う。 PA-RAGがRAGジェネレータの性能を大幅に向上させることができることを示す。 コードとデータセットはhttps://github.com/wujwyi/PA-RAG.comで公開されています。

関連論文リスト

• RoseRAG: Robust Retrieval-augmented Generation with Small-scale LLMs via Margin-aware Preference Optimization [53.63439735067081]
  大規模言語モデル(LLM)は目覚ましい性能を達成したが、高い計算コストとレイテンシに直面している。 Retrieval-augmented Generation (RAG) は、外部知識を統合するのに役立つが、不完全な検索は、SLMを誤解させるノイズを引き起こす可能性がある。 我々は、Margin-aware Preference Optimizationを通じて、SLMのための堅牢なRAGフレームワークであるRoseRAGを提案する。
  論文  参考訳（メタデータ） (2025-02-16T04:56:53Z)
• Improving Retrieval-Augmented Generation through Multi-Agent Reinforcement Learning [51.54046200512198]
  Retrieval-augmented Generation (RAG) は、外部の現在の知識を大規模言語モデルに組み込むために広く利用されている。 標準的なRAGパイプラインは、クエリ書き換え、文書検索、文書フィルタリング、回答生成など、いくつかのコンポーネントから構成される。 これらの課題を克服するため,RAGパイプラインを多エージェント協調作業として,各コンポーネントをRLエージェントとして扱うことを提案する。
  論文  参考訳（メタデータ） (2025-01-25T14:24:50Z)
• Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks [11.053340674721005]
  検索拡張世代(RAG)は,外部知識ソースを統合することで言語モデルを強化する強力なアプローチとして注目されている。 本稿では、リアルタイム検索をバイパスする代替パラダイムであるキャッシュ拡張生成(CAG)を提案する。
  論文  参考訳（メタデータ） (2024-12-20T06:58:32Z)
• RAGServe: Fast Quality-Aware RAG Systems with Configuration Adaptation [9.50826652108988]
  RAG (Retrieval Augmented Generation) は、大規模な言語モデルが外部知識でより良い応答を生成することを可能にする。 本稿では、クエリを協調的にスケジュールし、各クエリのキーRAG構成を適応する最初のRAGシステムであるRAGServeについて述べる。
  論文  参考訳（メタデータ） (2024-12-13T20:39:30Z)
• Toward General Instruction-Following Alignment for Retrieval-Augmented Generation [63.611024451010316]
  Retrieval-Augmented Generation (RAG) システムの効果的な適用には、自然な指示に従うことが不可欠である。 RAGシステムにおける命令追従アライメントのための,最初の自動化,拡張性,検証可能な合成パイプラインであるVIF-RAGを提案する。
  論文  参考訳（メタデータ） (2024-10-12T16:30:51Z)
• Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting [68.90949377014742]
  Speculative RAG(投機的RAG)は、より大規模なジェネラリストLMを利用して、より小さな蒸留専門のLMによって並列に生成された複数のRAGドラフトを効率よく検証するフレームワークである。 提案手法は,より小さな専門家のLMにドラフト作成を委譲することでRAGを加速し,より大きなジェネラリストのLMがドラフトに1回の検証パスを実行する。 PubHealthの従来のRAGシステムと比較して、レイテンシを51%削減しながら、最大12.97%の精度向上を実現している。
  論文  参考訳（メタデータ） (2024-07-11T06:50:19Z)
• Understand What LLM Needs: Dual Preference Alignment for Retrieval-Augmented Generation [64.7982176398485]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)の幻覚化問題を緩和する効果を実証している。 本稿では,RAGシステム内での多様な知識嗜好の整合を図った汎用フレームワークであるDPA-RAGを提案する。
  論文  参考訳（メタデータ） (2024-06-26T18:26:53Z)
• Accelerating Inference of Retrieval-Augmented Generation via Sparse Context Selection [28.15184715270483]
  大きな言語モデル (LLM) は、検索によって強化され、堅牢な性能と広範な汎用性を示す。 本稿では,スパースRAGという新しいパラダイムを提案する。 Sparse RAGは、検索したドキュメントを並列にエンコードする。
  論文  参考訳（メタデータ） (2024-05-25T11:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。