論文の概要: Understand What LLM Needs: Dual Preference Alignment for Retrieval-Augmented Generation
- arxiv url: http://arxiv.org/abs/2406.18676v2
- Date: Thu, 18 Jul 2024 08:28:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-19 20:12:48.475238
- Title: Understand What LLM Needs: Dual Preference Alignment for Retrieval-Augmented Generation
- Title（参考訳）: LLMが必要とするものを理解する: 再検索型生成のための二元選好アライメント
- Authors: Guanting Dong, Yutao Zhu, Chenghao Zhang, Zechen Wang, Zhicheng Dou, Ji-Rong Wen,
- Abstract要約: Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)の幻覚化問題を緩和する効果を実証している。
本稿では,RAGシステム内での多様な知識嗜好の整合を図った汎用フレームワークであるDPA-RAGを提案する。
- 参考スコア（独自算出の注目度）: 64.7982176398485
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-augmented generation (RAG) has demonstrated effectiveness in mitigating the hallucination problem of large language models (LLMs). However, the difficulty of aligning the retriever with the diverse LLMs' knowledge preferences inevitably poses an inevitable challenge in developing a reliable RAG system. To address this issue, we propose DPA-RAG, a universal framework designed to align diverse knowledge preferences within RAG systems. Specifically, we initially introduce a preference knowledge construction pipline and incorporate five novel query augmentation strategies to alleviate preference data scarcity. Based on preference data, DPA-RAG accomplishes both external and internal preference alignment: 1) It jointly integrate pair-wise, point-wise, and contrastive preference alignment abilities into the reranker, achieving external preference alignment among RAG components. 2) It further introduces a pre-aligned stage before vanilla Supervised Fine-tuning (SFT), enabling LLMs to implicitly capture knowledge aligned with their reasoning preferences, achieving LLMs' internal alignment. Experimental results across four knowledge-intensive QA datasets demonstrate that DPA-RAG outperforms all baselines and seamlessly integrates both black-box and open-sourced LLM readers. Further qualitative analysis and discussions also provide empirical guidance for achieving reliable RAG systems. Our code is publicly available at https://github.com/dongguanting/DPA-RAG.
- Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、大規模言語モデル(LLM)の幻覚問題を緩和する効果を実証している。
しかし,レトリバーと多様なLLMの知識嗜好を整合させることの難しさは,信頼性の高いRAGシステムを開発する上で必然的な課題となる。
本稿では,RAGシステム内での多様な知識嗜好の整合を図った汎用フレームワークであるDPA-RAGを提案する。
具体的には、まず、嗜好知識構築のピップラインを導入し、嗜好データの不足を軽減するために、5つの新しいクエリ拡張戦略を取り入れる。
嗜好データに基づいて、DPA-RAGは、外部と内部の両方の嗜好アライメントを達成する。
1) ペアワイド,ポイントワイド,コントラスト優先アライメント能力とリランカを併用し,RAG成分間の外部優先アライメントを実現する。
2)バニラ・スーパーバイザード・ファインチューニング(SFT)の前に事前整列ステージを導入し,LLMの内部アライメントを達成することにより,LLMが推論の好みに沿った知識を暗黙的に取得することを可能にする。
4つの知識集約型QAデータセットに対する実験結果から、DPA-RAGはすべてのベースラインを上回り、ブラックボックスとオープンソースLLMリーダの両方をシームレスに統合することを示した。
さらに質的な分析と議論は、信頼性の高いRAGシステムを実現するための実証的なガイダンスを提供する。
私たちのコードはhttps://github.com/dongguanting/DPA-RAG.comで公開されています。
関連論文リスト
- RoseRAG: Robust Retrieval-augmented Generation with Small-scale LLMs via Margin-aware Preference Optimization [53.63439735067081]
大規模言語モデル(LLM)は目覚ましい性能を達成したが、高い計算コストとレイテンシに直面している。
Retrieval-augmented Generation (RAG) は、外部知識を統合するのに役立つが、不完全な検索は、SLMを誤解させるノイズを引き起こす可能性がある。
我々は、Margin-aware Preference Optimizationを通じて、SLMのための堅牢なRAGフレームワークであるRoseRAGを提案する。
論文 参考訳（メタデータ） (2025-02-16T04:56:53Z) - ParetoRAG: Leveraging Sentence-Context Attention for Robust and Efficient Retrieval-Augmented Generation [8.223134723149753]
本稿では、RAG(Retrieval-Augmented Generation)システムを最適化する教師なしフレームワークを提案する。
段落を文に分解することにより,文脈コヒーレンスを保ちながら,コアコンテンツを動的に再重み付けする。
このフレームワークは、さまざまなデータセット、LLM(Large Language Models)、レトリバーで検証されている。
論文 参考訳（メタデータ） (2025-02-12T07:32:48Z) - Optimizing Knowledge Integration in Retrieval-Augmented Generation with Self-Selection [72.92366526004464]
Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) がより正確で信頼性の高い応答を生成するのに有効であることが証明されている。
本稿では,自己選択型RAGフレームワークを提案する。このフレームワークでは,内部パラメトリック知識のみで生成されたペアの応答からLLMを選択できる。
論文 参考訳（メタデータ） (2025-02-10T04:29:36Z) - Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。
検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。
生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
論文 参考訳（メタデータ） (2024-11-11T14:25:37Z) - Open-RAG: Enhanced Retrieval-Augmented Reasoning with Open-Source Large Language Models [23.68266151581951]
Retrieval-Augmented Generation (RAG) は,Large Language Models (LLMs) の実際の精度を高めることが示されている。
既存の手法は、抽出された証拠を効果的に活用する際の限定的な推論能力に悩まされることが多い。
我々は,オープンソースLLMを用いたRAGにおける推論能力の向上を目的とした,新しいフレームワークであるOpen-RAGを紹介する。
論文 参考訳（メタデータ） (2024-10-02T17:37:18Z) - CtrlA: Adaptive Retrieval-Augmented Generation via Inherent Control [26.21425058462886]
大規模言語モデル(LLM)の幻覚を、検索された外部知識で緩和するための有望な解決策として、検索拡張世代(RAG)が出現している。
本稿では,適応的なRAGを表現的視点から解決し,固有な制御ベースフレームワークであるnameを開発するための最初の試みについて述べる。
実験により、名前は様々なタスクにおいて既存の適応RAG法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-05-29T03:17:16Z) - Can large language models explore in-context? [87.49311128190143]
単純なマルチアームバンディット環境において,エージェントとして大規模言語モデルをデプロイする。
モデルが実質的な介入なしには、探索にしっかりと関わっていないことが分かっています。
論文 参考訳（メタデータ） (2024-03-22T17:50:43Z) - REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering [115.72130322143275]
REAR(Relevance-Aware Retrieval-augmented approach for open-domain Question answering, QA)
我々は,特殊な設計のアセスメントモジュールを組み込むことで,LLMベースのRAGシステムのための新しいアーキテクチャを開発する。
オープンドメインの4つのQAタスクの実験では、REARは以前の競争力のあるRAGアプローチよりも大幅に優れていた。
論文 参考訳（メタデータ） (2024-02-27T13:22:51Z) - ActiveRAG: Autonomously Knowledge Assimilation and Accommodation through Retrieval-Augmented Agents [49.30553350788524]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)が外部知識を活用することを可能にする。
既存のRAGモデルは、LLMを受動的情報受信者として扱うことが多い。
人間の学習行動を模倣するマルチエージェントフレームワークであるActiveRAGを紹介する。
論文 参考訳（メタデータ） (2024-02-21T06:04:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。