論文の概要: Pistis-RAG: A Scalable Cascading Framework Towards Trustworthy Retrieval-Augmented Generation
- arxiv url: http://arxiv.org/abs/2407.00072v4
- Date: Thu, 1 Aug 2024 06:56:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-02 13:55:00.741287
- Title: Pistis-RAG: A Scalable Cascading Framework Towards Trustworthy Retrieval-Augmented Generation
- Title（参考訳）: Pistis-RAG: 信頼できる検索拡張世代に向けたスケーラブルなカスケーディングフレームワーク
- Authors: Yu Bai, Yukai Miao, Li Chen, Dan Li, Yanyu Ren, Hongtao Xie, Ce Yang, Xuhui Cai,
- Abstract要約: Pistis-RAGは、大規模検索拡張生成(RAG)システムの課題に対処するために設計されたスケーラブルなマルチステージフレームワークである。
私たちのフレームワークは、マッチング、序列、ランク付け、推論、集約という、異なるステージで構成されています。
我々の新しいランキングステージは、情報検索の原則を取り入れたRAGシステムに特化して設計されている。
- 参考スコア（独自算出の注目度）: 36.50624138061438
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In Greek mythology, Pistis symbolized good faith, trust, and reliability. Drawing inspiration from these principles, Pistis-RAG is a scalable multi-stage framework designed to address the challenges of large-scale retrieval-augmented generation (RAG) systems. This framework consists of distinct stages: matching, pre-ranking, ranking, reasoning, and aggregating. Each stage contributes to narrowing the search space, prioritizing semantically relevant documents, aligning with the large language model's (LLM) preferences, supporting complex chain-of-thought (CoT) methods, and combining information from multiple sources. Our ranking stage introduces a significant innovation by recognizing that semantic relevance alone may not lead to improved generation quality, due to the sensitivity of the few-shot prompt order, as noted in previous research. This critical aspect is often overlooked in current RAG frameworks. We argue that the alignment issue between LLMs and external knowledge ranking methods is tied to the model-centric paradigm dominant in RAG systems. We propose a content-centric approach, emphasizing seamless integration between LLMs and external information sources to optimize content transformation for specific tasks. Our novel ranking stage is designed specifically for RAG systems, incorporating principles of information retrieval while considering the unique business scenarios reflected in LLM preferences and user feedback. We simulated feedback signals on the MMLU benchmark, resulting in a 9.3% performance improvement. Our model and code will be open-sourced on GitHub. Additionally, experiments on real-world, large-scale data validate the scalability of our framework.
- Abstract（参考訳）: ギリシア神話では、ピスティスは信仰、信頼、信頼性を象徴していた。
これらの原則から着想を得たPristis-RAGは、大規模検索拡張世代システム(RAG)の課題に対処するために設計されたスケーラブルなマルチステージフレームワークである。
このフレームワークは、マッチング、序列、ランク付け、推論、集約という、異なるステージで構成されている。
各ステージは、検索空間の狭化、意味のある文書の優先順位付け、大きな言語モデル(LLM)の好みの整合化、複雑なチェーン・オブ・シント(CoT)メソッドのサポート、複数のソースからの情報の統合に寄与する。
我々のランク付け段階は、セマンティックな関連性だけでは生成品質が向上しない可能性があることを認識して、重要なイノベーションをもたらす。
この重要な側面は、しばしば現在のRAGフレームワークで見過ごされる。
我々は、LLMと外部知識ランキング手法の整合性問題は、RAGシステムにおいて支配的なモデル中心のパラダイムと結びついていると論じる。
本稿では,LLMと外部情報ソースのシームレスな統合を重視し,特定のタスクに対するコンテンツ変換を最適化する,コンテンツ中心のアプローチを提案する。
LLMの嗜好やユーザフィードバックに反映されるユニークなビジネスシナリオを考慮しつつ,情報検索の原則を取り入れた新しいランキングステージを設計する。
MMLUベンチマークでフィードバック信号をシミュレートし,9.3%の性能向上を実現した。
私たちのモデルとコードはGitHubでオープンソース化される予定です。
さらに、実世界の大規模データに関する実験は、我々のフレームワークのスケーラビリティを検証する。
関連論文リスト
- Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。
この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。
そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
論文 参考訳（メタデータ） (2024-11-07T10:31:31Z) - Reward-RAG: Enhancing RAG with Reward Driven Supervision [43.66966457772646]
本稿では、Reward-Driven Supervisionを通じて、Retrieval-Augmented Generation(RAG)モデルを強化するために設計された新しいアプローチであるReward-RAGを紹介する。
従来のRAG手法とは異なり,本手法ではCriticGPTを用いて検索情報を特定の領域に適応させ,専用報酬モデルを訓練する。
この報酬モデルは、RAGを微調整するための合成データセットを生成し、その出力を人間の好みとより密に一致させる。
論文 参考訳（メタデータ） (2024-10-03T15:26:50Z) - Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。
その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
論文 参考訳（メタデータ） (2024-09-26T12:37:26Z) - SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。
SFR-RAG(SFR-RAG)について述べる。
また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
論文 参考訳（メタデータ） (2024-09-16T01:08:18Z) - Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting [68.90949377014742]
Speculative RAG(投機的RAG)は、より大規模なジェネラリストLMを利用して、より小さな蒸留専門のLMによって並列に生成された複数のRAGドラフトを効率よく検証するフレームワークである。
提案手法は,より小さな専門家のLMにドラフト作成を委譲することでRAGを加速し,より大きなジェネラリストのLMがドラフトに1回の検証パスを実行する。
PubHealthの従来のRAGシステムと比較して、レイテンシを51%削減しながら、最大12.97%の精度向上を実現している。
論文 参考訳（メタデータ） (2024-07-11T06:50:19Z) - Fairer Preferences Elicit Improved Human-Aligned Large Language Model Judgments [41.25558612970942]
大規模言語モデル (LLMs) が優先バイアスを示し, 設計に敏感であることを示す。
この現象に触発された自動ゼロショット評価指向のプロンプト最適化フレームワークZEPOを提案する。
論文 参考訳（メタデータ） (2024-06-17T09:48:53Z) - InfoRM: Mitigating Reward Hacking in RLHF via Information-Theoretic Reward Modeling [66.3072381478251]
Reward Hacking(報酬の過度な最適化)は依然として重要な課題だ。
本稿では,報奨モデル,すなわちInfoRMのためのフレームワークを提案する。
InfoRMの過度な最適化検出機構は、有効であるだけでなく、幅広いデータセットにわたって堅牢であることを示す。
論文 参考訳（メタデータ） (2024-02-14T17:49:07Z) - Towards Reliable and Fluent Large Language Models: Incorporating
Feedback Learning Loops in QA Systems [10.58737969057445]
我々は,大規模な言語モデルによって生成された応答の引用,正しさ,および流布性を評価することができる評論家モデルを訓練するためのデータセットを構築した。
本稿では,批判モデルを利用して生成したテキストの異質な側面をリアルタイムにフィードバックする自動フィードバック機構を提案する。
提案手法の有効性を実験的に検証し,4%の精度向上とMAUVE測定値の約8%の精度向上を図った。
論文 参考訳（メタデータ） (2023-09-08T09:39:53Z) - Preference Ranking Optimization for Human Alignment [90.6952059194946]
大規模言語モデル(LLM)は、しばしば誤解を招くコンテンツを含み、それらを人間の価値と整合させる必要性を強調している。
人間のフィードバックからの強化学習(RLHF)が、このアライメントを達成するために採用されている。
我々は、人間のアライメントのための微調整LDMのための効率的なSFTアルゴリズムとして、優先度ランク付け最適化(PRO)を提案する。
論文 参考訳（メタデータ） (2023-06-30T09:07:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。