論文の概要: C-FedRAG: A Confidential Federated Retrieval-Augmented Generation System
- arxiv url: http://arxiv.org/abs/2412.13163v1
- Date: Tue, 17 Dec 2024 18:42:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-18 13:56:38.456356
- Title: C-FedRAG: A Confidential Federated Retrieval-Augmented Generation System
- Title（参考訳）: C-FedRAG: 機密フェデレート検索拡張生成システム
- Authors: Parker Addison, Minh-Tuan H. Nguyen, Tomislav Medan, Mohammad T. Manzari, Brendan McElrone, Laksh Lalwani, Aboli More, Smita Sharma, Holger R. Roth, Isaac Yang, Chester Chen, Daguang Xu, Yan Cheng, Andrew Feng, Ziyue Xu,
- Abstract要約: 我々は、FedRAG(Federated Retrieval Augmented Generation)をセキュアにするためのソリューションとして、CC(Confidential Computing)技術を紹介する。
提案するConfidential FedRAGシステム(C-FedRAG)は、コンテキスト機密性を確保することにより、分散化されたデータプロバイダのネットワークをまたいだRAGのセキュアな接続とスケーリングを可能にする。
- 参考スコア（独自算出の注目度）: 7.526517642184865
- License:
- Abstract: Organizations seeking to utilize Large Language Models (LLMs) for knowledge querying and analysis often encounter challenges in maintaining an LLM fine-tuned on targeted, up-to-date information that keeps answers relevant and grounded. Retrieval Augmented Generation (RAG) has quickly become a feasible solution for organizations looking to overcome the challenges of maintaining proprietary models and to help reduce LLM hallucinations in their query responses. However, RAG comes with its own issues regarding scaling data pipelines across tiered-access and disparate data sources. In many scenarios, it is necessary to query beyond a single data silo to provide richer and more relevant context for an LLM. Analyzing data sources within and across organizational trust boundaries is often limited by complex data-sharing policies that prohibit centralized data storage, therefore, inhibit the fast and effective setup and scaling of RAG solutions. In this paper, we introduce Confidential Computing (CC) techniques as a solution for secure Federated Retrieval Augmented Generation (FedRAG). Our proposed Confidential FedRAG system (C-FedRAG) enables secure connection and scaling of a RAG workflows across a decentralized network of data providers by ensuring context confidentiality. We also demonstrate how to implement a C-FedRAG system using the NVIDIA FLARE SDK and assess its performance using the MedRAG toolkit and MIRAGE benchmarking dataset.
- Abstract（参考訳）: 知識クエリや分析にLLM(Large Language Models)を利用したい組織は、目標とする最新の情報に基づいて微調整されたLLMを維持する上で、しばしば課題に直面する。
Retrieval Augmented Generation (RAG)は、プロプライエタリなモデルを維持するという課題を克服し、クエリ応答におけるLLM幻覚を減らすことを目指す組織にとって、急速に実現可能なソリューションになりつつある。
しかしながら、RAGには、階層アクセスと異なるデータソースをまたいだデータパイプラインのスケーリングに関する独自の問題がある。
多くのシナリオでは、LLMによりリッチで関連性の高いコンテキストを提供するために、単一のデータサイロを超えてクエリする必要がある。
組織的信頼境界におけるデータソースの分析は、集中型データストレージを禁止している複雑なデータ共有ポリシーによって制限されることが多いため、RAGソリューションの高速かつ効果的なセットアップとスケーリングを阻害する。
本稿では,FedRAG(Federated Retrieval Augmented Generation)をセキュアにするためのソリューションとして,CC(Confidential Computing)技術を紹介する。
提案するConfidential FedRAGシステム(C-FedRAG)は、コンテキスト機密性を確保することにより、分散化されたデータプロバイダのネットワークをまたいだRAGワークフローのセキュアな接続とスケーリングを可能にする。
また、NVIDIA FLARE SDKを用いてC-FedRAGシステムの実装方法を示し、MedRAGツールキットとMIRAGEベンチマークデータセットを用いてその性能を評価する。
関連論文リスト
- FRAG: Toward Federated Vector Database Management for Collaborative and Secure Retrieval-Augmented Generation [1.3824176915623292]
本稿では,検索集約システム (RAG) のニーズの増大に対応する新しいデータベース管理パラダイムである textitFederated Retrieval-Augmented Generation (FRAG) を紹介する。
FRAGは、ANN(Approximate $k$-Nearest Neighbor)による、暗号化されたクエリベクタと分散ベクトルデータベースに格納された暗号化データ検索を相互に行うことができる。
論文 参考訳（メタデータ） (2024-10-17T06:57:29Z) - Data Advisor: Dynamic Data Curation for Safety Alignment of Large Language Models [79.65071553905021]
所望のデータセットの特徴を考慮したデータ生成手法であるデータアドバイザを提案する。
Data Advisorは生成されたデータの状態を監視し、現在のデータセットの弱点を特定し、データ生成の次のイテレーションをアドバイスする。
論文 参考訳（メタデータ） (2024-10-07T17:59:58Z) - Trustworthiness in Retrieval-Augmented Generation Systems: A Survey [59.26328612791924]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。
本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
論文 参考訳（メタデータ） (2024-09-16T09:06:44Z) - WeKnow-RAG: An Adaptive Approach for Retrieval-Augmented Generation Integrating Web Search and Knowledge Graphs [10.380692079063467]
本稿では,Web検索と知識グラフを統合したWeKnow-RAGを提案する。
まず,知識グラフの構造化表現と高次ベクトル検索の柔軟性を組み合わせることで,LLM応答の精度と信頼性を向上させる。
提案手法は,情報検索の効率と精度を効果的にバランスさせ,全体の検索プロセスを改善する。
論文 参考訳（メタデータ） (2024-08-14T15:19:16Z) - Understand What LLM Needs: Dual Preference Alignment for Retrieval-Augmented Generation [64.7982176398485]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)の幻覚化問題を緩和する効果を実証している。
本稿では,RAGシステム内での多様な知識嗜好の整合を図った汎用フレームワークであるDPA-RAGを提案する。
論文 参考訳（メタデータ） (2024-06-26T18:26:53Z) - "Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される
本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
論文 参考訳（メタデータ） (2024-06-26T05:36:23Z) - ERATTA: Extreme RAG for Table To Answers with Large Language Models [1.3318204310917532]
検索拡張現実(RAG)を備えた大規模言語モデル(LLM)は、スケーラブルな生成AIソリューションに最適な選択肢である。
本研究では,データ認証,ユーザクエリルーティング,データ検索,エンタープライズデータテーブルからの質問応答機能へのカスタムプロンプトを実現するために,複数のLLMを起動可能なLLMベースのユニークなシステムを提案する。
提案するシステムと評価基準は,持続可能性,財務状況,ソーシャルメディア領域において,数百のユーザクエリに対して,90%以上の信頼性スコアを達成している。
論文 参考訳（メタデータ） (2024-05-07T02:49:59Z) - Enhancing LLM Factual Accuracy with RAG to Counter Hallucinations: A Case Study on Domain-Specific Queries in Private Knowledge-Bases [9.478012553728538]
大規模言語モデル(LLM)の現実的精度を向上させるために,検索拡張生成(RAG)を利用するエンド・ツー・エンドのシステム設計を提案する。
我々のシステムはRAGパイプラインと上流データセット処理と下流性能評価を統合している。
本実験は,ドメイン固有で時間に敏感な質問に対して,より正確な回答を生成するシステムの有効性を実証する。
論文 参考訳（メタデータ） (2024-03-15T16:30:14Z) - The Good and The Bad: Exploring Privacy Issues in Retrieval-Augmented
Generation (RAG) [56.67603627046346]
Retrieval-augmented Generation (RAG)は、プロプライエタリおよびプライベートデータによる言語モデルを容易にする強力な技術である。
本研究では,プライベート検索データベースの漏洩に対するRAGシステムの脆弱性を実証する,新たな攻撃手法による実証的研究を行う。
論文 参考訳（メタデータ） (2024-02-23T18:35:15Z) - Free Lunch for Federated Remote Sensing Target Fine-Grained
Classification: A Parameter-Efficient Framework [23.933367972846312]
本稿では、PRFLと呼ばれるフェデレートラーニングに基づく新しいプライバシー保護TFGCフレームワークを提案する。
4つの公開データセットを活用することにより,従来のTFGCタスクにおけるPRFLの有効性を示す。
論文 参考訳（メタデータ） (2024-01-03T01:45:00Z) - PS-FedGAN: An Efficient Federated Learning Framework Based on Partially
Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。
本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。
PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
論文 参考訳（メタデータ） (2023-05-19T05:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。