論文の概要: ALDEN: Boosting Private Data Extraction from Retrieval-Augmented Generation Systems via Active Learning and Distribution Estimation
- arxiv url: http://arxiv.org/abs/2605.18762v1
- Date: Fri, 10 Apr 2026 08:26:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 12:34:33.920938
- Title: ALDEN: Boosting Private Data Extraction from Retrieval-Augmented Generation Systems via Active Learning and Distribution Estimation
- Title(参考訳): ALDEN: アクティブラーニングと分布推定による検索拡張生成システムからのプライベートデータ抽出
- Authors: Xingyu Lyu, Jianfeng He, Ning Wang, Yidan Hu, Tao Li, Danjue Chen, Shixiong Li, Yimin Chen,
- Abstract要約: Retrieval-Augmented Generation (RAG) は、外部知識検索による大規模言語モデルの拡張に広く利用されている。
近年の研究では、RAGシステムは依然としてデータ抽出攻撃に弱いことが示されている。
本稿では,RAGから個人データを効果的に抽出する新たな攻撃であるALDENを提案する。
- 参考スコア(独自算出の注目度): 18.047579533992252
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Retrieval-Augmented Generation (RAG) is widely used to augment large language models with external knowledge retrieval to improve reliability and generalization. However, recent studies have shown that RAG systems remain vulnerable to data extraction attacks, where adversaries can extract private data by embedding malicious commands into user queries. Despite their feasibility, existing attacks typically suffer from low data extraction rates and limited practical effectiveness. Here, we propose ALDEN, a novel attack that effectively and efficiently extracts private data from RAGs. First, we employ active learning to diversify malicious queries and improve data extraction rates. Second, we observe that the data distribution of the underlying knowledge base provides valuable guidance for query generation and introduce a decay-based dynamic algorithm to estimate the corresponding topic distribution. By combining them together, we demonstrate that ALDEN substantially outperforms state-of-the-art methods through comprehensive evaluations.
- Abstract(参考訳): Retrieval-Augmented Generation (RAG) は、信頼性と一般化を改善するために、外部知識検索による大規模言語モデルの拡張に広く利用されている。
しかし、最近の研究では、RAGシステムはデータ抽出攻撃に弱いままであり、敵は悪意のあるコマンドをユーザクエリに埋め込むことで、プライベートデータを抽出できる。
その実現可能性にもかかわらず、既存の攻撃は通常、低いデータ抽出率と限られた実用性に悩まされる。
本稿では,RAGから個人データを効果的に抽出する新たな攻撃であるALDENを提案する。
まず、悪意のあるクエリを多様化し、データ抽出率を改善するためにアクティブラーニングを採用する。
第2に、基礎となる知識ベースのデータ分布がクエリ生成に有用なガイダンスを提供することを観察し、対応するトピック分布を推定するための減衰に基づく動的アルゴリズムを導入する。
これらを組み合わせることで、ALDENは包括的評価によって最先端の手法を大幅に上回っていることを示す。
関連論文リスト
- Data-dependent Exploration for Online Reinforcement Learning from Human Feedback [50.34161049551627]
人的フィードバックからのオンライン強化学習(RLHF)は、トレーニング中に新たな嗜好フィードバックを継続的に収集することにより、大規模言語モデル(LLM)を整合させるための有望なパラダイムとして登場した。
既存の調査戦略は、しばしば政治上の期待を通じてボーナスを導き出すが、これは訓練中に利用できる限られた歴史的嗜好データから確実に見積もることが難しい。
高不確実性領域に対する余分な不確実性ボーナスを構築するために、履歴データを活用するシンプルでスケーラブルなデータ依存型選好最適化法(DEPO)を提案する。
論文 参考訳(メタデータ) (2026-05-06T03:56:45Z) - External Data Extraction Attacks against Retrieval-Augmented Large Language Models [70.47869786522782]
RAGは、大規模言語モデル(LLM)を拡張するための重要なパラダイムとして登場した。
RAGは外部データ抽出攻撃(EDEA)の新たなリスクを導入している。
本研究は, EDEA を検索拡張 LLM に対して形式化する最初の総合的研究である。
論文 参考訳(メタデータ) (2025-10-03T12:53:45Z) - MARAGE: Transferable Multi-Model Adversarial Attack for Retrieval-Augmented Generation Data Extraction [6.917134562107388]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)における幻覚に対する解決策を提供する。
既存のRAG抽出攻撃は、しばしば手作業によるプロンプトに依存し、その効果を制限している。
我々は、ターゲットRAGシステムに送信されたユーザクエリに付加された逆文字列を最適化するMARAGEと呼ばれるフレームワークを導入し、検索されたRAGデータを含む出力を発生させる。
論文 参考訳(メタデータ) (2025-02-05T00:17:01Z) - ExaRanker-Open: Synthetic Explanation for IR using Open-Source LLMs [60.81649785463651]
ExaRanker-Openを導入し、オープンソース言語モデルを適用して、説明を生成する。
以上の結果から,LLMのサイズが大きくなるにつれて,説明の組み込みが神経ランク付けを継続的に促進することが明らかとなった。
論文 参考訳(メタデータ) (2024-02-09T11:23:14Z) - LORD: Leveraging Open-Set Recognition with Unknown Data [10.200937444995944]
LORDは未知のデータを活用することでオープンセット認識を活用するためのフレームワークである。
我々は、背景データを利用した3つのモデルに依存しない訓練戦略を特定し、それらを確立された分類器に適用する。
論文 参考訳(メタデータ) (2023-08-24T06:12:41Z) - Cluster-level pseudo-labelling for source-free cross-domain facial
expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。
本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。
提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-10-11T08:24:50Z) - Negative Data Augmentation [127.28042046152954]
負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。
我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。
実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
論文 参考訳(メタデータ) (2021-02-09T20:28:35Z) - Provably Efficient Causal Reinforcement Learning with Confounded
Observational Data [135.64775986546505]
オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。
提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-22T14:49:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。