論文の概要: Learning to Erase Private Knowledge from Multi-Documents for Retrieval-Augmented Large Language Models

• arxiv url: http://arxiv.org/abs/2504.09910v1
• Date: Mon, 14 Apr 2025 06:10:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:52:54.575044
• Title: Learning to Erase Private Knowledge from Multi-Documents for Retrieval-Augmented Large Language Models
• Title（参考訳）: 検索型大規模言語モデルのための複数文書からの私的知識の抽出
• Authors: Yujing Wang, Hainan Zhang, Liang Pang, Yongxin Tong, Binghui Guo, Hongwei Zheng, Zhiming Zheng,
• Abstract要約: 本稿では、検索型拡張世代(RAG)のプライバシ消去タスクを紹介する。 我々はまず、匿名化攻撃に対する防御を目的として、文書間の潜在的な知識を特定するために、グローバルな知識グラフを構築した。 4つのQAデータセットに対する実験により、Eraser4RAGはGPT-4oよりも優れた消去性能を示した。
• 参考スコア（独自算出の注目度）: 30.143809176910185
• License:
• Abstract: Retrieval-Augmented Generation (RAG) is a promising technique for applying LLMs to proprietary domains. However, retrieved documents may contain sensitive knowledge, posing risks of privacy leakage in generative results. Thus, effectively erasing private information from retrieved documents is a key challenge for RAG. Unlike traditional text anonymization, RAG should consider: (1) the inherent multi-document reasoning may face de-anonymization attacks; (2) private knowledge varies by scenarios, so users should be allowed to customize which information to erase; (3) preserving sufficient publicly available knowledge for generation tasks. This paper introduces the privacy erasure task for RAG and proposes Eraser4RAG, a private knowledge eraser which effectively removes user-defined private knowledge from documents while preserving sufficient public knowledge for generation. Specifically, we first construct a global knowledge graph to identify potential knowledge across documents, aiming to defend against de-anonymization attacks. Then we randomly split it into private and public sub-graphs, and fine-tune Flan-T5 to rewrite the retrieved documents excluding private triples. Finally, PPO algorithm optimizes the rewriting model to minimize private triples and maximize public triples retention. Experiments on four QA datasets demonstrate that Eraser4RAG achieves superior erase performance than GPT-4o.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、LLMをプロプライエタリなドメインに適用するための有望なテクニックである。 しかし、検索された文書には機密知識が含まれており、生成結果にプライバシー漏洩のリスクが生じる可能性がある。 したがって、検索した文書から私的情報を効果的に消去することは、RAGにとって重要な課題である。 従来のテキスト匿名化とは異なり、RAGは(1)本質的なマルチドキュメント推論は匿名化攻撃に直面する可能性があり、(2)プライベートな知識はシナリオによって異なるため、ユーザーはどの情報を消去するかをカスタマイズでき、(3)生成タスクに十分な公開知識を保持する必要がある。 本稿では、RAGのプライバシ消去タスクを紹介し、文書からユーザ定義のプライベート知識を効果的に除去し、生成に十分なパブリック知識を保存したプライベート知識消去ツールであるEraser4RAGを提案する。 具体的には、まず、匿名化攻撃に対する防御を目的として、文書間の潜在的な知識を特定するために、グローバルな知識グラフを構築します。 そして、ランダムにそれをプライベートとパブリックのサブグラフに分割し、Flan-T5を微調整して、プライベートのトリプルを除いた文書を書き換えます。 最後に、PPOアルゴリズムは書き換えモデルを最適化し、プライベートトリプルを最小化し、パブリックトリプルの保持を最大化する。 4つのQAデータセットの実験により、Easer4RAGはGPT-4oよりも優れた消去性能が得られることが示された。

関連論文リスト

• Mitigating Sensitive Information Leakage in LLMs4Code through Machine Unlearning [5.974072640812041]
  コードのためのLanguage Models for Code (LLMs4Code)は、コード生成タスクに優れており、巨大なソフトウェア開発の負担から開発者をリリースすることを約束している。 これらのモデルは、トレーニング中に埋め込まれた機密情報が漏洩する可能性があるため、重大なプライバシーリスクに悩まされていることが示されている。 マシンアンラーニングは、モデルが完全なリトレーニングなしにセンシティブな情報を“忘れる”ことによって、有望なソリューションとして浮上した。
  論文  参考訳（メタデータ） (2025-02-09T01:50:34Z)
• RAG with Differential Privacy [3.009591302286514]
  Retrieval-Augmented Generation (RAG) は、新鮮で関連するコンテキストを持つ大規模言語モデルを提供する主要な技術として登場した。 外部文書を生成プロセスに統合することは、重大なプライバシー上の懸念を引き起こす。 本稿では,個人データから一般知識を抽出する手法を提案する。
  論文  参考訳（メタデータ） (2024-12-26T17:34:26Z)
• RAG-Thief: Scalable Extraction of Private Data from Retrieval-Augmented Generation Applications with Agent-based Attacks [18.576435409729655]
  本稿では,RAG-Thiefと呼ばれるエージェントベースの自動プライバシ攻撃を提案する。 RAGアプリケーションで使用されるプライベートデータベースから、スケーラブルな量のプライベートデータを抽出することができる。 我々の発見は、現在のRAGアプリケーションにおけるプライバシー上の脆弱性を強調し、より強力な保護の必要性を強調します。
  論文  参考訳（メタデータ） (2024-11-21T13:18:03Z)
• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。 既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。 本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• MUSE: Machine Unlearning Six-Way Evaluation for Language Models [109.76505405962783]
  言語モデル(LM)は、プライベートおよび著作権のあるコンテンツを含む大量のテキストデータに基づいて訓練される。 総合的な機械学習評価ベンチマークであるMUSEを提案する。 人気のある8つのアンラーニングアルゴリズムがハリー・ポッターの本やニュース記事をいかに効果的に解き放つかをベンチマークする。
  論文  参考訳（メタデータ） (2024-07-08T23:47:29Z)
• Machine Unlearning for Document Classification [14.71726430657162]
  機械学習として知られる新しいアプローチが登場し、AIモデルを特定の種類のデータを忘れるようにしている。 この研究は、文書分析アプリケーションにおけるプライバシー問題に対処することを目的とした機械学習手法の開発に向けた先駆的なステップである。
  論文  参考訳（メタデータ） (2024-04-29T18:16:13Z)
• The Good and The Bad: Exploring Privacy Issues in Retrieval-Augmented Generation (RAG) [56.67603627046346]
  Retrieval-augmented Generation (RAG)は、プロプライエタリおよびプライベートデータによる言語モデルを容易にする強力な技術である。 本研究では,プライベート検索データベースの漏洩に対するRAGシステムの脆弱性を実証する,新たな攻撃手法による実証的研究を行う。
  論文  参考訳（メタデータ） (2024-02-23T18:35:15Z)
• Privacy-Aware Document Visual Question Answering [44.82362488593259]
  この研究はDocVQAで使用されるマルチモーダルLLMモデルの現状におけるプライバシー問題を強調している。 本稿では,請求書と関連する質問と回答を含む大規模DocVQAデータセットを提案する。 プライベートでないモデルは記憶に残る傾向があり、プライベートな情報が露出する可能性があることを実証する。
  論文  参考訳（メタデータ） (2023-12-15T06:30:55Z)
• Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
  私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。 我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-10-27T04:15:30Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。