論文の概要: Robust Utility-Preserving Text Anonymization Based on Large Language Models

• arxiv url: http://arxiv.org/abs/2407.11770v1
• Date: Tue, 16 Jul 2024 14:28:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 14:32:53.172243
• Title: Robust Utility-Preserving Text Anonymization Based on Large Language Models
• Title（参考訳）: 大規模言語モデルに基づくロバストなユーティリティ保存テキスト匿名化
• Authors: Tianyu Yang, Xiaodan Zhu, Iryna Gurevych,
• Abstract要約: テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。 既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。 本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 80.5266278002083
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Text anonymization is crucial for sharing sensitive data while maintaining privacy. Existing techniques face the emerging challenges of re-identification attack ability of Large Language Models (LLMs), which have shown advanced capability in memorizing detailed information and patterns as well as connecting disparate pieces of information. In defending against LLM-based re-identification attacks, anonymization could jeopardize the utility of the resulting anonymized data in downstream tasks -- the trade-off between privacy and data utility requires deeper understanding within the context of LLMs. This paper proposes a framework composed of three LLM-based components -- a privacy evaluator, a utility evaluator, and an optimization component, which work collaboratively to perform anonymization. To provide a practical model for large-scale and real-time environments, we distill the anonymization capabilities into a lightweight model using Direct Preference Optimization (DPO). Extensive experiments demonstrate that the proposed models outperform baseline models, showing robustness in reducing the risk of re-identification while preserving greater data utility in downstream tasks. Our code and dataset are available at https://github.com/UKPLab/arxiv2024-rupta.
• Abstract（参考訳）: テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。 既存の技術は、異なる情報の断片を接続するだけでなく、詳細な情報やパターンを記憶する高度な能力を示したLarge Language Models (LLMs) の再識別攻撃能力の新たな課題に直面している。 LLMベースの再識別攻撃に対して、匿名化は、ダウンストリームタスクにおける結果の匿名化データの実用性を阻害する可能性がある。 本稿では,3つのLCMベースのフレームワーク – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – を共用して匿名化を行うフレームワークを提案する。 大規模かつリアルタイムな環境を実現するための実用的なモデルとして,直接優先度最適化(DPO)を用いた軽量モデルに匿名化機能を蒸留する。 大規模な実験では、提案モデルがベースラインモデルより優れており、下流タスクでより大きなデータユーティリティを保ちながら、再識別のリスクを低減できるロバスト性を示している。 コードとデータセットはhttps://github.com/UKPLab/arxiv2024-rupta.comから入手可能です。

関連論文リスト

• FedDTPT: Federated Discrete and Transferable Prompt Tuning for Black-Box Large Language Models [14.719919025265224]
  特定のシナリオからのデータを調整した大きな言語モデル(LLM)は、プライバシリークのリスクを引き起こす。 ブラックボックス大言語モデルに対して,フェデレートされた離散的かつ転送可能なプロンプトチューニングであるFedDTPTを初めて提案する。 提案手法は,ブラックボックス設定における非IDデータに対する高い精度,通信オーバーヘッドの低減,ロバスト性を実現する。
  論文  参考訳（メタデータ） (2024-11-01T19:19:23Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Evaluating Large Language Model based Personal Information Extraction and Countermeasures [63.91918057570824]
  大規模言語モデル(LLM)は、攻撃者が個人プロファイルから様々な個人情報を正確に抽出するために誤用することができる。 LLMはそのような抽出において従来の方法より優れている。 即時注射は、そのようなリスクを広範囲に軽減し、従来の対策より優れている。
  論文  参考訳（メタデータ） (2024-08-14T04:49:30Z)
• FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
  フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。 FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。 本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
  論文  参考訳（メタデータ） (2024-03-10T08:41:22Z)
• Large Language Models are Advanced Anonymizers [13.900633576526863]
  敵の匿名化が、現在の業界レベルの匿名化を、その結果のユーティリティとプライバシの点で上回っていることを示す。 まず,敵対的LLM推論の面における匿名性を評価するための新しい設定を提案する。
  論文  参考訳（メタデータ） (2024-02-21T14:44:00Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Recovering from Privacy-Preserving Masking with Large Language Models [14.828717714653779]
  マスク付きトークンの代わりに大きな言語モデル(LLM)を提案する。 難読化コーパスでトレーニングしたモデルが,元のデータでトレーニングしたモデルと同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-09-12T16:39:41Z)
• A Trajectory K-Anonymity Model Based on Point Density and Partition [0.0]
  本稿では点密度と分割(K PDP)に基づく軌道K匿名性モデルを開発する。 再識別攻撃に抵抗し、k匿名データセットのデータユーティリティ損失を低減する。
  論文  参考訳（メタデータ） (2023-07-31T17:10:56Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。