論文の概要: Self-Refining Language Model Anonymizers via Adversarial Distillation

• arxiv url: http://arxiv.org/abs/2506.01420v1
• Date: Mon, 02 Jun 2025 08:21:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.102244
• Title: Self-Refining Language Model Anonymizers via Adversarial Distillation
• Title（参考訳）: 対数蒸留による自己精製型言語モデル匿名化器
• Authors: Kyuyoung Kim, Hyunjun Jeon, Jinwoo Shin,
• Abstract要約: 大きな言語モデル(LLM)は、個人情報を推測する能力がプライバシーのリスクを生じさせるセンシティブなドメインで、ますます使われています。 本稿では,SLM(Small Language Model)を訓練し,効率的な匿名化を実現するための新しい蒸留フレームワークであるSEAL(Self-refining Anonymization with Language Model)を紹介する。
• 参考スコア（独自算出の注目度）: 49.17383264812234
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used in sensitive domains, where their ability to infer personal data from seemingly benign text poses emerging privacy risks. While recent LLM-based anonymization methods help mitigate such risks, they often rely on proprietary models (e.g., GPT-4), raising concerns about cost and the potential exposure of sensitive data to untrusted external systems. To address this, we introduce SElf-refining Anonymization with Language model (SEAL), a novel distillation framework for training small language models (SLMs) to perform effective anonymization without relying on external costly models at inference time. We leverage adversarial interactions between an LLM anonymizer and an inference model to collect trajectories of anonymized texts and inferred attributes, which are used to distill anonymization, adversarial inference, and utility evaluation capabilities into SLMs via supervised fine-tuning and preference learning. The resulting models learn to both anonymize text and critique their outputs, enabling iterative improvement of anonymization quality via self-refinement. Experiments on SynthPAI, a dataset of synthetic personal profiles and text comments, demonstrate that SLMs trained with SEAL achieve substantial improvements in anonymization capabilities. Notably, 8B models attain a privacy-utility trade-off comparable to that of the GPT-4 anonymizer and, with self-refinement, even surpass it in terms of privacy. These results show the effectiveness of our adversarial distillation framework in training SLMs as efficient anonymizers. To facilitate further research, we release the full dataset used in our experiments.
• Abstract（参考訳）: 大きな言語モデル(LLM)は機密性の高いドメインでますます使われており、一見良心的なテキストから個人データを推測する能力は、プライバシーのリスクを増大させる。 最近のLCMベースの匿名化手法はそのようなリスクを軽減するのに役立つが、しばしばプロプライエタリなモデル(GPT-4など)に頼り、コストや機密データを信頼できない外部システムに露出する可能性への懸念を高めている。 そこで本研究では,SEAL(Self-refining Anonymization with Language Model)について紹介する。SEAL(Self-Refining Anonymization with Language Model)は,SLM(Small Language Model)をトレーニングするための新しい蒸留フレームワークである。 我々は、LLM匿名化器と推論モデル間の対角的相互作用を利用して匿名化テキストと推論属性の軌跡を収集し、教師付き微調整と選好学習を通じてSLMに匿名化、逆推論、ユーティリティ評価機能を蒸留する。 得られたモデルは、テキストの匿名化とアウトプットの批判の両方を学び、自己修正を通じて匿名化品質を反復的に改善する。 合成個人プロファイルとテキストコメントのデータセットであるSynthPAIの実験は、SEALでトレーニングされたSLMが匿名化機能を大幅に改善したことを示す。 特に8Bモデルは、GPT-4の匿名化と同等のプライバシユーティリティトレードオフを達成し、自己抑制によって、プライバシに関してさえもそれを上回っている。 これらの結果から,SLMを効率の良い匿名化剤として訓練する際の逆蒸留フレームワークの有効性が示唆された。 さらなる研究を容易にするため、実験で使用される全データセットを公開します。

関連論文リスト

• Automated Profile Inference with Language Model Agents [67.32226960040514]
  自動プロファイル推論(Automatic Profile Inference)と呼ばれる,LLMがオンラインの偽名にもたらす新たな脅威について検討する。 相手は、LDMに対して、疑似プラットフォーム上で公開されているユーザアクティビティから、機密性の高い個人属性を自動的に取り除き、抽出するように指示することができる。 実世界のシナリオにおけるこのような脅威の可能性を評価するために,AutoProfilerという自動プロファイリングフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-05-18T13:05:17Z)
• Augmenting Anonymized Data with AI: Exploring the Feasibility and Limitations of Large Language Models in Data Enrichment [3.459382629188014]
  大規模言語モデル(LLM)は、テキスト生成と理解の両方において高度な機能を示している。 データアーカイブへのそれらの適用は、データ対象に関する機密情報の民営化を促進する可能性がある。 このデータは、保護されていないとしても、開示と身元確認の両方の観点からプライバシー上のリスクをもたらす可能性がある。
  論文  参考訳（メタデータ） (2025-04-03T13:26:59Z)
• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。 既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。 本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• Large Language Models are Advanced Anonymizers [2.9373912230684565]
  大規模言語モデル(LLM)に関する最近のプライバシー調査では、オンラインテキストから個人データを推測することで、ほぼ人間レベルのパフォーマンスを達成することが示されている。 既存のテキスト匿名化手法は現在、規制要件や敵の脅威に欠けています。 逆LLM推論の面における匿名性を評価するための新しい設定法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T14:44:00Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。