論文の概要: GRASP: Reinforcing Language Model Anonymizers with Group Relative Policy Optimization
- arxiv url: http://arxiv.org/abs/2608.06526v1
- Date: Thu, 06 Aug 2026 19:12:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.268245
- Title: GRASP: Reinforcing Language Model Anonymizers with Group Relative Policy Optimization
- Title（参考訳）: GRASP:グループ相対ポリシー最適化による言語モデル匿名化の強化
- Abstract要約: 敵の匿名化は、攻撃者でもある有能な言語モデルでテキストを書き換えることによって、これに反対する。
最近の研究は、教師付き微調整と直接選好最適化を用いて、この振る舞いを小さなオンデバイスモデルに蒸留している。
textbfGRASP (textbfGroup-textbfRelative textbfAnonymization via textbfSelf-refinement textbfPolicy-Optimization)
単一の小さなモデルが匿名化器として機能する
- 参考スコア（独自算出の注目度）: 2.691618484013502
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models can infer sensitive personal attributes, such as age, location, and occupation, from ordinary text, turning everyday writing into a privacy risk. Adversarial anonymization defends against this by rewriting a text with a capable language model that also plays the attacker, but it needs a powerful model at inference time and thus sends private text to a third party, the very exposure anonymization should prevent. Recent work distills this behavior into a small on-device model using supervised fine-tuning and direct preference optimization (DPO), but DPO only imitates the teacher's offline choices and never directly optimizes the privacy--utility objective we care about. We introduce \textbf{GRASP} (\textbf{G}roup-\textbf{R}elative \textbf{A}nonymization via \textbf{S}elf-refinement \textbf{P}olicy-optimization), which reinforces the local anonymizer online with Group Relative Policy Optimization. A single small model acts as anonymizer, adversary, and utility judge, trained against a self-generated reward that hides attributes while preserving meaning, with a design that guards against reward hacking. Trained on Llama-3.1-8B, \ours{} improves the privacy--utility trade-off over the DPO-distilled baseline, consistently across three independent LLM judges. Against adversarial anonymization driven by frontier models such as Gemini~2.5~Flash and Claude, it achieves a comparable or better overall trade-off while removing substantially more private information, and it runs entirely on-device at roughly $1\%$ of the GPT-4o teacher's cost.
- Abstract（参考訳）: 大規模な言語モデルは、年齢、場所、職業などの機密性の高い個人属性を通常のテキストから推測し、日々の書き込みをプライバシー上のリスクに変えることができる。
敵対的匿名化は、攻撃者も実行する能力のある言語モデルでテキストを書き換えることによってこれを防御するが、推論時に強力なモデルが必要であり、それによって第三者にプライベートテキストを送信するため、非常に露出した匿名化が防止される。
最近の研究は、教師付き微調整と直接選好最適化(DPO)を使用して、この振る舞いを小さなオンデバイスモデルに蒸留しているが、DPOは教師のオフライン選択を模倣するだけであり、私たちが関心を持つプライバシーとユーティリティの目的を直接最適化することはない。
グループ相対ポリシー最適化を用いて局所匿名化をオンラインに強化する、 \textbf{GRASP} (\textbf{G}roup-\textbf{R}elative \textbf{A}nonymization via \textbf{S}elf-refinement \textbf{P}olicy-timization)を紹介する。
一つの小さなモデルは匿名化者、敵対者、ユーティリティ・ジャッジとして働き、意味を保ちながら属性を隠蔽する自己生成の報酬に対して訓練され、報酬のハッキングを防ぐ設計である。
Llama-3.1-8Bで訓練された \ours{} は、DPOで蒸留されたベースライン上のプライバシーとユーティリティのトレードオフを改善し、3つの独立したLCM判事を一貫して横断する。
Gemini~2.5~FlashやClaudeといったフロンティアモデルによって駆動される敵の匿名化とは対照的に、はるかに多くのプライベート情報を取り除きながら全体的なトレードオフを達成し、GPT-4oの教師のコストのおよそ1/%でデバイス上で実行される。
関連論文リスト
- Private Direct Preference Optimization for LLM Alignment [77.56374641532715]
直接選好最適化(DPO)は、人間の選好データを用いて大規模言語モデル(LLM)を調整するための標準手法である。
本稿では、DPOのためのラベルDPスタイルのプライバシー概念である嗜好プライバシを定式化する。
次に、大規模LLMトレーニングと互換性を維持しながら、好みのプライバシを強制するDPOの派生であるPrivDPOを設計する。
論文 参考訳（メタデータ） (2026-08-05T16:51:02Z) - Stop Tracking Me! Proactive Defense Against Attribute Inference Attack in LLMs [61.15237978606501]
大規模言語モデルは、ユーザ生成テキストからプライベートなユーザー属性を推測することができる。
既存の匿名化ベースの防御は粗く、プライバシーを優先する要素を匿名化する際に単語レベルの精度が欠如している。
細粒度匿名化(TRACE)と推論防止最適化(RPS)を組み合わせた統合防衛フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-12T03:37:50Z) - RL-Finetuned LLMs for Privacy-Preserving Synthetic Rewriting [17.294176570269]
本稿では,複合報酬関数を用いた大規模言語モデル(LLM)を微調整する強化学習フレームワークを提案する。
プライバシ報酬は、セマンティックキューと、潜伏表現上の最小スパンニングツリー(MST)から派生した構造パターンを組み合わせる。
実験の結果,提案手法はセマンティック品質を劣化させることなく,著者の難読化とプライバシーの指標を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2025-08-25T04:38:19Z) - AgentStealth: Reinforcing Large Language Model for Anonymizing User-generated Text [8.758843436588297]
AgentStealthは、テキスト匿名化のための自己強化言語モデルである。
本手法は, 匿名化の有効性と実用性の両方において, ベースラインよりも優れていることを示す。
当社の軽量設計は、エッジデバイスへの直接的なデプロイをサポートし、クラウド依存や通信ベースのプライバシリスクを回避する。
論文 参考訳（メタデータ） (2025-06-26T02:48:16Z) - Self-Refining Language Model Anonymizers via Adversarial Distillation [48.280759014096354]
本稿では,Self-refining Anonymization with Language Model (SEAL)を紹介する。
SEALは、推論時に外部モデルに頼ることなく効果的な匿名化を行うために、小型言語モデル(SLM)をトレーニングするための新しい蒸留フレームワークである。
合成個人プロファイルとテキストコメントのデータセットであるSynthPAIの実験は、SEALでトレーニングされたSLMが匿名化機能を大幅に改善したことを示す。
論文 参考訳（メタデータ） (2025-06-02T08:21:27Z) - PersGuard: Preventing Malicious Personalization via Backdoor Attacks on Pre-trained Text-to-Image Diffusion Models [51.458089902581456]
特定の画像の悪質なパーソナライズを防ぐ新しいバックドアベースのアプローチであるPersGuardを紹介する。
我々の手法は既存の技術よりも優れており、プライバシーと著作権保護に対するより堅牢なソリューションを提供する。
論文 参考訳（メタデータ） (2025-02-22T09:47:55Z) - Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
機密情報を含む匿名化は、幅広いアプリケーションにとって不可欠である。
既存の技術は、大規模言語モデルの再識別能力の新たな課題に直面している。
本稿では,プライバシ評価器,ユーティリティ評価器,最適化コンポーネントの3つの重要なコンポーネントで構成されるフレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-16T14:28:56Z) - PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。
我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。
特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文 参考訳（メタデータ） (2023-10-03T22:37:01Z) - Can Language Models be Instructed to Protect Personal Information? [30.187731765653428]
シミュレーションシナリオにおいて、モデルが特定の個人情報のカテゴリを保護するように指示されたとき、プライバシ/ユーティリティトレードオフを評価するためのベンチマークであるPrivQAを紹介します。
我々は,テキストや画像入力による単純なジェイルブレイク手法により,敵が容易にこれらの保護を回避できることを見出した。
PrivQAは、プライバシー保護を改善した新しいモデルの開発と、これらの保護の敵意的な堅牢性をサポートする可能性があると考えています。
論文 参考訳（メタデータ） (2023-10-03T17:30:33Z) - RecUP-FL: Reconciling Utility and Privacy in Federated Learning via
User-configurable Privacy Defense [9.806681555309519]
フェデレートラーニング(FL)は、クライアントがプライベートデータを共有せずに、協力的にモデルをトレーニングすることを可能にする。
近年の研究では、共有勾配によってプライベート情報が漏洩する可能性があることが示されている。
本稿では、ユーザ指定の機密属性により焦点を絞ることができる、ユーザ設定可能なプライバシ保護(RecUP-FL)を提案する。
論文 参考訳（メタデータ） (2023-04-11T10:59:45Z) - Just Fine-tune Twice: Selective Differential Privacy for Large Language
Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。
実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文 参考訳（メタデータ） (2022-04-15T22:36:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。