論文の概要: Disentangling private classes through regularization
- arxiv url: http://arxiv.org/abs/2207.02000v1
- Date: Tue, 5 Jul 2022 12:35:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-06 21:19:58.819412
- Title: Disentangling private classes through regularization
- Title(参考訳): 正規化による私立授業の廃止
- Authors: Enzo Tartaglione, Francesca Gennari, Marco Grangetto
- Abstract要約: 深層学習モデルのためのアプローチであるDisPを提案する。
DisPは、トレーニング時に同一のプライベートクラスに属する機能を非相関化し、プライベートクラスのメンバーシップの情報を隠蔽する正規化戦略である。
最先端のディープラーニングモデルを用いた実験により,DisPの有効性が示された。
- 参考スコア(独自算出の注目度): 8.72305226979945
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning models are nowadays broadly deployed to solve an incredibly
large variety of tasks. However, little attention has been devoted to connected
legal aspects. In 2016, the European Union approved the General Data Protection
Regulation which entered into force in 2018. Its main rationale was to protect
the privacy and data protection of its citizens by the way of operating of the
so-called "Data Economy". As data is the fuel of modern Artificial
Intelligence, it is argued that the GDPR can be partly applicable to a series
of algorithmic decision making tasks before a more structured AI Regulation
enters into force. In the meantime, AI should not allow undesired information
leakage deviating from the purpose for which is created. In this work we
propose DisP, an approach for deep learning models disentangling the
information related to some classes we desire to keep private, from the data
processed by AI. In particular, DisP is a regularization strategy
de-correlating the features belonging to the same private class at training
time, hiding the information of private classes membership. Our experiments on
state-of-the-art deep learning models show the effectiveness of DisP,
minimizing the risk of extraction for the classes we desire to keep private.
- Abstract(参考訳): ディープラーニングモデルは現在、驚くほど多くのタスクを解決するために広くデプロイされています。
しかし、関係する法的側面にはほとんど注意が向けられていない。
2016年、欧州連合は2018年に施行された一般データ保護規則を承認した。
その主な根拠は、いわゆる「データ経済」の運営方法によって市民のプライバシーとデータ保護を保護することである。
データは現代の人工知能の燃料であるため、GDPRはより構造化されたAI規則が施行される前に、一連のアルゴリズムによる意思決定タスクに部分的に適用可能であると論じられている。
一方、AIは、作成目的から逸脱した望ましくない情報漏洩を許すべきではない。
本稿では、aiが処理するデータから、プライベートにしたいクラスに関連する情報を分離する深層学習モデルのためのdispを提案する。
特にDisPは、トレーニング時に同一のプライベートクラスに属する特徴を非正規化し、プライベートクラスのメンバーシップの情報を隠蔽する戦略である。
最先端のディープラーニングモデルに関する我々の実験は、DisPの有効性を示し、プライベートにしたいクラスに対する抽出のリスクを最小限に抑える。
関連論文リスト
- Differentially Private Model-Based Offline Reinforcement Learning [51.1231068185106]
DP-MORLは差分プライバシーを保証するアルゴリズムである。
環境のプライベートモデルは、まずオフラインデータから学習される。
次に、モデルベースのポリシー最適化を使用して、プライベートモデルからポリシーを導出します。
論文 参考訳(メタデータ) (2024-02-08T10:05:11Z) - Private Fine-tuning of Large Language Models with Zeroth-order
Optimization [54.24600476755372]
DP-ZO(DP-ZO)は、ゼロオーダー最適化を民営化し、トレーニングデータのプライバシを保存する、大規模言語モデルを微調整する新しい手法である。
DP-ZOは、SQuADから1000のトレーニングサンプルにOPT-66Bを微調整すると、プライバシが1,10-5)$-DPになるため、わずか1.86%のパフォーマンス低下を示す。
論文 参考訳(メタデータ) (2024-01-09T03:53:59Z) - DP-OPT: Make Large Language Model Your Privacy-Preserving Prompt
Engineer [60.44898240755332]
大きな言語モデル(LLM)は、様々なタスクのための支配的なツールとして現れています。
しかし、データプライバシに関する懸念は、調整されたプロンプトが機密情報に依存しているため、障害となる。
本稿では,DP-OPT(Dis Differentially-Private Offsite Prompt Tuning)を提案する。
論文 参考訳(メタデータ) (2023-11-27T02:01:10Z) - What can we learn from Data Leakage and Unlearning for Law? [0.0]
大規模言語モデル(LLM)は、トレーニングデータ(電子メールや電話番号などの個人識別可能な情報(PII)を含む)を記憶し、推論中にそれを漏洩させるため、プライバシー上の懸念がある。
忘れられる権利(right to be forget)”のようなプライバシー法に従うために、抽出に最も脆弱なユーザのデータポイントを削除することができる。
また, トレーニング前段階で記憶したトレーニング前データ(およびPII)を漏洩させる。
論文 参考訳(メタデータ) (2023-07-19T22:14:58Z) - Your Room is not Private: Gradient Inversion Attack on Reinforcement
Learning [47.96266341738642]
プライバシーは、ロボットが実質的な個人情報にアクセスすることによって、具体化されたAIの領域における重要な関心事として浮上する。
本稿では, 状態, 行動, 監視信号の再構成に勾配インバージョンを利用する, 値ベースアルゴリズムと勾配ベースアルゴリズムに対する攻撃を提案する。
論文 参考訳(メタデータ) (2023-06-15T16:53:26Z) - Considerations for Differentially Private Learning with Large-Scale
Public Pretraining [58.75893136929649]
大規模なWebスクレイプデータセットの使用は、差分プライバシ保存と見なすべきかどうかを疑問視する。
Webデータ上で事前訓練されたこれらのモデルを“プライベート”として公開することで、市民のプライバシーに対する信頼を意味のあるプライバシの定義として損なう可能性があることを警告します。
公的な事前学習がより普及し、強力になるにつれて、私的な学習分野への道のりを議論することで、我々は結論づける。
論文 参考訳(メタデータ) (2022-12-13T10:41:12Z) - A Survey on Differential Privacy with Machine Learning and Future
Outlook [0.0]
差分プライバシーは、あらゆる攻撃や脆弱性から機械学習モデルを保護するために使用される。
本稿では,2つのカテゴリに分類される差分プライベート機械学習アルゴリズムについて述べる。
論文 参考訳(メタデータ) (2022-11-19T14:20:53Z) - Knowledge Unlearning for Mitigating Privacy Risks in Language Models [31.322818016245087]
言語モデルのプライバシーリスクを低減する代替手法として知識アンラーニングを提案する。
トークンシーケンスのターゲットに異種トレーニングの目的を単純に適用することは、それを忘れるのに効果的であることを示す。
抽出攻撃に脆弱なデータが先入観として知られているシナリオでは、アンラーニングがより強力な経験的プライバシ保証を与える可能性があることを示す。
論文 参考訳(メタデータ) (2022-10-04T10:18:11Z) - Just Fine-tune Twice: Selective Differential Privacy for Large Language
Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。
実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文 参考訳(メタデータ) (2022-04-15T22:36:55Z) - Federated Learning in Adversarial Settings [0.8701566919381224]
フェデレートされた学習スキームは、堅牢性、プライバシ、帯域幅効率、モデルの精度の異なるトレードオフを提供します。
この拡張は、厳格なプライバシー要件があっても、プライベートではないがロバストなスキームと同じくらい効率的に機能することを示す。
これは差別化プライバシとロバストネスの基本的なトレードオフの可能性を示している。
論文 参考訳(メタデータ) (2020-10-15T14:57:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。