論文の概要: Fair NLP Models with Differentially Private Text Encoders
- arxiv url: http://arxiv.org/abs/2205.06135v1
- Date: Thu, 12 May 2022 14:58:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-13 12:28:46.183552
- Title: Fair NLP Models with Differentially Private Text Encoders
- Title(参考訳): 微分プライベートテキストエンコーダを用いた公正NLPモデル
- Authors: Gaurav Maheshwari, Pascal Denis, Mikaela Keller, Aur\'elien Bellet
- Abstract要約: 差分プライバシと敵対的トレーニングのアイデアを組み合わせてプライベートテキスト表現を学習するアプローチであるFEDERATEを提案する。
4つのNLPデータセット上で、表現のプライバシと下流モデルの公平性と精度のトレードオフを実証的に評価する。
- 参考スコア(独自算出の注目度): 1.7434507809930746
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Encoded text representations often capture sensitive attributes about
individuals (e.g., race or gender), which raise privacy concerns and can make
downstream models unfair to certain groups. In this work, we propose FEDERATE,
an approach that combines ideas from differential privacy and adversarial
training to learn private text representations which also induces fairer
models. We empirically evaluate the trade-off between the privacy of the
representations and the fairness and accuracy of the downstream model on four
NLP datasets. Our results show that FEDERATE consistently improves upon
previous methods, and thus suggest that privacy and fairness can positively
reinforce each other.
- Abstract(参考訳): 符号化されたテキスト表現は、しばしば個人(例えば人種や性別)の敏感な属性をキャプチャし、プライバシー上の懸念を生じさせ、下流モデルを特定のグループに不公平にすることができる。
本研究では,差分プライバシーと敵対的トレーニングのアイデアを組み合わせて,公平なモデルを誘導するプライベートテキスト表現を学習する手法であるフェデレートを提案する。
4つのNLPデータセット上で、表現のプライバシと下流モデルの公平性と精度のトレードオフを実証的に評価する。
以上の結果から, FEDERATEは従来手法を常に改善し, プライバシーと公平性は相互に肯定的に強化できることが示唆された。
関連論文リスト
- Can LLMs Keep a Secret? Testing Privacy Implications of Language Models
via Contextual Integrity Theory [86.8514623654506]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。
我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-10-27T04:15:30Z) - Independent Distribution Regularization for Private Graph Embedding [55.24441467292359]
グラフ埋め込みは属性推論攻撃の影響を受けやすいため、攻撃者は学習したグラフ埋め込みからプライベートノード属性を推測することができる。
これらの懸念に対処するため、プライバシ保護グラフ埋め込み手法が登場した。
独立分散ペナルティを正規化項として支援し, PVGAE(Private Variational Graph AutoEncoders)と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-08-16T13:32:43Z) - Differentially Private Language Models for Secure Data Sharing [19.918137395199224]
本稿では,生成言語モデルを個別に学習し,その結果を抽出する方法について述べる。
自然言語のプロンプトと新しいプロンプトミスマッチの損失を用いることで、高度に正確で流動的なテキストデータセットを作成できる。
我々は、我々の合成データセットが元のデータから情報を漏らさず、言語質が高いことを示す徹底的な実験を行う。
論文 参考訳(メタデータ) (2022-10-25T11:12:56Z) - COFFEE: Counterfactual Fairness for Personalized Text Generation in
Explainable Recommendation [56.520470678876656]
ユーザ記述テキストに固有のバイアスは、言語品質の異なるレベルとユーザの保護された属性を関連付けることができる。
説明生成における測度特異的な対実的公正性を実現するための一般的な枠組みを提案する。
論文 参考訳(メタデータ) (2022-10-14T02:29:10Z) - FairVFL: A Fair Vertical Federated Learning Framework with Contrastive
Adversarial Learning [102.92349569788028]
本稿では,VFLモデルの公平性を改善するために,FairVFL( Fair vertical federated learning framework)を提案する。
FairVFLの中核となる考え方は、分散化された機能フィールドに基づいたサンプルの統一的で公正な表現を、プライバシ保護の方法で学習することである。
ユーザのプライバシ保護のために,サーバ内の統一表現からプライベート情報を除去する対向学習手法を提案する。
論文 参考訳(メタデータ) (2022-06-07T11:43:32Z) - Just Fine-tune Twice: Selective Differential Privacy for Large Language
Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。
実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文 参考訳(メタデータ) (2022-04-15T22:36:55Z) - SF-PATE: Scalable, Fair, and Private Aggregation of Teacher Ensembles [50.90773979394264]
本稿では、個人の機密情報のプライバシーを保護しつつ、差別的でない予測者の学習を可能にするモデルについて検討する。
提案モデルの主な特徴は、プライバシ保護とフェアモデルを作成するために、オフ・ザ・セルフと非プライベートフェアモデルの採用を可能にすることである。
論文 参考訳(メタデータ) (2022-04-11T14:42:54Z) - Why Should I Trust a Model is Private? Using Shifts in Model Explanation
for Evaluating Privacy-Preserving Emotion Recognition Model [35.016050900061]
本稿では,モデルの有効性を評価するために解釈可能な手法を用いることに焦点をあてる。
プライバシーを守るための一般的な方法が、プライバシー保護の人間の認識とどのように一致しないかを示します。
評価者の傾きを評価し、特定のタスクのモデルを選択するためのクラウドソーシング実験を行います。
論文 参考訳(メタデータ) (2021-04-18T09:56:41Z) - Improving Fairness and Privacy in Selection Problems [21.293367386282902]
教師付き学習モデルの公平性とプライバシーの両方を改善するための後処理のステップとして、微分的プライベート指数関数機構を使用することの可能性を検討する。
この指数関数的メカニズムは, プライバシと公平性の両方を向上し, ポストプロセッシングを伴わないモデルと比較して, 精度がわずかに低下することを示した。
論文 参考訳(メタデータ) (2020-12-07T15:55:28Z) - On the Privacy Risks of Algorithmic Fairness [9.429448411561541]
我々は、グループフェアネスのプライバシーリスクを、メンバーシップ推論攻撃のレンズを通して調査する。
公平さはプライバシーの犠牲であり、このコストは平等に分配されない。
論文 参考訳(メタデータ) (2020-11-07T09:15:31Z) - Differentially Private Representation for NLP: Formal Guarantee and An
Empirical Study on Privacy and Fairness [38.90014773292902]
深層モデルで学習した隠れ表現が、入力のプライベート情報を符号化できることが示されている。
テキストから抽出した表現のプライバシを保護するために,DPNR(differially Private Neural Representation)を提案する。
論文 参考訳(メタデータ) (2020-10-03T05:58:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。