論文の概要: Privacy Regularization: Joint Privacy-Utility Optimization in Language Models

• arxiv url: http://arxiv.org/abs/2103.07567v1
• Date: Fri, 12 Mar 2021 23:17:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-18 08:25:09.295880
• Title: Privacy Regularization: Joint Privacy-Utility Optimization in Language Models
• Title（参考訳）: プライバシ規則化:言語モデルにおける統合プライバシ-ユーティリティ最適化
• Authors: Fatemehsadat Mireshghallah, Huseyin A. Inan, Marcello Hasegawa, Victor R\"uhle, Taylor Berg-Kirkpatrick, Robert Sim
• Abstract要約: 学習言語モデルのための2つのプライバシ保護正規化手法を提案する。 私たちは、有利なユーティリティプライバシトレードオフで正規化の利点を示します。
• 参考スコア（独自算出の注目度）: 27.389684148671858
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural language models are known to have a high capacity for memorization of training samples. This may have serious privacy implications when training models on user content such as email correspondence. Differential privacy (DP), a popular choice to train models with privacy guarantees, comes with significant costs in terms of utility degradation and disparate impact on subgroups of users. In this work, we introduce two privacy-preserving regularization methods for training language models that enable joint optimization of utility and privacy through (1) the use of a discriminator and (2) the inclusion of a triplet-loss term. We compare our methods with DP through extensive evaluation. We show the advantages of our regularizers with favorable utility-privacy trade-off, faster training with the ability to tap into existing optimization approaches, and ensuring uniform treatment of under-represented subgroups.
• Abstract（参考訳）: ニューラルネットワークモデルは、トレーニングサンプルの記憶能力が高いことが知られている。 これは、電子メール通信のようなユーザーコンテンツのトレーニングモデルに深刻なプライバシーの影響をもたらす可能性がある。 プライバシ保証付きモデルをトレーニングする一般的な選択肢である差分プライバシー(DP)には,ユーティリティの劣化とユーザサブグループへの影響の相違という面で,大幅なコストが伴う。 本研究は,(1)判別器の使用,(2)三重項を含むことにより,ユーティリティとプライバシの協調最適化を可能にする言語モデルの学習のための2つのプライバシ保存正規化手法を提案する。 本手法をdpと比較し,広範な評価を行った。 本研究は,既存最適化手法を取り入れた学習の高速化,非表現サブグループの統一的処理の確保など,レギュラーライザの優位性を示す。

関連論文リスト

• Masked Differential Privacy [64.32494202656801]
  本稿では,差分プライバシーを適用した機密領域を制御できる「マスク型差分プライバシー(DP)」という効果的なアプローチを提案する。 提案手法はデータに基づいて選択的に動作し,DPアプリケーションや差分プライバシーをデータサンプル内の他のプライバシー技術と組み合わせることなく,非感性時間領域を定義できる。
  論文  参考訳（メタデータ） (2024-10-22T15:22:53Z)
• Personalized Adaptation via In-Context Preference Learning [20.042909385219716]
  Preference Pretrained Transformer (PPT) は、オンラインユーザフィードバックを用いた適応型パーソナライズのための新しいアプローチである。 この結果から,大規模言語モデルにおけるスケーラブルで効率的なパーソナライズのためのコンテキスト内学習の可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-17T20:06:02Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Privacy Preserving Large Language Models: ChatGPT Case Study Based Vision and Framework [6.828884629694705]
  本稿では,LLMのプライバシ生成モデルであるPrivChatGPTという概念モデルを提案する。 PrivChatGPTは、データキュレーション/前処理中にユーザのプライバシを保護し、プライベートコンテキストの保存と大規模データのプライベートトレーニングプロセスという2つの主要コンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-10-19T06:55:13Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Advancing Personalized Federated Learning: Group Privacy, Fairness, and Beyond [6.731000738818571]
  Federated Learning(FL)は、機械学習モデルを分散的かつ協調的にトレーニングするためのフレームワークである。 本稿では、FLフレームワーク内で訓練されたモデルによって達成されたパーソナライズ、プライバシ保証、公平性の3つの相互作用について述べる。 グループプライバシ保証を$d$-privacyを利用して導入する手法が提案されている。
  論文  参考訳（メタデータ） (2023-09-01T12:20:19Z)
• Can Public Large Language Models Help Private Cross-device Federated Learning? [58.05449579773249]
  言語モデルのプライベート・フェデレーション・ラーニング(FL)について検討する。 公開データは、大小両方の言語モデルのプライバシーとユーティリティのトレードオフを改善するために使われてきた。 提案手法は,プライベートなデータ分布に近い公開データをサンプリングするための理論的基盤を持つ新しい分布マッチングアルゴリズムである。
  論文  参考訳（メタデータ） (2023-05-20T07:55:58Z)
• On the utility and protection of optimization with differential privacy and classic regularization techniques [9.413131350284083]
  本稿では,標準最適化手法に対するDP-SGDアルゴリズムの有効性について検討する。 我々は、差分プライバシーの欠陥と限界について議論し、ドロップアウトとl2-規則化のプライバシー保護特性がしばしば優れていることを実証した。
  論文  参考訳（メタデータ） (2022-09-07T14:10:21Z)
• Personalized PATE: Differential Privacy for Machine Learning with Individual Privacy Guarantees [1.2691047660244335]
  トレーニングデータ内に、パーソナライズされたプライバシ保証の異なるMLモデルのトレーニングを支援する3つの新しい方法を提案する。 実験により, 個人化されたプライバシ手法は, 非個人化されたベースラインよりも高い精度のモデルが得られることがわかった。
  論文  参考訳（メタデータ） (2022-02-21T20:16:27Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)
• User-Level Privacy-Preserving Federated Learning: Analysis and Performance Optimization [77.43075255745389]
  フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。 情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。 サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-29T10:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。