論文の概要: Accuracy Improvement in Differentially Private Logistic Regression: A Pre-training Approach

• arxiv url: http://arxiv.org/abs/2307.13771v3
• Date: Mon, 12 Feb 2024 10:49:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 22:40:01.857741
• Title: Accuracy Improvement in Differentially Private Logistic Regression: A Pre-training Approach
• Title（参考訳）: 個人別ロジスティック回帰の精度向上:事前学習アプローチ
• Authors: Mohammad Hoseinpour, Milad Hoseinpour, Ali Aghagolzadeh
• Abstract要約: 本稿では,事前学習モジュールを用いてDPロジスティック回帰(LR)モデルの精度を高めることを目的とする。 その結果,事前学習モジュールを追加することでDP-LRモデルの精度が大幅に向上することがわかった。
• 参考スコア（独自算出の注目度）: 4.297070083645049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning (ML) models can memorize training datasets. As a result, training ML models over private datasets can lead to the violation of individuals' privacy. Differential privacy (DP) is a rigorous privacy notion to preserve the privacy of underlying training datasets. Yet, training ML models in a DP framework usually degrades the accuracy of ML models. This paper aims to boost the accuracy of a DP logistic regression (LR) via a pre-training module. In more detail, we initially pre-train our LR model on a public training dataset that there is no privacy concern about it. Then, we fine-tune our DP-LR model with the private dataset. In the numerical results, we show that adding a pre-training module significantly improves the accuracy of the DP-LR model.
• Abstract（参考訳）: 機械学習(ML)モデルは、トレーニングデータセットを記憶することができる。 その結果、プライベートデータセットよりもMLモデルをトレーニングすることで、個人のプライバシ侵害につながる可能性がある。 differential privacy (dp)は、基礎となるトレーニングデータセットのプライバシーを保護するための厳格なプライバシー概念である。 しかし、DPフレームワークでのMLモデルのトレーニングは通常、MLモデルの精度を低下させる。 本稿では,事前学習モジュールを用いてDPロジスティック回帰(LR)の精度を高めることを目的とする。 より詳しくは、まずはLRモデルを公開トレーニングデータセットで事前トレーニングし、プライバシーに関する懸念はありません。 次に、DP-LRモデルをプライベートデータセットで微調整する。 その結果,事前学習モジュールを追加することでDP-LRモデルの精度が大幅に向上することがわかった。

関連論文リスト

• Noise-Aware Differentially Private Regression via Meta-Learning [25.14514068630219]
  差別化プライバシ(DP)は、ユーザのプライバシを保護するための金の標準であるが、標準のDPメカニズムはパフォーマンスを著しく損なう。 この問題を緩和する1つのアプローチは、DPがプライベートデータで学習する前にシミュレーションデータ上でモデルを事前訓練することである。 本研究では、シミュレーションデータを用いて、畳み込み条件ニューラルネットワーク(ConvCNP)と改良された機能DPメカニズムを組み合わせたメタ学習モデルをトレーニングする。
  論文  参考訳（メタデータ） (2024-06-12T18:11:24Z)
• Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
  本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。 ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。 以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-05T19:32:01Z)
• Pre-training Differentially Private Models with Limited Public Data [58.945400707033016]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公開データの10%しか利用しない新しいDP継続事前学習戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• PANORAMIA: Privacy Auditing of Machine Learning Models without Retraining [2.6068944905108227]
  生成したデータを非メンバーとして使用した会員推論攻撃に依存するMLモデルのプライバシ監査方式を提案する。 PANORAMIAと呼ぶこのスキームは、トレーニングプロセスやモデル再トレーニングを制御せずに、大規模MLモデルのプライバシリークを定量化する。
  論文  参考訳（メタデータ） (2024-02-12T22:56:07Z)
• Accurate, Explainable, and Private Models: Providing Recourse While Minimizing Training Data Leakage [10.921553888358375]
  本稿では,2つの新しい手法について述べる。 DPM と LR は,相手が推測できることを減らすのに有効である。
  論文  参考訳（メタデータ） (2023-08-08T15:38:55Z)
• AI Model Disgorgement: Methods and Choices [127.54319351058167]
  本稿では,現代の機械学習システムに適用可能な分類法を紹介する。 学習モデルにおけるデータ「効果の除去」の意味を,スクラッチからリトレーニングする必要のない方法で検討する。
  論文  参考訳（メタデータ） (2023-04-07T08:50:18Z)
• Predictable MDP Abstraction for Unsupervised Model-Based RL [93.91375268580806]
  予測可能なMDP抽象化(PMA)を提案する。 元のMDPで予測モデルを訓練する代わりに、学習されたアクション空間を持つ変換MDPでモデルを訓練する。 我々はPMAを理論的に解析し、PMAが以前の教師なしモデルベースRLアプローチよりも大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-02-08T07:37:51Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)
• An Efficient DP-SGD Mechanism for Large Scale NLP Models [28.180412581994485]
  自然言語理解(NLU)モデルを訓練するために使用されるデータは、住所や電話番号などのプライベート情報を含むことができる。 基礎となるモデルは、トレーニングデータに含まれるプライベート情報を公開しないことが望ましい。 プライバシ保護モデルを構築するメカニズムとして,DP-SGD(Fariially Private Gradient Descent)が提案されている。
  論文  参考訳（メタデータ） (2021-07-14T15:23:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。