論文の概要: Accuracy Amplification in Differentially Private Logistic Regression: A Pre-Training Approach

• arxiv url: http://arxiv.org/abs/2307.13771v1
• Date: Tue, 25 Jul 2023 19:07:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-27 14:36:54.727031
• Title: Accuracy Amplification in Differentially Private Logistic Regression: A Pre-Training Approach
• Title（参考訳）: 離散的ロジスティック回帰における精度増幅--事前学習アプローチ
• Authors: Mohammad Hoseinpour, Milad Hoseinpour, Ali Aghagolzadeh
• Abstract要約: 本稿では,DP-MLモデル,特にロジスティック回帰モデルの事前学習モジュールによる精度向上を目的とする。 その結果,事前学習モジュールの追加はDPロジスティック回帰の精度を大幅に向上させることがわかった。
• 参考スコア（独自算出の注目度）: 8.336315962271396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning (ML) models can memorize training datasets. As a result, training ML models over private datasets can violate the privacy of individuals. Differential privacy (DP) is a rigorous privacy notion to preserve the privacy of underlying training datasets in ML models. Yet, training ML models in a DP framework usually degrades the accuracy of ML models. This paper aims to boost the accuracy of a DP-ML model, specifically a logistic regression model, via a pre-training module. In more detail, we initially pre-train our model on a public training dataset that there is no privacy concern about it. Then, we fine-tune our model via the DP logistic regression with the private dataset. In the numerical results, we show that adding a pre-training module significantly improves the accuracy of the DP logistic regression.
• Abstract（参考訳）: 機械学習(ML)モデルは、トレーニングデータセットを記憶することができる。 その結果、プライベートデータセット上でのmlモデルのトレーニングは、個人のプライバシを侵害する可能性がある。 差分プライバシー(DP)は、MLモデルにおける基礎となるトレーニングデータセットのプライバシーを維持するための厳格なプライバシー概念である。 しかし、DPフレームワークでのMLモデルのトレーニングは通常、MLモデルの精度を低下させる。 本稿では,DP-MLモデル,特にロジスティック回帰モデルの事前学習モジュールによる精度向上を目的とする。 より詳しくは、当社のモデルを公開トレーニングデータセットで事前トレーニングすることで、プライバシーに関する懸念はありません。 次に、プライベートデータセットでdpロジスティック回帰を通じてモデルを微調整する。 その結果,事前学習モジュールの追加により,dpロジスティック回帰の精度が大幅に向上することがわかった。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Noise-Aware Differentially Private Regression via Meta-Learning [25.14514068630219]
  差別化プライバシ(DP)は、ユーザのプライバシを保護するための金の標準であるが、標準のDPメカニズムはパフォーマンスを著しく損なう。 この問題を緩和する1つのアプローチは、DPがプライベートデータで学習する前にシミュレーションデータ上でモデルを事前訓練することである。 本研究では、シミュレーションデータを用いて、畳み込み条件ニューラルネットワーク(ConvCNP)と改良された機能DPメカニズムを組み合わせたメタ学習モデルをトレーニングする。
  論文  参考訳（メタデータ） (2024-06-12T18:11:24Z)
• Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
  本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。 ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。 以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-05T19:32:01Z)
• Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。 ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• Accurate, Explainable, and Private Models: Providing Recourse While Minimizing Training Data Leakage [10.921553888358375]
  本稿では,2つの新しい手法について述べる。 DPM と LR は,相手が推測できることを減らすのに有効である。
  論文  参考訳（メタデータ） (2023-08-08T15:38:55Z)
• AI Model Disgorgement: Methods and Choices [127.54319351058167]
  本稿では,現代の機械学習システムに適用可能な分類法を紹介する。 学習モデルにおけるデータ「効果の除去」の意味を,スクラッチからリトレーニングする必要のない方法で検討する。
  論文  参考訳（メタデータ） (2023-04-07T08:50:18Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)
• An Efficient DP-SGD Mechanism for Large Scale NLP Models [28.180412581994485]
  自然言語理解(NLU)モデルを訓練するために使用されるデータは、住所や電話番号などのプライベート情報を含むことができる。 基礎となるモデルは、トレーニングデータに含まれるプライベート情報を公開しないことが望ましい。 プライバシ保護モデルを構築するメカニズムとして,DP-SGD(Fariially Private Gradient Descent)が提案されている。
  論文  参考訳（メタデータ） (2021-07-14T15:23:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。