論文の概要: Privacy-Preserving Logistic Regression Training on Large Datasets
- arxiv url: http://arxiv.org/abs/2406.13221v1
- Date: Wed, 19 Jun 2024 05:19:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-21 23:09:15.533434
- Title: Privacy-Preserving Logistic Regression Training on Large Datasets
- Title（参考訳）: 大規模データセットを用いたプライバシー保護ロジスティック回帰トレーニング
- Authors: John Chiang,
- Abstract要約: 我々は,同型暗号化(HE)を用いた大規模暗号化データに対するロジスティック回帰学習のための効率的なアルゴリズムを提案する。
また、データセットがあまりに大きく、ミニバッチ方式で暗号化する必要がある場合に、それらのメソッドのフルバッチバージョンを実装する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Privacy-preserving machine learning is one class of cryptographic methods that aim to analyze private and sensitive data while keeping privacy, such as homomorphic logistic regression training over large encrypted data. In this paper, we propose an efficient algorithm for logistic regression training on large encrypted data using Homomorphic Encryption (HE), which is the mini-batch version of recent methods using a faster gradient variant called $\texttt{quadratic gradient}$. It is claimed that $\texttt{quadratic gradient}$ can integrate curve information (Hessian matrix) into the gradient and therefore can effectively accelerate the first-order gradient (descent) algorithms. We also implement the full-batch version of their method when the encrypted dataset is so large that it has to be encrypted in the mini-batch manner. We compare our mini-batch algorithm with our full-batch implementation method on real financial data consisting of 422,108 samples with 200 freatures. %Our experiments show that Nesterov's accelerated gradient (NAG) Given the inefficiency of HEs, our results are inspiring and demonstrate that the logistic regression training on large encrypted dataset is of practical feasibility, marking a significant milestone in our understanding.
- Abstract（参考訳）: プライバシ保存機械学習は、大規模な暗号化データに対する同型ロジスティック回帰トレーニングなど、プライバシを維持しながらプライベートおよび機密データを解析することを目的とした、暗号化手法の1つのクラスである。
本稿では,より高速な勾配変種である $\texttt{quadratic gradient}$ を用いて,最近の手法のミニバッチ版であるhomomorphic Encryption (HE) を用いて,大規模暗号化データのロジスティック回帰学習を行うアルゴリズムを提案する。
$\texttt{quadratic gradient}$ は曲線情報(ヘッセン行列)を勾配に統合することができ、従って1階勾配アルゴリズムを効果的に加速することができる。
また、暗号化されたデータセットがあまりに大きく、ミニバッチ方式で暗号化する必要がある場合に、それらのメソッドのフルバッチバージョンを実装する。
我々は,200個の関数を持つ422,108個のサンプルからなる実財務データに対して,私たちのミニバッチアルゴリズムとフルバッチ実装手法を比較した。
%Nesterovの加速勾配(NAG)はHEの非効率性から,大規模な暗号化データセット上でのロジスティック回帰トレーニングは現実的な実現可能性を示し,私たちの理解において重要なマイルストーンとなっている。
関連論文リスト
- LFFR: Logistic Function For (single-output) Regression [0.0]
完全同型暗号方式で暗号化されたデータを用いたプライバシー保護型回帰トレーニングを実装した。
我々は,ロジスティック関数を用いたホモモルフィック回帰のための新しい,効率的なアルゴリズムLFFRを開発した。
論文 参考訳（メタデータ） (2024-07-13T17:33:49Z) - R-CONV: An Analytical Approach for Efficient Data Reconstruction via Convolutional Gradients [40.209183669098735]
本稿では,畳み込み層の勾配を効率的に利用するための高度なデータ漏洩手法を提案する。
我々の知る限りでは、これは勾配から直接畳み込み層の入力を再構築する最初の分析手法である。
論文 参考訳（メタデータ） (2024-06-06T16:28:04Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳（メタデータ） (2022-10-21T15:56:13Z) - One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive
Least-Squares [8.443742714362521]
我々は,従来のデータポイントの予測にほとんど変化しない方向にパラメータを変更しながら,すべての新しいデータポイントに完全に適合するワンパス学習アルゴリズムを開発した。
我々のアルゴリズムは、インクリメンタル・プリンシパル・コンポーネント分析(IPCA)を用いてストリーミングデータの構造を利用して、メモリを効率的に利用する。
本実験では,提案手法の有効性をベースラインと比較した。
論文 参考訳（メタデータ） (2022-07-28T02:01:31Z) - Invariance Learning in Deep Neural Networks with Differentiable Laplace
Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。
我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文 参考訳（メタデータ） (2022-02-22T02:51:11Z) - Privacy-Preserving Logistic Regression Training with A Faster Gradient Variant [0.0]
我々は、プライバシー保護ロジスティック回帰トレーニングのために、$textttquadratic gradient$と呼ばれるより高速な勾配変種を提案する。
実験により,拡張された手法は収束速度において最先端の性能を有することが示された。
一般的な数値最適化問題に対する他の一階勾配法を強化するために、$textttquadratic gradient$が使える可能性は期待できる。
論文 参考訳（メタデータ） (2022-01-26T09:44:13Z) - Large Scale Private Learning via Low-rank Reparametrization [77.38947817228656]
本稿では、大規模ニューラルネットワークに微分プライベートSGDを適用する際の課題を解決するために、再パラメータ化方式を提案する。
BERTモデルにディファレンシャルプライバシを適用し、4つの下流タスクで平均精度が8,3.9%に達するのはこれが初めてである。
論文 参考訳（メタデータ） (2021-06-17T10:14:43Z) - Faster Secure Data Mining via Distributed Homomorphic Encryption [108.77460689459247]
ホモモルフィック暗号化(HE)は、最近、暗号化されたフィールド上で計算を行う能力により、ますます注目を集めている。
本稿では,スケーリング問題の解決に向けて,新しい分散HEベースのデータマイニングフレームワークを提案する。
各種データマイニングアルゴリズムとベンチマークデータセットを用いて,新しいフレームワークの有効性と有効性を検証する。
論文 参考訳（メタデータ） (2020-06-17T18:14:30Z) - Least Squares Regression with Markovian Data: Fundamental Limits and
Algorithms [69.45237691598774]
マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。
この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。
本稿では,経験的リプレイに基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-16T04:26:50Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z) - Privacy-Preserving Gaussian Process Regression -- A Modular Approach to
the Application of Homomorphic Encryption [4.1499725848998965]
ホモモルフィック暗号化(FHE)は、データを暗号化しながら計算することができる。
ガウス過程回帰のような一般的な機械学習アルゴリズムは、FHEにはあまり適していない。
保護を必要とするワークフローのセンシティブなステップのみにFHEを適用するモジュラーアプローチは、あるパーティがデータに対して予測できることを示している。
論文 参考訳（メタデータ） (2020-01-28T11:50:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。