論文の概要: Privacy-Preserving Logistic Regression Training with A Faster Gradient Variant
- arxiv url: http://arxiv.org/abs/2201.10838v7
- Date: Tue, 6 Aug 2024 03:34:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-07 20:01:27.686697
- Title: Privacy-Preserving Logistic Regression Training with A Faster Gradient Variant
- Title(参考訳): より高速なグラディエントバリアントを用いたプライバシー保護ロジスティック回帰トレーニング
- Authors: John Chiang,
- Abstract要約: 我々は、プライバシー保護ロジスティック回帰トレーニングのために、$textttquadratic gradient$と呼ばれるより高速な勾配変種を提案する。
実験により,拡張された手法は収束速度において最先端の性能を有することが示された。
一般的な数値最適化問題に対する他の一階勾配法を強化するために、$textttquadratic gradient$が使える可能性は期待できる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Logistic regression training over encrypted data has been an attractive idea to security concerns for years. In this paper, we propose a faster gradient variant called $\texttt{quadratic gradient}$ for privacy-preserving logistic regression training. The core of $\texttt{quadratic gradient}$ can be seen as an extension of the simplified fixed Hessian. We enhance Nesterov's accelerated gradient (NAG) and Adaptive Gradient Algorithm (Adagrad) respectively with $\texttt{quadratic gradient}$ and evaluate the enhanced algorithms on several datasets. Experiments show that the enhanced methods have a state-of-the-art performance in convergence speed compared to the raw first-order gradient methods. We then adopt the enhanced NAG method to implement homomorphic logistic regression training, obtaining a comparable result by only $3$ iterations. There is a promising chance that $\texttt{quadratic gradient}$ could be used to enhance other first-order gradient methods for general numerical optimization problems.
- Abstract(参考訳): 暗号化されたデータに対するロジスティック回帰トレーニングは、セキュリティ上の懸念に対して何年も前から魅力的なアイデアでした。
本稿では,プライバシー保護ロジスティック回帰トレーニングのために,$\texttt{quadratic gradient}$という高速勾配変種を提案する。
$\texttt{quadratic gradient}$ の中核は、単純化された固定 Hessian の拡張と見なすことができる。
我々はNesterovの加速勾配(NAG)と適応勾配アルゴリズム(Adagrad)を$\texttt{quadratic gradient}$でそれぞれ拡張し、複数のデータセット上で拡張アルゴリズムを評価する。
実験により, 改良された手法は, 生の1次勾配法に比べ, 収束速度の最先端性を示した。
次に、同型ロジスティック回帰トレーニングを実装するために拡張NAG法を採用し、わずか3ドル反復で同等の結果を得る。
一般的な数値最適化問題に対して、$\texttt{quadratic gradient}$が他の一階勾配法を拡張できる可能性はある。
関連論文リスト
- Privacy-Preserving Logistic Regression Training on Large Datasets [0.0]
我々は,同型暗号化(HE)を用いた大規模暗号化データに対するロジスティック回帰学習のための効率的なアルゴリズムを提案する。
また、データセットがあまりに大きく、ミニバッチ方式で暗号化する必要がある場合に、それらのメソッドのフルバッチバージョンを実装する。
論文 参考訳(メタデータ) (2024-06-19T05:19:20Z) - Convergence Analysis of Adaptive Gradient Methods under Refined Smoothness and Noise Assumptions [18.47705532817026]
適応勾配法は間違いなくニューラルネットワークの最も成功した最適化アルゴリズムである。
適応的勾配法は、アダッド・エル・エル・アンド・ジオメトリ(Adad-ell/ell$ geometry)を形作る可能性があることを示す。
論文 参考訳(メタデータ) (2024-06-07T02:55:57Z) - ELRA: Exponential learning rate adaption gradient descent optimization
method [83.88591755871734]
我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。
本手法の主な考え方は,状況認識による$alphaの適応である。
これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
論文 参考訳(メタデータ) (2023-09-12T14:36:13Z) - Multinomial Logistic Regression Algorithms via Quadratic Gradient [0.0]
本稿では,Adagrad法を高速化する適応勾配アルゴリズム(Adagrad)を提案する。
我々は、いくつかのマルチクラスプロブレムデータセット上で、拡張NAG法と拡張Adagrad法をテストする。
論文 参考訳(メタデータ) (2022-08-14T11:00:27Z) - Gradient Correction beyond Gradient Descent [63.33439072360198]
勾配補正は明らかに、ニューラルネットワークのトレーニングにおいて、最も重要な側面である。
勾配補正を行うためのフレームワーク(textbfGCGD)を導入する。
実験結果から, 勾配補正フレームワークは, トレーニングエポックスを$sim$20%削減し, ネットワーク性能を向上させることができることがわかった。
論文 参考訳(メタデータ) (2022-03-16T01:42:25Z) - Restarted Nonconvex Accelerated Gradient Descent: No More
Polylogarithmic Factor in the $O(\epsilon^{-7/4})$ Complexity [70.65867695317633]
本稿では,2つの単純な加速勾配法,再発進勾配降下法(AGD)と再発進球法(HB)を提案する。
我々は、我々の手法が$frac1epsilon)$の勾配反復数を達成することを確証する。
我々のアルゴリズムは、ネストフの古典的なAGDオークのHBと再起動機構のみからなるという意味では単純である。
論文 参考訳(メタデータ) (2022-01-27T10:04:04Z) - Adapting Stepsizes by Momentumized Gradients Improves Optimization and
Generalization [89.66571637204012]
textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
論文 参考訳(メタデータ) (2021-06-22T03:13:23Z) - Large Scale Private Learning via Low-rank Reparametrization [77.38947817228656]
本稿では、大規模ニューラルネットワークに微分プライベートSGDを適用する際の課題を解決するために、再パラメータ化方式を提案する。
BERTモデルにディファレンシャルプライバシを適用し、4つの下流タスクで平均精度が8,3.9%に達するのはこれが初めてである。
論文 参考訳(メタデータ) (2021-06-17T10:14:43Z) - Decreasing scaling transition from adaptive gradient descent to
stochastic gradient descent [1.7874193862154875]
本稿では,適応勾配降下法から勾配勾配降下法DSTAdaへのスケーリング遷移を減少させる手法を提案する。
実験の結果,DSTAdaは高速で精度が高く,安定性と堅牢性も向上した。
論文 参考訳(メタデータ) (2021-06-12T11:28:58Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳(メタデータ) (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。