論文の概要: Privacy-Preserving Logistic Regression Training with A Faster Gradient Variant
- arxiv url: http://arxiv.org/abs/2201.10838v9
- Date: Sun, 22 Sep 2024 13:34:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-26 02:45:05.694996
- Title: Privacy-Preserving Logistic Regression Training with A Faster Gradient Variant
- Title(参考訳): より高速なグラディエントバリアントを用いたプライバシー保護ロジスティック回帰トレーニング
- Authors: John Chiang,
- Abstract要約: プライバシー保護のロジスティック回帰トレーニングのために、$quadratic$ $gradient$と呼ばれる効率的な勾配を導入する。
実験結果から,改良アルゴリズムは収束速度を大幅に向上することが示された。
二次勾配法は、一階勾配降下法と二階ニュートン・ラフソン法を統合できる可能性が高い。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Training logistic regression over encrypted data has been a compelling approach in addressing security concerns for several years. In this paper, we introduce an efficient gradient variant, called $quadratic$ $gradient$, for privacy-preserving logistic regression training. We enhance Nesterov's Accelerated Gradient (NAG), Adaptive Gradient Algorithm (Adagrad) and Adam algorithms by incorporating their quadratic gradients and evaluate these improved algorithms on various datasets. Experimental results demonstrate that the enhanced algorithms achieve significantly improved convergence speed compared to traditional first-order gradient methods. Moreover, we applied the enhanced NAG method to implement homomorphic logistic regression training, achieving comparable results within just 4 iterations. There is a good chance that the quadratic gradient approach could integrate first-order gradient descent/ascent algorithms with the second-order Newton-Raphson methods, and that it could be applied to a wide range of numerical optimization problems.
- Abstract(参考訳): 暗号化されたデータに対するロジスティック回帰のトレーニングは、セキュリティ上の問題に何年も取り組んできた。
本稿では、プライバシー保護ロジスティック回帰トレーニングのための効率的な勾配変種である$quadratic$$gradient$を紹介する。
我々は,Nesterov の Accelerated Gradient (NAG),Adaptive Gradient Algorithm (Adagrad) およびAdamアルゴリズムを2次勾配を組み込んで拡張し,これらの改良アルゴリズムを様々なデータセット上で評価する。
実験により, 従来の1次勾配法と比較して, 改良アルゴリズムは収束速度を著しく向上することを示した。
さらに,同相ロジスティック回帰学習の実装に改良NAG法を適用し,わずか4回の反復で同等の結果を得ることができた。
二次勾配法は2階のニュートン・ラフソン法と1階の勾配勾配勾配/上昇アルゴリズムを統合することができ、幅広い数値最適化問題に適用できる可能性は高い。
関連論文リスト
- Privacy-Preserving Logistic Regression Training on Large Datasets [0.0]
我々は,同型暗号化(HE)を用いた大規模暗号化データに対するロジスティック回帰学習のための効率的なアルゴリズムを提案する。
また、データセットがあまりに大きく、ミニバッチ方式で暗号化する必要がある場合に、それらのメソッドのフルバッチバージョンを実装する。
論文 参考訳(メタデータ) (2024-06-19T05:19:20Z) - Convergence Analysis of Adaptive Gradient Methods under Refined Smoothness and Noise Assumptions [18.47705532817026]
適応勾配法は間違いなくニューラルネットワークの最も成功した最適化アルゴリズムである。
適応的勾配法は、アダッド・エル・エル・アンド・ジオメトリ(Adad-ell/ell$ geometry)を形作る可能性があることを示す。
論文 参考訳(メタデータ) (2024-06-07T02:55:57Z) - ELRA: Exponential learning rate adaption gradient descent optimization
method [83.88591755871734]
我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。
本手法の主な考え方は,状況認識による$alphaの適応である。
これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
論文 参考訳(メタデータ) (2023-09-12T14:36:13Z) - Multinomial Logistic Regression Algorithms via Quadratic Gradient [0.0]
本稿では,Adagrad法を高速化する適応勾配アルゴリズム(Adagrad)を提案する。
我々は、いくつかのマルチクラスプロブレムデータセット上で、拡張NAG法と拡張Adagrad法をテストする。
論文 参考訳(メタデータ) (2022-08-14T11:00:27Z) - Gradient Correction beyond Gradient Descent [63.33439072360198]
勾配補正は明らかに、ニューラルネットワークのトレーニングにおいて、最も重要な側面である。
勾配補正を行うためのフレームワーク(textbfGCGD)を導入する。
実験結果から, 勾配補正フレームワークは, トレーニングエポックスを$sim$20%削減し, ネットワーク性能を向上させることができることがわかった。
論文 参考訳(メタデータ) (2022-03-16T01:42:25Z) - Restarted Nonconvex Accelerated Gradient Descent: No More
Polylogarithmic Factor in the $O(\epsilon^{-7/4})$ Complexity [70.65867695317633]
本稿では,2つの単純な加速勾配法,再発進勾配降下法(AGD)と再発進球法(HB)を提案する。
我々は、我々の手法が$frac1epsilon)$の勾配反復数を達成することを確証する。
我々のアルゴリズムは、ネストフの古典的なAGDオークのHBと再起動機構のみからなるという意味では単純である。
論文 参考訳(メタデータ) (2022-01-27T10:04:04Z) - Adapting Stepsizes by Momentumized Gradients Improves Optimization and
Generalization [89.66571637204012]
textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
論文 参考訳(メタデータ) (2021-06-22T03:13:23Z) - Large Scale Private Learning via Low-rank Reparametrization [77.38947817228656]
本稿では、大規模ニューラルネットワークに微分プライベートSGDを適用する際の課題を解決するために、再パラメータ化方式を提案する。
BERTモデルにディファレンシャルプライバシを適用し、4つの下流タスクで平均精度が8,3.9%に達するのはこれが初めてである。
論文 参考訳(メタデータ) (2021-06-17T10:14:43Z) - Decreasing scaling transition from adaptive gradient descent to
stochastic gradient descent [1.7874193862154875]
本稿では,適応勾配降下法から勾配勾配降下法DSTAdaへのスケーリング遷移を減少させる手法を提案する。
実験の結果,DSTAdaは高速で精度が高く,安定性と堅牢性も向上した。
論文 参考訳(メタデータ) (2021-06-12T11:28:58Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳(メタデータ) (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。