論文の概要: Privacy-Preserving Logistic Regression Training with a Faster Gradient
Variant
- arxiv url: http://arxiv.org/abs/2201.10838v1
- Date: Wed, 26 Jan 2022 09:44:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-27 14:43:26.196604
- Title: Privacy-Preserving Logistic Regression Training with a Faster Gradient
Variant
- Title(参考訳): プライバシ保存型ロジスティック回帰トレーニングの高速化
- Authors: John Chiang
- Abstract要約: 本稿では,ロジスティック回帰のための4次勾配法と呼ばれる高速な勾配変法を提案し,それを特殊同型暗号方式を用いて実装する。
また、暗号化ドメインの大規模データセット上でロジスティック回帰モデルをトレーニングするために、全バッチNAGとミニバッチNAGに勾配変種を実装した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Logistic regression training on an encrypted dataset has been an attractive
idea to security concerns for years. In this paper, we propose a faster
gradient variant called Quadratic Gradient for logistic regression and
implement it via a special homomorphic encryption scheme. The core of this
gradient variant can be seen as an extension of the simplified fixed Hessian
from Newton's method, which extracts information from the Hessian matrix into
the naive gradient, and thus can be used to enhance Nesterov's accelerated
gradient (NAG), Adagrad, etc. We evaluate various gradient $ascent$ methods
with this gradient variant on the gene dataset provided by the 2017 iDASH
competition and the image dataset from the MNIST database. Experimental results
show that the enhanced methods converge faster and sometimes even to a better
convergence result. We also implement the gradient variant in full batch NAG
and mini-batch NAG for training a logistic regression model on a large dataset
in the encrypted domain. Equipped with this gradient variant, full batch NAG
and mini-batch NAG are both faster than the original ones.
- Abstract(参考訳): 暗号化データセット上でのロジスティック回帰トレーニングは,セキュリティ上の懸念に対して,長年にわたって魅力的なアイデアだった。
本稿では,ロジスティック回帰のための高速勾配変法であるQuadratic Gradientを提案し,それを特殊同型暗号方式を用いて実装する。
この勾配不変量の核は、ニュートン法から単純化された固定ヘッセンの延長と見なすことができ、これはヘッセン行列から情報をナイーブ勾配に抽出し、ネステロフの加速勾配(NAG)、アダグラード等に拡張することができる。
2017年のidashコンペティションで提供された遺伝子データセットとmnistデータベースからの画像データセットで、様々な勾配$ascent$メソッドを評価した。
実験の結果,拡張した手法はより高速に収束し,時には収束結果も良くなることがわかった。
また,完全バッチnagとミニバッチnagで勾配変形を実装し,暗号化されたドメイン内の大規模データセット上でロジスティック回帰モデルをトレーニングする。
この勾配の変種を装備したフルバッチNAGとミニバッチNAGは、どちらもオリジナルよりも高速である。
関連論文リスト
- ELRA: Exponential learning rate adaption gradient descent optimization
method [83.88591755871734]
我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。
本手法の主な考え方は,状況認識による$alphaの適応である。
これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
論文 参考訳(メタデータ) (2023-09-12T14:36:13Z) - Modified Step Size for Enhanced Stochastic Gradient Descent: Convergence
and Experiments [0.0]
本稿では,$frac1sqrtttをベースとした変形ステップサイズを改良することにより,勾配降下法(SGD)アルゴリズムの性能向上に新たなアプローチを提案する。
提案されたステップサイズは対数的なステップ項を統合し、最終イテレーションでより小さな値を選択する。
提案手法の有効性について,FashionMNISTとARARを用いて画像分類タスクの数値実験を行った。
論文 参考訳(メタデータ) (2023-09-03T19:21:59Z) - Multinomial Logistic Regression Algorithms via Quadratic Gradient [0.0]
本稿では,Adagrad法を高速化する適応勾配アルゴリズム(Adagrad)を提案する。
我々は、いくつかのマルチクラスプロブレムデータセット上で、拡張NAG法と拡張Adagrad法をテストする。
論文 参考訳(メタデータ) (2022-08-14T11:00:27Z) - Gradient Correction beyond Gradient Descent [63.33439072360198]
勾配補正は明らかに、ニューラルネットワークのトレーニングにおいて、最も重要な側面である。
勾配補正を行うためのフレームワーク(textbfGCGD)を導入する。
実験結果から, 勾配補正フレームワークは, トレーニングエポックスを$sim$20%削減し, ネットワーク性能を向上させることができることがわかった。
論文 参考訳(メタデータ) (2022-03-16T01:42:25Z) - Restarted Nonconvex Accelerated Gradient Descent: No More
Polylogarithmic Factor in the $O(\epsilon^{-7/4})$ Complexity [70.65867695317633]
本稿では,2つの単純な加速勾配法,再発進勾配降下法(AGD)と再発進球法(HB)を提案する。
我々は、我々の手法が$frac1epsilon)$の勾配反復数を達成することを確証する。
我々のアルゴリズムは、ネストフの古典的なAGDオークのHBと再起動機構のみからなるという意味では単純である。
論文 参考訳(メタデータ) (2022-01-27T10:04:04Z) - Adapting Stepsizes by Momentumized Gradients Improves Optimization and
Generalization [89.66571637204012]
textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
論文 参考訳(メタデータ) (2021-06-22T03:13:23Z) - Large Scale Private Learning via Low-rank Reparametrization [77.38947817228656]
本稿では、大規模ニューラルネットワークに微分プライベートSGDを適用する際の課題を解決するために、再パラメータ化方式を提案する。
BERTモデルにディファレンシャルプライバシを適用し、4つの下流タスクで平均精度が8,3.9%に達するのはこれが初めてである。
論文 参考訳(メタデータ) (2021-06-17T10:14:43Z) - Decreasing scaling transition from adaptive gradient descent to
stochastic gradient descent [1.7874193862154875]
本稿では,適応勾配降下法から勾配勾配降下法DSTAdaへのスケーリング遷移を減少させる手法を提案する。
実験の結果,DSTAdaは高速で精度が高く,安定性と堅牢性も向上した。
論文 参考訳(メタデータ) (2021-06-12T11:28:58Z) - SSGD: A safe and efficient method of gradient descent [0.5099811144731619]
勾配降下法は様々な最適化問題を解く上で重要な役割を果たしている。
超勾配降下法による勾配長の隠蔽によるパラメータの更新
我々のアルゴリズムは勾配に対する攻撃に対して防御できる。
論文 参考訳(メタデータ) (2020-12-03T17:09:20Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳(メタデータ) (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。