論文の概要: Privacy-Preserving Logistic Regression Training with a Faster Gradient Variant

• arxiv url: http://arxiv.org/abs/2201.10838v1
• Date: Wed, 26 Jan 2022 09:44:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-27 14:43:26.196604
• Title: Privacy-Preserving Logistic Regression Training with a Faster Gradient Variant
• Title（参考訳）: プライバシ保存型ロジスティック回帰トレーニングの高速化
• Authors: John Chiang
• Abstract要約: 本稿では,ロジスティック回帰のための4次勾配法と呼ばれる高速な勾配変法を提案し,それを特殊同型暗号方式を用いて実装する。 また、暗号化ドメインの大規模データセット上でロジスティック回帰モデルをトレーニングするために、全バッチNAGとミニバッチNAGに勾配変種を実装した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Logistic regression training on an encrypted dataset has been an attractive idea to security concerns for years. In this paper, we propose a faster gradient variant called Quadratic Gradient for logistic regression and implement it via a special homomorphic encryption scheme. The core of this gradient variant can be seen as an extension of the simplified fixed Hessian from Newton's method, which extracts information from the Hessian matrix into the naive gradient, and thus can be used to enhance Nesterov's accelerated gradient (NAG), Adagrad, etc. We evaluate various gradient $ascent$ methods with this gradient variant on the gene dataset provided by the 2017 iDASH competition and the image dataset from the MNIST database. Experimental results show that the enhanced methods converge faster and sometimes even to a better convergence result. We also implement the gradient variant in full batch NAG and mini-batch NAG for training a logistic regression model on a large dataset in the encrypted domain. Equipped with this gradient variant, full batch NAG and mini-batch NAG are both faster than the original ones.
• Abstract（参考訳）: 暗号化データセット上でのロジスティック回帰トレーニングは,セキュリティ上の懸念に対して,長年にわたって魅力的なアイデアだった。 本稿では,ロジスティック回帰のための高速勾配変法であるQuadratic Gradientを提案し,それを特殊同型暗号方式を用いて実装する。 この勾配不変量の核は、ニュートン法から単純化された固定ヘッセンの延長と見なすことができ、これはヘッセン行列から情報をナイーブ勾配に抽出し、ネステロフの加速勾配(NAG)、アダグラード等に拡張することができる。 2017年のidashコンペティションで提供された遺伝子データセットとmnistデータベースからの画像データセットで、様々な勾配$ascent$メソッドを評価した。 実験の結果,拡張した手法はより高速に収束し,時には収束結果も良くなることがわかった。 また,完全バッチnagとミニバッチnagで勾配変形を実装し,暗号化されたドメイン内の大規模データセット上でロジスティック回帰モデルをトレーニングする。 この勾配の変種を装備したフルバッチNAGとミニバッチNAGは、どちらもオリジナルよりも高速である。

関連論文リスト

• MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.47014540413659]
  深層ニューラルネットワークのための統合トレーニングフレームワークを提案する。 我々は,事前条件付き勾配最適化を利用するMARSの3つの例を紹介する。 その結果,MARSの実装はAdamより一貫して優れていた。
  論文  参考訳（メタデータ） (2024-11-15T18:57:39Z)
• Privacy-Preserving Logistic Regression Training on Large Datasets [0.0]
  我々は,同型暗号化(HE)を用いた大規模暗号化データに対するロジスティック回帰学習のための効率的なアルゴリズムを提案する。 また、データセットがあまりに大きく、ミニバッチ方式で暗号化する必要がある場合に、それらのメソッドのフルバッチバージョンを実装する。
  論文  参考訳（メタデータ） (2024-06-19T05:19:20Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Multinomial Logistic Regression Algorithms via Quadratic Gradient [0.0]
  本稿では,Adagrad法を高速化する適応勾配アルゴリズム(Adagrad)を提案する。 我々は、いくつかのマルチクラスプロブレムデータセット上で、拡張NAG法と拡張Adagrad法をテストする。
  論文  参考訳（メタデータ） (2022-08-14T11:00:27Z)
• Gradient Correction beyond Gradient Descent [63.33439072360198]
  勾配補正は明らかに、ニューラルネットワークのトレーニングにおいて、最も重要な側面である。 勾配補正を行うためのフレームワーク(textbfGCGD)を導入する。 実験結果から, 勾配補正フレームワークは, トレーニングエポックスを$sim$20%削減し, ネットワーク性能を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-03-16T01:42:25Z)
• An Accelerated Variance-Reduced Conditional Gradient Sliding Algorithm for First-order and Zeroth-order Optimization [111.24899593052851]
  条件勾配アルゴリズム(Frank-Wolfeアルゴリズムとも呼ばれる)は、最近、機械学習コミュニティで人気を取り戻している。 ARCSは、ゼロ階最適化において凸問題を解く最初のゼロ階条件勾配スライディング型アルゴリズムである。 1次最適化では、ARCSの収束結果は、勾配クエリのオラクルの数で、従来のアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2021-09-18T07:08:11Z)
• Stochastic Gradient Variance Reduction by Solving a Filtering Problem [0.951828574518325]
  ディープニューラルネットワーク(DNN)は一般的に最適化された勾配降下(SGD)を用いる 試料を用いた勾配推定はノイズが多く信頼性が低い傾向にあり, 勾配のばらつきが大きく, 収束不良が生じる。 勾配を一貫した推定を行う効率的な最適化アルゴリズムである textbfFilter Gradient Decent (FGD) を提案する。
  論文  参考訳（メタデータ） (2020-12-22T23:48:42Z)
• Differentially Private Accelerated Optimization Algorithms [0.7874708385247353]
  微分プライベート最適化アルゴリズムの2つのクラスを示す。 最初のアルゴリズムはPolyakのヘビーボール法にインスパイアされている。 アルゴリズムの第2のクラスは、ネステロフの加速勾配法に基づいている。
  論文  参考訳（メタデータ） (2020-08-05T08:23:01Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。