論文の概要: SSGD: A safe and efficient method of gradient descent

• arxiv url: http://arxiv.org/abs/2012.02076v2
• Date: Mon, 26 Apr 2021 04:33:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-23 20:14:07.334694
• Title: SSGD: A safe and efficient method of gradient descent
• Title（参考訳）: SSGD : 勾配降下の安全かつ効率的な方法
• Authors: Jinhuan Duan, Xianxian Li, Shiqi Gao, Jinyan Wang and Zili Zhong
• Abstract要約: 勾配降下法は様々な最適化問題を解く上で重要な役割を果たしている。 超勾配降下法による勾配長の隠蔽によるパラメータの更新 我々のアルゴリズムは勾配に対する攻撃に対して防御できる。
• 参考スコア（独自算出の注目度）: 0.5099811144731619
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the vigorous development of artificial intelligence technology, various engineering technology applications have been implemented one after another. The gradient descent method plays an important role in solving various optimization problems, due to its simple structure, good stability and easy implementation. In multi-node machine learning system, the gradients usually need to be shared. Shared gradients are generally unsafe. Attackers can obtain training data simply by knowing the gradient information. In this paper, to prevent gradient leakage while keeping the accuracy of model, we propose the super stochastic gradient descent approach to update parameters by concealing the modulus length of gradient vectors and converting it or them into a unit vector. Furthermore, we analyze the security of super stochastic gradient descent approach. Our algorithm can defend against attacks on the gradient. Experiment results show that our approach is obviously superior to prevalent gradient descent approaches in terms of accuracy, robustness, and adaptability to large-scale batches.
• Abstract（参考訳）: 人工知能技術の活発な開発により、様々な技術応用が次々と実施されている。 勾配降下法は, 単純構造, 安定性, 実装容易性など, 様々な最適化問題を解く上で重要な役割を担っている。 マルチノード機械学習システムでは、勾配は通常共有する必要がある。 共有勾配は一般に安全ではない。 攻撃者は勾配情報を知るだけで訓練データを得ることができる。 本稿では,モデル精度を維持しつつ勾配リークを防止するため,勾配ベクトルのモジュラス長を隠蔽し,それを単位ベクトルに変換することで,パラメータを更新するための超確率勾配降下法を提案する。 さらに,超確率勾配降下法の安全性を解析した。 我々のアルゴリズムは 勾配の攻撃から防御できる 実験結果から,本手法は大規模バッチに対する精度,堅牢性,適応性の観点から,偏勾配勾配法よりも明らかに優れていることが示された。

関連論文リスト

• Expected Grad-CAM: Towards gradient faithfulness [7.2203673761998495]
  勾配重み付きCAMアプローチは依然としてバニラ勾配に依存している。 本研究は飽和度と感度問題に対処する勾配重み付きCAM増強法を提案する。
  論文  参考訳（メタデータ） (2024-06-03T12:40:30Z)
• How to guess a gradient [68.98681202222664]
  我々は、勾配が以前考えられていたよりもより構造化されていることを示す。 この構造をエクスプロイトすると、勾配のない最適化スキームが大幅に改善される。 厳密な勾配の最適化と勾配の推測の間に大きなギャップを克服する上での新たな課題を強調した。
  論文  参考訳（メタデータ） (2023-12-07T21:40:44Z)
• Class Gradient Projection For Continual Learning [99.105266615448]
  破滅的な忘れは継続的学習(CL)における最も重要な課題の1つです。 タスクではなく個々のクラスから勾配部分空間を計算するクラスグラディエント・プロジェクション(CGP)を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:45:56Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Sampling-based Fast Gradient Rescaling Method for Highly Transferable Adversarial Attacks [18.05924632169541]
  サンプリングに基づく高速勾配再スケーリング法(S-FGRM)を提案する。 具体的には、余分な計算コストを伴わずに手話関数を置換するためにデータ再スケーリングを用いる。 本手法は, 勾配に基づく攻撃の伝達可能性を大幅に向上させ, 最先端のベースラインより優れる可能性がある。
  論文  参考訳（メタデータ） (2023-07-06T07:52:42Z)
• Gradient Correction beyond Gradient Descent [63.33439072360198]
  勾配補正は明らかに、ニューラルネットワークのトレーニングにおいて、最も重要な側面である。 勾配補正を行うためのフレームワーク(textbfGCGD)を導入する。 実験結果から, 勾配補正フレームワークは, トレーニングエポックスを$sim$20%削減し, ネットワーク性能を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-03-16T01:42:25Z)
• Adapting Stepsizes by Momentumized Gradients Improves Optimization and Generalization [89.66571637204012]
  textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
  論文  参考訳（メタデータ） (2021-06-22T03:13:23Z)
• Decreasing scaling transition from adaptive gradient descent to stochastic gradient descent [1.7874193862154875]
  本稿では,適応勾配降下法から勾配勾配降下法DSTAdaへのスケーリング遷移を減少させる手法を提案する。 実験の結果,DSTAdaは高速で精度が高く,安定性と堅牢性も向上した。
  論文  参考訳（メタデータ） (2021-06-12T11:28:58Z)
• Staircase Sign Method for Boosting Adversarial Attacks [123.19227129979943]
  トランスファーベースの攻撃の敵の例を作るのは難しいし、研究のホットスポットだ。 そこで本研究では,この問題を緩和するための新しい階段サイン法(S$2$M)を提案する。 我々の手法は一般に転送ベースの攻撃と統合することができ、計算オーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2021-04-20T02:31:55Z)
• Better scalability under potentially heavy-tailed gradients [9.36599317326032]
  本研究では, 勾配の重み付けに使用可能なロバスト勾配勾配降下法(RGD)のスケーラブルな代替法について検討する。 それぞれのステップでグラデーションをしっかりと集約する代わりに、分割されたデータに対して1回のパスで実行される安価なサブプロセスの大半からそれほど遠く離れない候補を選択します。
  論文  参考訳（メタデータ） (2020-06-01T08:16:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。