論文の概要: Randomness and Interpolation Improve Gradient Descent

• arxiv url: http://arxiv.org/abs/2510.13040v1
• Date: Tue, 14 Oct 2025 23:32:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.445415
• Title: Randomness and Interpolation Improve Gradient Descent
• Title（参考訳）: ランダム性と補間によるグラディエント発色の改善
• Authors: Jiawen Li, Pascal Lefevre, Anwar Pp Abdul Majeed,
• Abstract要約: 本稿では、IAGD(Interpolational Gradient Descent)とNRSGD(Noth-Regularized Gradient Descent)という2つの進化を紹介した。 IAGDはNewton Interpolationを使用して、イテレーション間の勾配の関連性を仮定して、トレーニング中の収束プロセスを高速化する。 NRSGDは、最適化プロセス中に勾配に対するノイズを制御するノイズ正規化手法を取り入れている。
• 参考スコア（独自算出の注目度）: 1.7551939488475077
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Based on Stochastic Gradient Descent (SGD), the paper introduces two optimizers, named Interpolational Accelerating Gradient Descent (IAGD) as well as Noise-Regularized Stochastic Gradient Descent (NRSGD). IAGD leverages second-order Newton Interpolation to expedite the convergence process during training, assuming relevancy in gradients between iterations. To avoid over-fitting, NRSGD incorporates a noise regularization technique that introduces controlled noise to the gradients during the optimization process. Comparative experiments of this research are conducted on the CIFAR-10, and CIFAR-100 datasets, benchmarking different CNNs(Convolutional Neural Networks) with IAGD and NRSGD against classical optimizers in Keras Package. Results demonstrate the potential of those two viable improvement methods in SGD, implicating the effectiveness of the advancements.
• Abstract（参考訳）: 本稿では,Stochastic Gradient Descent (SGD) をベースとして,Interpolational Accelerating Gradient Descent (IAGD) とNoss-Regularized Stochastic Gradient Descent (NRSGD) という2つの最適化手法を提案する。 IAGDは2階ニュートン補間を利用して、反復間の勾配の関連性を仮定して、トレーニング中の収束プロセスを高速化する。 過度な適合を避けるため、NRSGDは最適化プロセス中の勾配に制御された雑音を導入するノイズ正規化手法を取り入れている。 この研究の比較実験は、CIFAR-10とCIFAR-100データセットを用いて行われ、Keras Packageの古典的なオプティマイザに対して、IAGDとNRSGDと異なるCNN(畳み込みニューラルネットワーク)をベンチマークする。 その結果、これらの2つの改善手法がSGDで実現可能である可能性が示され、進歩の有効性が示唆された。

関連論文リスト

• Effective Dimension Aware Fractional-Order Stochastic Gradient Descent for Convex Optimization Problems [2.5971517743176915]
  データ駆動方式で分数指数を適応する2SED分数次勾配Descent (2SEDFOSGD)を提案する。 理論的には、この手法は、na"ive fractional SGD"で観察されるスラグや不安定な振る舞いを伴わない分数記憶の利点を保っている。
  論文  参考訳（メタデータ） (2025-03-17T22:57:37Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Variational Stochastic Gradient Descent for Deep Neural Networks [16.96187187108041]
  変分勾配Descent (VSGD) は、効率的な勾配に基づく画像最適化手法である。 我々は、VSGDがAdamとSGDを2つの分類データセットと4つのディープニューラルネットワークアーキテクチャで上回っていることを示す。
  論文  参考訳（メタデータ） (2024-04-09T18:02:01Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Signal Processing Meets SGD: From Momentum to Filter [6.751292200515355]
  ディープラーニングでは、勾配降下(SGD)とその運動量に基づく変種が最適化に広く利用されている。 本稿では,信号処理レンズを用いて勾配挙動を解析し,更新に影響を与える重要な要因を分離する。 本稿では,ワイナーフィルタの原理に基づく新しいSGDF手法を提案する。
  論文  参考訳（メタデータ） (2023-11-06T01:41:46Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Score-Guided Intermediate Layer Optimization: Fast Langevin Mixing for Inverse Problem [97.64313409741614]
  ランダム重み付きDNNジェネレータを反転させるため,Langevinアルゴリズムの定常分布を高速に混合し,特徴付ける。 本稿では,事前学習した生成モデルの潜時空間における後部サンプリングを提案する。
  論文  参考訳（メタデータ） (2022-06-18T03:47:37Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。