論文の概要: Momentum as Residual-Driven Multiplier Correction for Deep Learning Optimization

• arxiv url: http://arxiv.org/abs/2608.12925v1
• Date: Thu, 13 Aug 2026 08:04:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.436042
• Title: Momentum as Residual-Driven Multiplier Correction for Deep Learning Optimization
• Title（参考訳）: ディープラーニング最適化のための残差駆動型乗算器補正法としてのMomentum
• Abstract要約: 我々は残高変動分割に基づく$textbfA$DMM-$textbfI$nspired $textbfM$omentum (AIM) フレームワークを開発する。 AIMはADMMスタイルの乗算器更新から乗算器更新の指数的な移動平均を回復する。 我々は、更新方向と運動量推定を改善するために、$textbfA$ccelerated $textbfR$esidual (RADAR)を提案する。
• 参考スコア（独自算出の注目度）: 16.249904972534114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Momentum-based optimizers are widely used in modern deep learning, yet the relations among momentum recursion, update geometry, and acceleration remain only partially understood. We develop an $\textbf{A}$DMM-$\textbf{I}$nspired $\textbf{M}$omentum (AIM) framework based on residual-penalty variable splitting, which interprets momentum as a multiplier-like correction driven by the splitting residual. AIM recovers the exponential moving average of gradients from an ADMM-style multiplier update and separates two mechanisms that are usually intertwined in practical optimizers: the residual penalty determines the update geometry, whereas the approximation of the objective-related subproblem determines the acceleration form. Building on AIM, we propose $\textbf{R}$elativistic $\textbf{A}$daptive gradient $\textbf{D}$escent with $\textbf{A}$ccelerated $\textbf{R}$esidual (RADAR), which combines relativistic adaptive geometry, decoupled residual correction, and second-order momentum filtering to improve the update direction and momentum estimation. We establish stochastic convergence through a variance-perturbed Lyapunov drift analysis. Experiments on supervised vision learning, language modeling, and reinforcement learning show that RADAR achieves consistent improvements over strong adaptive optimizer baselines.
• Abstract（参考訳）: モメンタムベースのオプティマイザは現代のディープラーニングで広く使われているが、運動量再帰、更新幾何、加速度の関係は部分的には理解されていない。 我々は,残差分数分割に基づく$\textbf{A}$DMM-$\textbf{I}$nspired $\textbf{M}$omentum (AIM) フレームワークを開発した。 AIMはADMM方式の乗算器更新から勾配の指数的な移動平均を回復し、通常、実用的なオプティマイザに干渉する2つのメカニズムを分離する。 AIM 上に構築した $\textbf{R}$elativistic $\textbf{A}$daptive gradient $\textbf{D}$escent with $\textbf{A}$ccelerated $\textbf{R}$esidual (RADAR) を提案する。 分散摂動リアプノフドリフト解析により確率収束を確立する。 教師付き視覚学習、言語モデリング、強化学習の実験は、RADARが強力な適応型オプティマイザベースラインよりも一貫した改善を達成していることを示している。

関連論文リスト

• Beyond Token-Local Imitation: Reward-Compatible Temporal Credit Assignment for On-Policy Distillation [31.594936994611043]
  オンライン蒸留(OPD)は,大規模言語モデルのポストトレーニングに有効な手法である。 我々は、長期監督と最適化の安定性のバランスをとるために、ディスカウントされた時間的クレジット割当を利用する$OPDを提案する。 我々は,$mathrmOPD$に対する報酬互換な有界混合機構を開発し,検証結果のフィードバックと割引OPDの利点のバランスをとる。
  論文  参考訳（メタデータ） (2026-09-15T10:12:56Z)
• Distribution-Aware Robust Bilevel Optimization: Quantile-Guided Huber Updates in Two-Timescale Stochastic Approximation [16.106678611834102]
  双レベル最適化(BLO)は階層的な決定には基本的だが、重み付き雑音下での臨界不安定性に悩まされている。 既存の技術は通常、等級チェックに依存しており、情報的幾何学的信号と外れ値の区別に失敗する。
  論文  参考訳（メタデータ） (2026-06-21T10:57:37Z)
• Dimensionality Reduction for Robust Federated Learning: A Theoretical Analysis and Convergence Guarantee [14.954293251332894]
  Federated Learning (FL)は、クライアントが生データを共有せずにモデルを協調的にトレーニングすることを可能にするが、ビザンティン攻撃に対して非常に脆弱である。 既存の堅牢なアプローチはこれらの脅威を中和するが、かなりの計算オーバーヘッドを発生させる。 ベクトルレベル距離に基づくロバストアグリゲータのための普遍加速度フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-27T11:39:47Z)
• Momentum Stability and Adaptive Control in Stochastic Reconfiguration [6.526210062544706]
  変動型モンテカルロ(VMC)と表現型ニューラルネットワークの波動関数の組み合わせは、基底状態計算の強力な経路となっている。 適応再構成(SR)による高精度分散による効率よく安定した波動関数最適化について検討する。 本研究では,実効的なスペクトル次元と部分空間重なりに基づく,チューニング不要な運動量適応型SR法PRIME-SRを提案する。
  論文  参考訳（メタデータ） (2026-04-20T14:49:30Z)
• GIRL: Generative Imagination Reinforcement Learning via Information-Theoretic Hallucination Control [0.0]
  GIRL(Generative Imagination Reinforcement Learning)は、この障害モードに2つの重要なコンポーネントで対処する潜在的世界モデルフレームワークである。 GIRLは、DreamerV3に対するタスク間の遅延ロールアウトドリフトを38～61%削減し、リターンを改善し、長距離タスクでの環境相互作用を少なくする。 蒸留前の変種はオーバーヘッドを減らし、フルモデルに対する計算効率を向上させる。
  論文  参考訳（メタデータ） (2026-04-08T17:14:21Z)
• Merging Beyond: Streaming LLM Updates via Activation-Guided Rotations [55.047454145941366]
  Streaming Mergingは、反復最適化プロセスとしてマージを概念化する革新的なモデル更新パラダイムである。 ARMは勾配勾配勾配のダイナミクスを近似するために設計された戦略である。 ARMは初期のSFTチェックポイントしか必要とせず、反復的なマージによって完全に収束したSFTモデルを上回る。
  論文  参考訳（メタデータ） (2026-02-03T08:15:57Z)
• A Simplified Analysis of SGD for Linear Regression with Weight Averaging [64.2393952273612]
  最近の研究は、定常学習率を用いた線形回帰におけるSGD最適化のためのシャープレートを提供する。 簡単な線形代数ツールを用いて,2021ベニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグナグニグニグニグニグニグニグニグニグニグニグネグニグニグニグニグネグニグニグネグニ 我々の研究は線形回帰の勾配勾配を非常に容易に解析し、ミニバッチと学習率のスケジューリングのさらなる分析に役立てることができると信じている。
  論文  参考訳（メタデータ） (2025-06-18T15:10:38Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Refining Adaptive Zeroth-Order Optimization at Ease [24.327161891577727]
  本稿では,Refined Adaptive Zeroth-Order Optimization (R-AdaZO)を紹介する。 まず、ZO勾配推定における第1モーメント推定の未解決分散低減効果を示す。 次に、これらの分散誘導勾配推定に基づいて第2モーメント推定を洗練し、最適化ランドスケープの幾何をより正確に把握する。
  論文  参考訳（メタデータ） (2025-02-03T03:10:44Z)
• On PI Controllers for Updating Lagrange Multipliers in Constrained Optimization [16.40968330148623]
  本稿では、$nu$PIアルゴリズムを提案し、PIコントローラに基づくラグランジュ乗算器更新の最適化に寄与する。 本研究では,勾配降下勾配の欠点に対処する運動量法が不可能であることを示す理論的,実証的な知見を提供する。 我々は、$nu$PIが単目的最小化の一般的な運動量法を一般化することを証明した。
  論文  参考訳（メタデータ） (2024-06-07T00:13:31Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Momentum Improves Normalized SGD [51.27183254738711]
  モーメントを追加することで、目的に対する大きなバッチサイズの必要性を確実に排除できることを示す。 本稿では,ResNet-50 や BERT といった大規模タスクの事前学習において,提案手法が有効であることを示す。
  論文  参考訳（メタデータ） (2020-02-09T07:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。