論文の概要: Dynamically Weighted Momentum with Adaptive Step Sizes for Efficient Deep Network Training
- arxiv url: http://arxiv.org/abs/2510.25042v1
- Date: Wed, 29 Oct 2025 00:03:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-30 15:50:44.882378
- Title: Dynamically Weighted Momentum with Adaptive Step Sizes for Efficient Deep Network Training
- Title（参考訳）: 適応的なステップサイズをもつ動的重み付きモーメントムによる深層ネットワーク学習
- Authors: Zhifeng Wang, Longlong Li, Chunyan Zeng,
- Abstract要約: 本稿ではDWM DWMGradという新しいディープラーニングアルゴリズムを提案する。
歴史的データに依存する動的メカニズムを組み込んで、運動量学習率を動的に更新する。
- 参考スコア（独自算出の注目度）: 6.320135812353531
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Within the current sphere of deep learning research, despite the extensive application of optimization algorithms such as Stochastic Gradient Descent (SGD) and Adaptive Moment Estimation (Adam), there remains a pronounced inadequacy in their capability to address fluctuations in learning efficiency, meet the demands of complex models, and tackle non-convex optimization issues. These challenges primarily arise from the algorithms' limitations in handling complex data structures and models, for instance, difficulties in selecting an appropriate learning rate, avoiding local optima, and navigating through high-dimensional spaces. To address these issues, this paper introduces a novel optimization algorithm named DWMGrad. This algorithm, building on the foundations of traditional methods, incorporates a dynamic guidance mechanism reliant on historical data to dynamically update momentum and learning rates. This allows the optimizer to flexibly adjust its reliance on historical information, adapting to various training scenarios. This strategy not only enables the optimizer to better adapt to changing environments and task complexities but also, as validated through extensive experimentation, demonstrates DWMGrad's ability to achieve faster convergence rates and higher accuracies under a multitude of scenarios.
- Abstract（参考訳）: 現在のディープラーニング研究の領域では、SGD (Stochastic Gradient Descent) やアダプティブモーメント推定 (Adaptive Moment Estimation, Adam) といった最適化アルゴリズムが広く適用されているが、学習効率の変動に対処し、複雑なモデルの要求に応え、非凸最適化問題に対処する能力は、依然として不十分である。
これらの課題は主に、複雑なデータ構造やモデルを扱う際のアルゴリズムの制限、例えば、適切な学習率を選択することの難しさ、局所的な最適性を避け、高次元空間をナビゲートすることによるものである。
そこで本研究では,DWMGradという新しい最適化アルゴリズムを提案する。
このアルゴリズムは従来の手法の基礎の上に構築されており、歴史的データに依存して運動量や学習率を動的に更新する動的誘導機構を組み込んでいる。
これにより、オプティマイザは、様々なトレーニングシナリオに適応して、履歴情報への依存を柔軟に調整することができる。
この戦略は、オプティマイザが環境の変化やタスクの複雑さに適応できるようにするだけでなく、広範な実験を通じて検証されたように、DWMGradが複数のシナリオにおいてより高速な収束率とより高い精度を達成する能力を示す。
関連論文リスト
- Context-Aware Rule Mining Using a Dynamic Transformer-Based Framework [8.52080590054588]
本研究では,改良されたTransformerアーキテクチャに基づく動的ルールデータマイニングアルゴリズムを提案する。
改良されたTransformerモデルにより,ルールマイニングの精度,カバレッジ,安定性が大幅に向上したことを示す。
今後の研究は、計算効率の最適化と、より深い学習技術を組み合わせて、アルゴリズムの適用範囲を広げることに注力する。
論文 参考訳（メタデータ） (2025-03-14T06:37:04Z) - Integrating Optimization Theory with Deep Learning for Wireless Network Design [38.257335693563554]
従来の無線ネットワーク設計は、ドメイン固有の数学的モデルから派生した最適化アルゴリズムに依存している。
ディープラーニングは、複雑さと適応性の懸念を克服する、有望な代替手段として登場した。
本稿では,これらの問題に対処するために,最適化理論とディープラーニング手法を統合する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-12-11T20:27:48Z) - Adaptive Data Optimization: Dynamic Sample Selection with Scaling Laws [59.03420759554073]
本稿では,オンライン手法でデータ分散を最適化するアルゴリズムであるAdaptive Data Optimization (ADO)を導入する。
ADOは外部の知識やプロキシモデル、モデル更新の変更を必要としない。
ADOは、ドメインごとのスケーリング法則を使用して、トレーニング中の各ドメインの学習ポテンシャルを推定し、データ混合を調整する。
論文 参考訳（メタデータ） (2024-10-15T17:47:44Z) - Memory-Efficient Optimization with Factorized Hamiltonian Descent [11.01832755213396]
本稿では,この課題に対処するためのメモリ効率因子化手法を取り入れた新しい適応型H-Facを提案する。
運動量とスケーリングパラメータ推定器の両方にランク1パラメータ化を適用することで、H-Facはメモリコストをサブ線形レベルに削減する。
我々はハミルトン力学から導かれる原理に基づいてアルゴリズムを開発し、最適化力学と収束保証において堅牢な理論的基盤を提供する。
論文 参考訳（メタデータ） (2024-06-14T12:05:17Z) - Dynamic Sparse Learning: A Novel Paradigm for Efficient Recommendation [20.851925464903804]
本稿では,リコメンデーションモデルに適した新しい学習パラダイムであるDynamic Sparse Learningを紹介する。
DSLは革新的に、スクラッチから軽量スパースモデルをトレーニングし、各ウェイトの重要性を定期的に評価し、動的に調整する。
実験結果は、DSLの有効性を裏付け、トレーニングと推論のコストを大幅に削減し、同等のレコメンデーションパフォーマンスを提供する。
論文 参考訳（メタデータ） (2024-02-05T10:16:20Z) - Multiplicative update rules for accelerating deep learning training and
increasing robustness [69.90473612073767]
我々は、幅広い機械学習アルゴリズムに適合し、代替の更新ルールを適用することができる最適化フレームワークを提案する。
提案するフレームワークはトレーニングを加速する一方、従来の追加更新ルールとは対照的に、より堅牢なモデルにつながります。
論文 参考訳（メタデータ） (2023-07-14T06:44:43Z) - A Data-Driven Evolutionary Transfer Optimization for Expensive Problems
in Dynamic Environments [9.098403098464704]
データ駆動、つまりサロゲート支援、進化的最適化は、高価なブラックボックス最適化問題に対処するための効果的なアプローチとして認識されている。
本稿では,データ駆動型進化的最適化により動的最適化問題を解くための,シンプルだが効果的な伝達学習フレームワークを提案する。
提案手法の有効性を実世界のケーススタディで実証した。
論文 参考訳（メタデータ） (2022-11-05T11:19:50Z) - Learning to Continuously Optimize Wireless Resource in a Dynamic
Environment: A Bilevel Optimization Perspective [52.497514255040514]
この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。
学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。
我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
論文 参考訳（メタデータ） (2021-05-03T07:23:39Z) - Learning to Continuously Optimize Wireless Resource In Episodically
Dynamic Environment [55.91291559442884]
この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。
本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。
我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
論文 参考訳（メタデータ） (2020-11-16T08:24:34Z) - Optimization-driven Machine Learning for Intelligent Reflecting Surfaces
Assisted Wireless Networks [82.33619654835348]
インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。
散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。
本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
論文 参考訳（メタデータ） (2020-08-29T08:39:43Z) - Automatically Learning Compact Quality-aware Surrogates for Optimization
Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。
最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。
我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文 参考訳（メタデータ） (2020-06-18T19:11:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。