論文の概要: Improving Gradient-Trend Identification: Fast-Adaptive Moment Estimation
with Finance-Inspired Triple Exponential Moving Average
- arxiv url: http://arxiv.org/abs/2306.01423v2
- Date: Thu, 21 Dec 2023 08:39:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-22 18:56:34.133404
- Title: Improving Gradient-Trend Identification: Fast-Adaptive Moment Estimation
with Finance-Inspired Triple Exponential Moving Average
- Title（参考訳）: グラディエント・トレンド同定の改善:ファイナンスにインスパイアされたトリプル指数移動平均を用いた高速適応モーメント推定
- Authors: Roi Peleg, Teddy Lazebnik, Assaf Hoogi
- Abstract要約: ファストアダプティブモーメント推定(FAME)という小説を紹介する。
金融分野で使われる3倍指数移動平均(TEMA)にインスパイアされたFAMEは、勾配傾向の特定精度を向上させる。
最適化プロセスにTEMAを導入することにより、FAMEはより正確でラグの少ないトレンドを識別できる。
- 参考スコア（独自算出の注目度）: 2.480023305418
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The performance improvement of deep networks significantly depends on their
optimizers. With existing optimizers, precise and efficient recognition of the
gradients trend remains a challenge. Existing optimizers predominantly adopt
techniques based on the first-order exponential moving average (EMA), which
results in noticeable delays that impede the real-time tracking of gradients
trend and consequently yield sub-optimal performance. To overcome this
limitation, we introduce a novel optimizer called fast-adaptive moment
estimation (FAME). Inspired by the triple exponential moving average (TEMA)
used in the financial domain, FAME leverages the potency of higher-order TEMA
to improve the precision of identifying gradient trends. TEMA plays a central
role in the learning process as it actively influences optimization dynamics;
this role differs from its conventional passive role as a technical indicator
in financial contexts. Because of the introduction of TEMA into the
optimization process, FAME can identify gradient trends with higher accuracy
and fewer lag issues, thereby offering smoother and more consistent responses
to gradient fluctuations compared to conventional first-order EMA. To study the
effectiveness of our novel FAME optimizer, we conducted comprehensive
experiments encompassing six diverse computer-vision benchmarks and tasks,
spanning detection, classification, and semantic comprehension. We integrated
FAME into 15 learning architectures and compared its performance with those of
six popular optimizers. Results clearly showed that FAME is more robust and
accurate and provides superior performance stability by minimizing noise (i.e.,
trend fluctuations). Notably, FAME achieves higher accuracy levels in
remarkably fewer training epochs than its counterparts, clearly indicating its
significance for optimizing deep networks in computer-vision tasks.
- Abstract（参考訳）: ディープネットワークの性能改善は最適化に大きく依存する。
既存のオプティマイザでは、グラデーショントレンドの正確かつ効率的な認識は依然として課題である。
既存のオプティマイザは主に1次指数移動平均(EMA)に基づく手法を採用しており、これは勾配トレンドのリアルタイム追跡を妨げる顕著な遅延をもたらし、結果として準最適性能が得られる。
この制限を克服するために、高速適応モーメント推定(FAME)と呼ばれる新しい最適化手法を導入する。
金融分野で使われる3倍指数移動平均(TEMA)にインスパイアされたFAMEは、高次TEMAの有効性を活用して勾配傾向の特定精度を向上させる。
TEMAは、最適化力学に積極的に影響を与えるため、学習プロセスにおいて中心的な役割を果たす。
最適化プロセスにTEMAを導入することにより、FAMEはより高精度でラグの少ない勾配傾向を識別できるため、従来の1次EMAよりもスムーズで一貫性のある勾配変動に対応することができる。
提案手法の有効性を検討するため,6種類のコンピュータビジョンベンチマークとタスク,スパンニング検出,分類,意味理解を包含する総合実験を行った。
我々はFAMEを15の学習アーキテクチャに統合し、その性能を6つの人気のあるオプティマイザと比較した。
その結果、FAMEはより堅牢で正確であり、ノイズ(トレンド変動)を最小限に抑えることにより、優れた性能の安定性を提供することが示された。
特に、FAMEは、コンピュータビジョンタスクにおいてディープネットワークを最適化することの重要性を明確に示し、トレーニングのエポックを著しく少なくする。
関連論文リスト
- Understanding Optimization in Deep Learning with Central Flows [53.66160508990508]
RMSの暗黙的な振る舞いは、微分方程式の「中央流:」によって明示的に捉えられることを示す。
これらのフローは、汎用ニューラルネットワークの長期最適化軌道を経験的に予測できることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:58:13Z) - Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。
本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
論文 参考訳（メタデータ） (2024-10-29T14:41:44Z) - Improving Instance Optimization in Deformable Image Registration with Gradient Projection [7.6061804149819885]
変形可能な画像登録は本質的に多目的最適化問題である。
これらの矛盾する目的は、しばしば最適化結果の貧弱につながる。
ディープラーニングの手法は、大規模なデータセット処理の効率化により、最近この領域で人気を博している。
論文 参考訳（メタデータ） (2024-10-21T08:27:13Z) - HGSLoc: 3DGS-based Heuristic Camera Pose Refinement [13.393035855468428]
視覚的ローカライゼーションは、既知のシーン表現内のカメラのポーズと方向を決定するプロセスを指す。
本稿では,3次元再構成と改良戦略を統合したHGSLocを提案する。
提案手法は,NeRFベースのニューラルレンダリング手法と比較して,高速なレンダリング速度とローカライズ精度を示す。
論文 参考訳（メタデータ） (2024-09-17T06:48:48Z) - Track Everything Everywhere Fast and Robustly [46.362962852140015]
ビデオ中の任意のピクセルを効率的に追跡するための新しいテスト時間最適化手法を提案する。
本稿では,関数表現を局所的な時空間特徴グリッドに分解する,新しい非可逆変形ネットワークCaDeX++を提案する。
本実験は,SoTA最適化手法であるOmniMotion上でのトレーニング速度( textbf10 倍の速度),堅牢性,精度を著しく向上したことを示す。
論文 参考訳（メタデータ） (2024-03-26T17:58:22Z) - Bidirectional Looking with A Novel Double Exponential Moving Average to
Adaptive and Non-adaptive Momentum Optimizers [109.52244418498974]
我々は,新しいtextscAdmeta(textbfADouble指数textbfMov averagtextbfE textbfAdaptiveおよび非適応運動量)フレームワークを提案する。
我々は、textscAdmetaR と textscAdmetaS の2つの実装を提供し、前者は RAdam を、後者は SGDM をベースとしています。
論文 参考訳（メタデータ） (2023-07-02T18:16:06Z) - Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。
メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。
我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
論文 参考訳（メタデータ） (2023-02-01T17:32:16Z) - Optimization-Inspired Learning with Architecture Augmentations and
Control Mechanisms for Low-Level Vision [74.9260745577362]
本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。
フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。
低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
論文 参考訳（メタデータ） (2020-12-10T03:24:53Z) - Transferable Graph Optimizers for ML Compilers [18.353830282858834]
計算グラフ最適化(GO)のためのエンドツーエンドで転送可能な深層強化学習法を提案する。
GOは個々のノードに対して自動回帰ではなく,グラフ全体の決定を生成する。
GOは、人間の専門家よりも21%改善し、先行技術よりも18%改善し、15倍早く収束する。
論文 参考訳（メタデータ） (2020-10-21T20:28:33Z) - Dynamic Hierarchical Mimicking Towards Consistent Optimization
Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。
DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。
カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文 参考訳（メタデータ） (2020-03-24T09:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。