論文の概要: Understanding Optimization in Deep Learning with Central Flows

• arxiv url: http://arxiv.org/abs/2410.24206v1
• Date: Thu, 31 Oct 2024 17:58:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:03:45.687492
• Title: Understanding Optimization in Deep Learning with Central Flows
• Title（参考訳）: 中心流を用いた深層学習における最適化の理解
• Authors: Jeremy M. Cohen, Alex Damian, Ameet Talwalkar, Zico Kolter, Jason D. Lee,
• Abstract要約: RMSの暗黙的な振る舞いは、微分方程式の「中央流:」によって明示的に捉えられることを示す。 これらのフローは、汎用ニューラルネットワークの長期最適化軌道を経験的に予測できることを示す。
• 参考スコア（独自算出の注目度）: 53.66160508990508
• License:
• Abstract: Optimization in deep learning remains poorly understood, even in the simple setting of deterministic (i.e. full-batch) training. A key difficulty is that much of an optimizer's behavior is implicitly determined by complex oscillatory dynamics, referred to as the "edge of stability." The main contribution of this paper is to show that an optimizer's implicit behavior can be explicitly captured by a "central flow:" a differential equation which models the time-averaged optimization trajectory. We show that these flows can empirically predict long-term optimization trajectories of generic neural networks with a high degree of numerical accuracy. By interpreting these flows, we reveal for the first time 1) the precise sense in which RMSProp adapts to the local loss landscape, and 2) an "acceleration via regularization" mechanism, wherein adaptive optimizers implicitly navigate towards low-curvature regions in which they can take larger steps. This mechanism is key to the efficacy of these adaptive optimizers. Overall, we believe that central flows constitute a promising tool for reasoning about optimization in deep learning.
• Abstract（参考訳）: ディープラーニングにおける最適化は、決定論的(フルバッチ)トレーニングの単純な設定においても、まだ理解されていない。 鍵となる困難は、オプティマイザの挙動の多くは「安定性の端」と呼ばれる複雑な振動力学によって暗黙的に決定されることである。 本論文の主な貢献は、時間平均最適化軌道をモデル化した微分方程式である「中央流:」によって、最適化者の暗黙の振る舞いを明示的に捉えることができることを示すことである。 これらの流れは、数値精度の高い汎用ニューラルネットワークの長期最適化軌道を経験的に予測できることを示す。 これらの流れを解釈することで、私たちは初めて明らかにします 1)RMSPropが局所的損失景観に適応する正確な感覚、及び 2)「正規化による加速」機構により、適応最適化器は暗黙的に低曲率領域へ移動し、より大きなステップを踏むことができる。 このメカニズムは、これらの適応オプティマイザの有効性の鍵となる。 全体として、中央フローはディープラーニングの最適化を推論するための有望なツールであると考えています。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• Fine-Tuning Adaptive Stochastic Optimizers: Determining the Optimal Hyperparameter $ε$ via Gradient Magnitude Histogram Analysis [0.7366405857677226]
  我々は、損失の大きさの経験的確率密度関数に基づく新しい枠組みを導入し、これを「緩やかな等級ヒストグラム」と呼ぶ。 そこで本稿では, 最適安全のための精密かつ高精度な探索空間を自動推定するために, 勾配等級ヒストグラムを用いた新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-20T04:34:19Z)
• Understanding Optimization of Deep Learning via Jacobian Matrix and Lipschitz Constant [18.592094066642364]
  本稿では,ディープラーニングにおける最適化の包括的理解について述べる。 モデル表現能力の低下とトレーニング不安定性の低下につながる勾配消滅と勾配爆発の課題に焦点をあてる。 現在の最適化手法を理解するために、明示的な最適化と暗黙的な最適化の2つのクラスに分類する。
  論文  参考訳（メタデータ） (2023-06-15T17:59:27Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Hybrid Decentralized Optimization: Leveraging Both First- and Zeroth-Order Optimizers for Faster Convergence [31.59453616577858]
  分散システムは、よりノイズの多いゼロオーダーエージェントに耐えられるが、最適化プロセスにおいてそのようなエージェントの恩恵を受けることができる。 本研究の結果は,共同最適化作業に貢献しながらも,凸および非零次最適化の目的を達成できる。
  論文  参考訳（メタデータ） (2022-10-14T10:54:11Z)
• Moment Centralization based Gradient Descent Optimizers for Convolutional Neural Networks [12.90962626557934]
  コナールニューラルネットワーク(CNN)は多くのコンピュータビジョンアプリケーションに非常に魅力的な性能を示している。 本稿では,CNNのためのモーメント集中型SGDデータセットを提案する。 提案されたモーメント集中は本質的には汎用的であり、既存の適応運動量ベースのいずれかと統合することができる。
  論文  参考訳（メタデータ） (2022-07-19T04:38:01Z)
• The Implicit Bias for Adaptive Optimization Algorithms on Homogeneous Neural Networks [21.63353575405414]
  同質ニューラルネットワークにおける適応最適化アルゴリズムの暗黙バイアスについて検討する。 非線形深部ニューラルネットワークにおける適応最適化の収束方向を研究する最初の研究である。
  論文  参考訳（メタデータ） (2020-12-11T11:15:32Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)
• Fast Rates for Contextual Linear Optimization [52.39202699484225]
  提案手法は, 下流決定性能を直接最適化する手法よりもはるかに高速な, 後悔の収束率を実現する。 予測モデルは、既存のツールを使ったトレーニングが簡単かつ高速で、解釈が簡単で、私たちが示しているように、非常にうまく機能する決定につながる。
  論文  参考訳（メタデータ） (2020-11-05T18:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。