論文の概要: DDPNOpt: Differential Dynamic Programming Neural Optimizer

• arxiv url: http://arxiv.org/abs/2002.08809v3
• Date: Sat, 8 May 2021 21:47:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 06:31:36.056404
• Title: DDPNOpt: Differential Dynamic Programming Neural Optimizer
• Title（参考訳）: DDPNOpt: 微分動的プログラミングニューラル最適化器
• Authors: Guan-Horng Liu, Tianrong Chen and Evangelos A. Theodorou
• Abstract要約: トレーニングのための最も広く使われているアルゴリズムは、差分動的プログラミング(DDP)とリンク可能であることを示す。 本稿では,フィードフォワードと畳み込みネットワークをトレーニングするためのDDPOptの新たなクラスを提案する。
• 参考スコア（独自算出の注目度）: 29.82841891919951
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interpretation of Deep Neural Networks (DNNs) training as an optimal control problem with nonlinear dynamical systems has received considerable attention recently, yet the algorithmic development remains relatively limited. In this work, we make an attempt along this line by reformulating the training procedure from the trajectory optimization perspective. We first show that most widely-used algorithms for training DNNs can be linked to the Differential Dynamic Programming (DDP), a celebrated second-order method rooted in the Approximate Dynamic Programming. In this vein, we propose a new class of optimizer, DDP Neural Optimizer (DDPNOpt), for training feedforward and convolution networks. DDPNOpt features layer-wise feedback policies which improve convergence and reduce sensitivity to hyper-parameter over existing methods. It outperforms other optimal-control inspired training methods in both convergence and complexity, and is competitive against state-of-the-art first and second order methods. We also observe DDPNOpt has surprising benefit in preventing gradient vanishing. Our work opens up new avenues for principled algorithmic design built upon the optimal control theory.
• Abstract（参考訳）: 非線形力学系の最適制御問題としてのディープニューラルネットワーク(dnn)トレーニングの解釈は近年注目されているが,アルゴリズム開発は比較的限られている。 そこで本研究では,軌道最適化の観点からトレーニング手順を再構成し,この路線に沿って試みる。 最初に、DNNのトレーニングに最も広く使われているアルゴリズムは、Approximate Dynamic Programmingに根ざした有名な2階法であるdifferial Dynamic Programming(DDP)にリンク可能であることを示す。 本稿では、フィードフォワードと畳み込みネットワークをトレーニングするための新しい最適化手法であるDDP Neural Optimizer (DDPNOpt)を提案する。 DDPNOptは、収束を改善し、既存の手法よりも過度パラメータに対する感度を低下させるレイヤワイズフィードバックポリシーを備えている。 コンバージェンスと複雑性の両方において、他の最適制御によるトレーニング手法よりも優れており、最先端の第1および第2の手法と競合する。 また, DDPNOptは, 勾配消失の防止に有益であることも観察した。 我々の研究は、最適制御理論に基づくアルゴリズム設計のための新しい道を開く。

関連論文リスト

• A lifted Bregman strategy for training unfolded proximal neural network Gaussian denoisers [8.343594411714934]
  屈曲した近位ニューラルネットワーク(PNN)は、深層学習と近位最適化のアプローチを組み合わせた一連の手法である。 展開されたPNNに対するBregman距離に基づく揚力トレーニングの定式化を提案する。 画像復調の数値シミュレーションにより,提案したPNNのトレーニング手法の挙動を評価する。
  論文  参考訳（メタデータ） (2024-08-16T13:41:34Z)
• An Efficient Learning-based Solver Comparable to Metaheuristics for the Capacitated Arc Routing Problem [67.92544792239086]
  我々は,高度メタヒューリスティックスとのギャップを著しく狭めるため,NNベースの解法を導入する。 まず,方向対応型注意モデル(DaAM)を提案する。 第2に、教師付き事前学習を伴い、堅牢な初期方針を確立するための教師付き強化学習スキームを設計する。
  論文  参考訳（メタデータ） (2024-03-11T02:17:42Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Neural Stochastic Dual Dynamic Programming [99.80617899593526]
  我々は、問題インスタンスを断片的線形値関数にマッピングすることを学ぶトレーニング可能なニューラルモデルを導入する。 $nu$-SDDPは、ソリューションの品質を犠牲にすることなく、問題解決コストを大幅に削減できる。
  論文  参考訳（メタデータ） (2021-12-01T22:55:23Z)
• Second-Order Neural ODE Optimizer [11.92713188431164]
  微分プログラミングと呼ばれる特定の連続時間OC手法は、同じO(1)メモリコストで高次デリバティブに対して下位のODEを導出するために適用可能であることを示す。 この手法は,壁面時間における1次ベースラインよりもはるかに高速に収束する。 また,ニューラルODEの統合時間や2次フィードバックポリシなど,アーキテクチャの直接的な最適化も実現している。
  論文  参考訳（メタデータ） (2021-09-29T02:58:18Z)
• Inertial Proximal Deep Learning Alternating Minimization for Efficient Neutral Network Training [16.165369437324266]
  この研究は、有名な慣性手法であるiPDLAMによって改良されたDLAMを開発し、電流と最後の繰り返しの線形化によって点を予測する。 実世界のデータセットの数値計算結果を報告し,提案アルゴリズムの有効性を実証した。
  論文  参考訳（メタデータ） (2021-01-30T16:40:08Z)
• A Differential Game Theoretic Neural Optimizer for Training Residual Networks [29.82841891919951]
  本稿では、残差接続と畳み込み層の両方を受け入れる一般化微分動的プログラミング(DDP)ニューラルアーキテクチャを提案する。 得られた最適制御表現は、トレーニング残余ネットワークを、状態拡張システム上での協調的軌道最適化と解釈できるゲーム論的視点を許容する。
  論文  参考訳（メタデータ） (2020-07-17T10:19:17Z)
• Gradient Monitored Reinforcement Learning [0.0]
  我々は、強化学習アルゴリズムにおける訓練の強化と評価性能に焦点をあてる。 本稿では,トレーニングプロセス自体からの動的発達とフィードバックに基づいて,ニューラルネットワークの重みパラメータの学習をステアリングする手法を提案する。
  論文  参考訳（メタデータ） (2020-05-25T13:45:47Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。