論文の概要: A Differential Game Theoretic Neural Optimizer for Training Residual Networks

• arxiv url: http://arxiv.org/abs/2007.08880v1
• Date: Fri, 17 Jul 2020 10:19:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 13:31:09.283666
• Title: A Differential Game Theoretic Neural Optimizer for Training Residual Networks
• Title（参考訳）: 残差ネットワーク学習のための差分ゲーム理論ニューラルオプティマイザ
• Authors: Guan-Horng Liu, Tianrong Chen and Evangelos A. Theodorou
• Abstract要約: 本稿では、残差接続と畳み込み層の両方を受け入れる一般化微分動的プログラミング(DDP)ニューラルアーキテクチャを提案する。 得られた最適制御表現は、トレーニング残余ネットワークを、状態拡張システム上での協調的軌道最適化と解釈できるゲーム論的視点を許容する。
• 参考スコア（独自算出の注目度）: 29.82841891919951
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Connections between Deep Neural Networks (DNNs) training and optimal control theory has attracted considerable attention as a principled tool of algorithmic design. Differential Dynamic Programming (DDP) neural optimizer is a recently proposed method along this line. Despite its empirical success, the applicability has been limited to feedforward networks and whether such a trajectory-optimization inspired framework can be extended to modern architectures remains unclear. In this work, we derive a generalized DDP optimizer that accepts both residual connections and convolution layers. The resulting optimal control representation admits a game theoretic perspective, in which training residual networks can be interpreted as cooperative trajectory optimization on state-augmented dynamical systems. This Game Theoretic DDP (GT-DDP) optimizer enjoys the same theoretic connection in previous work, yet generates a much complex update rule that better leverages available information during network propagation. Evaluation on image classification datasets (e.g. MNIST and CIFAR100) shows an improvement in training convergence and variance reduction over existing methods. Our approach highlights the benefit gained from architecture-aware optimization.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)トレーニングと最適制御理論の結びつきは,アルゴリズム設計の原則的ツールとして注目されている。 微分動的プログラミング(DDP)ニューラルオプティマイザはこの線に沿って最近提案された手法である。 実証的な成功にもかかわらず、適用性はフィードフォワードネットワークに限られており、そのような軌道最適化にインスパイアされたフレームワークが現代のアーキテクチャに拡張できるかどうかは不明のままである。 本研究では、残差接続と畳み込み層の両方を受け入れる一般化DDPオプティマイザを導出する。 結果として得られる最適制御表現は、訓練残差ネットワークを状態誘導力学系における協調軌道最適化として解釈できるゲーム理論的な視点を持つ。 このゲーム理論DDP(GT-DDP)オプティマイザは、以前の作業で同じ理論接続を享受するが、ネットワークの伝搬中に利用可能な情報を活用するためのより複雑な更新ルールを生成する。 画像分類データセット(mnistやcifar100など)の評価は、既存の方法に対するトレーニング収束と分散低減の改善を示している。 我々のアプローチはアーキテクチャ・アウェア最適化の利点を強調している。

関連論文リスト

• Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
  最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。 トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
  論文  参考訳（メタデータ） (2024-03-12T07:32:47Z)
• Layer Collaboration in the Forward-Forward Algorithm [28.856139738073626]
  フォワードフォワードアルゴリズムにおける層間協調について検討する。 ネットワーク内の情報の流れを考慮した場合, フォワードアルゴリズムの現在のバージョンが最適であることを示す。 ネットワーク構造をよりよく活用するために,レイヤコラボレーションをサポートする改良版を提案する。
  論文  参考訳（メタデータ） (2023-05-21T08:12:54Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Dynamic Game Theoretic Neural Optimizer [10.612273480358692]
  DNN自体を特徴とするダイナミックゲームにおいて、各層をプレイヤーとして捉え、新しいダイナミックゲーム視点を提案する。 我々の研究は、OCTとゲーム理論の両方の長所をマージし、ロバストな最適制御とバンディットに基づく最適化から新しいアルゴリズムの機会を創り出す。
  論文  参考訳（メタデータ） (2021-05-08T21:56:14Z)
• Analytically Tractable Inference in Deep Neural Networks [0.0]
  Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。 従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
  論文  参考訳（メタデータ） (2021-03-09T14:51:34Z)
• A Deep-Unfolded Reference-Based RPCA Network For Video Foreground-Background Separation [86.35434065681925]
  本稿では,ロバスト主成分分析(RPCA)問題に対するディープアンフォールディングに基づくネットワーク設計を提案する。 既存の設計とは異なり,本手法は連続するビデオフレームのスパース表現間の時間的相関をモデル化することに焦点を当てている。 移動MNISTデータセットを用いた実験により、提案したネットワークは、ビデオフォアグラウンドとバックグラウンドの分離作業において、最近提案された最先端のRPCAネットワークより優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-02T11:40:09Z)
• Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
  我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。 我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-07-27T12:38:37Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)
• DDPNOpt: Differential Dynamic Programming Neural Optimizer [29.82841891919951]
  トレーニングのための最も広く使われているアルゴリズムは、差分動的プログラミング(DDP)とリンク可能であることを示す。 本稿では,フィードフォワードと畳み込みネットワークをトレーニングするためのDDPOptの新たなクラスを提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。