論文の概要: Dynamic Game Theoretic Neural Optimizer
- arxiv url: http://arxiv.org/abs/2105.03788v1
- Date: Sat, 8 May 2021 21:56:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-11 14:27:16.258277
- Title: Dynamic Game Theoretic Neural Optimizer
- Title（参考訳）: 動的ゲーム理論ニューラルオプティマイザ
- Authors: Guan-Horng Liu, Tianrong Chen, and Evangelos A. Theodorou
- Abstract要約: DNN自体を特徴とするダイナミックゲームにおいて、各層をプレイヤーとして捉え、新しいダイナミックゲーム視点を提案する。
我々の研究は、OCTとゲーム理論の両方の長所をマージし、ロバストな最適制御とバンディットに基づく最適化から新しいアルゴリズムの機会を創り出す。
- 参考スコア（独自算出の注目度）: 10.612273480358692
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The connection between training deep neural networks (DNNs) and optimal
control theory (OCT) has attracted considerable attention as a principled tool
of algorithmic design. Despite few attempts being made, they have been limited
to architectures where the layer propagation resembles a Markovian dynamical
system. This casts doubts on their flexibility to modern networks that heavily
rely on non-Markovian dependencies between layers (e.g. skip connections in
residual networks). In this work, we propose a novel dynamic game perspective
by viewing each layer as a player in a dynamic game characterized by the DNN
itself. Through this lens, different classes of optimizers can be seen as
matching different types of Nash equilibria, depending on the implicit
information structure of each (p)layer. The resulting method, called Dynamic
Game Theoretic Neural Optimizer (DGNOpt), not only generalizes OCT-inspired
optimizers to richer network class; it also motivates a new training principle
by solving a multi-player cooperative game. DGNOpt shows convergence
improvements over existing methods on image classification datasets with
residual networks. Our work marries strengths from both OCT and game theory,
paving ways to new algorithmic opportunities from robust optimal control and
bandit-based optimization.
- Abstract（参考訳）: 深層ニューラルネットワーク(DNN)のトレーニングと最適制御理論(OCT)の関連性は,アルゴリズム設計の原則的ツールとして注目されている。
わずかな試みにもかかわらず、それらは階層伝播がマルコフ力学系に似ているようなアーキテクチャに限定されている。
これは、階層間の非マルコフ的依存関係(例えば)に大きく依存する現代的なネットワークへの柔軟性に疑問を投げかけている。
残余ネットワークの接続をスキップする)。
本研究では,DNN自体を特徴とする動的ゲームにおいて,各レイヤをプレイヤーとして見ることによって,新しい動的ゲーム視点を提案する。
このレンズを通して、異なるクラスのオプティマイザは、各(p)層の暗黙の情報構造によって異なる種類のnash平衡と一致すると見なすことができる。
Dynamic Game Theoretic Neural Optimizer (DGNOpt) と呼ばれるこの手法は、OCTにインスパイアされたオプティマイザをよりリッチなネットワーククラスに一般化するだけでなく、マルチプレイヤー協調ゲーム(英語版)を解くことで新たなトレーニング原理を動機付けている。
DGNOptは、残差ネットワークを用いた画像分類データセットにおいて、既存の手法よりも収束性の向上を示す。
我々の研究は、OCTとゲーム理論の両方の長所をマージし、ロバストな最適制御とバンディットに基づく最適化から新しいアルゴリズムの機会を創り出す。
関連論文リスト
- Layer Collaboration in the Forward-Forward Algorithm [28.856139738073626]
フォワードフォワードアルゴリズムにおける層間協調について検討する。
ネットワーク内の情報の流れを考慮した場合, フォワードアルゴリズムの現在のバージョンが最適であることを示す。
ネットワーク構造をよりよく活用するために,レイヤコラボレーションをサポートする改良版を提案する。
論文 参考訳（メタデータ） (2023-05-21T08:12:54Z) - ConCerNet: A Contrastive Learning Based Framework for Automated
Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。
本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-02-11T21:07:30Z) - WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。
我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。
本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
論文 参考訳（メタデータ） (2023-01-03T20:57:22Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Can we learn gradients by Hamiltonian Neural Networks? [68.8204255655161]
本稿では,勾配を学習するODEニューラルネットワークに基づくメタラーナを提案する。
提案手法は,LLUアクティベーションを最適化したMLMとMNISTデータセットにおいて,LSTMに基づくメタラーナーよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-10-31T18:35:10Z) - Characterizing Learning Dynamics of Deep Neural Networks via Complex
Networks [1.0869257688521987]
複素ネットワーク理論(CNT)は、ディープニューラルネットワーク(DNN)を重み付きグラフとして表現し、それらを動的システムとして研究する。
ノード/ニューロンとレイヤ、すなわちNodes StrengthとLayers Fluctuationのメトリクスを紹介します。
本フレームワークは,学習力学のトレンドを抽出し,高精度ネットワークから低次ネットワークを分離する。
論文 参考訳（メタデータ） (2021-10-06T10:03:32Z) - A Deep-Unfolded Reference-Based RPCA Network For Video
Foreground-Background Separation [86.35434065681925]
本稿では,ロバスト主成分分析(RPCA)問題に対するディープアンフォールディングに基づくネットワーク設計を提案する。
既存の設計とは異なり,本手法は連続するビデオフレームのスパース表現間の時間的相関をモデル化することに焦点を当てている。
移動MNISTデータセットを用いた実験により、提案したネットワークは、ビデオフォアグラウンドとバックグラウンドの分離作業において、最近提案された最先端のRPCAネットワークより優れていることが示された。
論文 参考訳（メタデータ） (2020-10-02T11:40:09Z) - A Differential Game Theoretic Neural Optimizer for Training Residual
Networks [29.82841891919951]
本稿では、残差接続と畳み込み層の両方を受け入れる一般化微分動的プログラミング(DDP)ニューラルアーキテクチャを提案する。
得られた最適制御表現は、トレーニング残余ネットワークを、状態拡張システム上での協調的軌道最適化と解釈できるゲーム論的視点を許容する。
論文 参考訳（メタデータ） (2020-07-17T10:19:17Z) - Dynamic Sparse Training: Find Efficient Sparse Network From Scratch With
Trainable Masked Layers [18.22501196339569]
本稿では、最適ネットワークパラメータとスパースネットワーク構造を共同で見つけることのできる、動的スパーストレーニングと呼ばれる新しいネットワークプルーニングアルゴリズムを提案する。
我々の動的スパーストレーニングアルゴリズムは、非常にスパースなニューラルネットワークモデルを性能損失が少なく容易に訓練できることを実証する。
論文 参考訳（メタデータ） (2020-05-14T11:05:21Z) - Dynamic Hierarchical Mimicking Towards Consistent Optimization
Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。
DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。
カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文 参考訳（メタデータ） (2020-03-24T09:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。