論文の概要: From NeurODEs to AutoencODEs: a mean-field control framework for
width-varying Neural Networks
- arxiv url: http://arxiv.org/abs/2307.02279v2
- Date: Thu, 10 Aug 2023 15:30:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-11 15:26:06.279198
- Title: From NeurODEs to AutoencODEs: a mean-field control framework for
width-varying Neural Networks
- Title（参考訳）: neurodesからautoencodesへ - 幅変動ニューラルネットワークのための平均場制御フレームワーク
- Authors: Cristina Cipriani, Massimo Fornasier and Alessandro Scagliotti
- Abstract要約: 本稿では,動的に駆動する制御フィールドをベースとした,AutoencODEと呼ばれる新しいタイプの連続時間制御システムを提案する。
損失関数が局所凸な領域では,多くのアーキテクチャが復元可能であることを示す。
- 参考スコア（独自算出の注目度）: 68.8204255655161
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The connection between Residual Neural Networks (ResNets) and continuous-time
control systems (known as NeurODEs) has led to a mathematical analysis of
neural networks which has provided interesting results of both theoretical and
practical significance. However, by construction, NeurODEs have been limited to
describing constant-width layers, making them unsuitable for modeling deep
learning architectures with layers of variable width. In this paper, we propose
a continuous-time Autoencoder, which we call AutoencODE, based on a
modification of the controlled field that drives the dynamics. This adaptation
enables the extension of the mean-field control framework originally devised
for conventional NeurODEs. In this setting, we tackle the case of low Tikhonov
regularization, resulting in potentially non-convex cost landscapes. While the
global results obtained for high Tikhonov regularization may not hold globally,
we show that many of them can be recovered in regions where the loss function
is locally convex. Inspired by our theoretical findings, we develop a training
method tailored to this specific type of Autoencoders with residual
connections, and we validate our approach through numerical experiments
conducted on various examples.
- Abstract（参考訳）: Residual Neural Networks (ResNets) と連続時間制御システム (NeurODEs) の接続により、ニューラルネットワークの数学的解析が行われ、理論的および実用的意義の両方の興味深い結果が得られた。
しかし、NeurODEは構築によって一定の幅の層を記述することに制限されており、可変幅の層を持つディープラーニングアーキテクチャのモデリングには適さない。
本稿では,動的に駆動する制御フィールドの修正に基づいて,AutoencODEと呼ばれる連続時間オートエンコーダを提案する。
この適応により、従来のNeurODE用に考案された平均場制御フレームワークの拡張が可能になる。
この設定では、tikhonov正規化の低さに対処し、その結果、非凸コストの景観が生じる可能性がある。
高いチホノフ正則化で得られた大域的な結果はグローバルに保持されないが、損失関数が局所凸である領域で多くの結果が回復できることを示した。
理論的な知見に触発されて,残余接続を持つこの特定の種類のオートエンコーダに適したトレーニング手法を開発し,様々な例を用いて数値実験を行った。
関連論文リスト
- Generalization and Estimation Error Bounds for Model-based Neural
Networks [78.88759757988761]
スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。
我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
論文 参考訳（メタデータ） (2023-04-19T16:39:44Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳（メタデータ） (2022-04-22T15:56:43Z) - Imbedding Deep Neural Networks [0.0]
ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。
本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
論文 参考訳（メタデータ） (2022-01-31T22:00:41Z) - A Dimensionality Reduction Approach for Convolutional Neural Networks [0.0]
本稿では,上記の次元削減手法と入出力マッピングを組み合わせることで,事前学習ネットワークの層数を削減できる汎用手法を提案する。
本実験により, 従来の畳み込みニューラルネットワークと同様の精度を達成でき, メモリ割り当てを抑えることができることがわかった。
論文 参考訳（メタデータ） (2021-10-18T10:31:12Z) - LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。
フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
論文 参考訳（メタデータ） (2021-03-01T03:10:11Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳（メタデータ） (2020-06-19T22:05:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。