論文の概要: From NeurODEs to AutoencODEs: a mean-field control framework for width-varying Neural Networks

• arxiv url: http://arxiv.org/abs/2307.02279v1
• Date: Wed, 5 Jul 2023 13:26:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-07-06 13:34:18.418255
• Title: From NeurODEs to AutoencODEs: a mean-field control framework for width-varying Neural Networks
• Title（参考訳）: neurodesからautoencodesへ - 幅変動ニューラルネットワークのための平均場制御フレームワーク
• Authors: Cristina Cipriani, Massimo Fornasier and Alessandro Scagliotti
• Abstract要約: 我々は、Residual Neural Networks(ResNets)とNeurODEsとして知られる連続時間制御システムとの確立された接続の上に構築する。 本稿では,Autoencencoderと呼ぶ連続時間オートエンタンコーダを提案する。
• 参考スコア（独自算出の注目度）: 68.8204255655161
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In our work, we build upon the established connection between Residual Neural Networks (ResNets) and continuous-time control systems known as NeurODEs. By construction, NeurODEs have been limited to constant-width layers, making them unsuitable for modeling deep learning architectures with width-varying layers. In this paper, we propose a continuous-time Autoencoder, which we call AutoencODE, and we extend to this case the mean-field control framework already developed for usual NeurODEs. In this setting, we tackle the case of low Tikhonov regularization, resulting in potentially non-convex cost landscapes. While the global results obtained for high Tikhonov regularization may not hold globally, we show that many of them can be recovered in regions where the loss function is locally convex. Inspired by our theoretical findings, we develop a training method tailored to this specific type of Autoencoders with residual connections, and we validate our approach through numerical experiments conducted on various examples.
• Abstract（参考訳）: 本研究では,残差ニューラルネットワーク(resnets)とニューロデスと呼ばれる連続時間制御システムとの確立した接続性に基づいて構築する。 構築によって、NeurODEは一定の幅の層に制限されており、幅の異なる層を持つディープラーニングアーキテクチャのモデリングには適さない。 本稿では,我々はAutoencODEと呼ぶ連続時間オートエンコーダを提案し,この場合,通常のNeurODEに対して既に開発された平均フィールド制御フレームワークを拡張した。 この設定では、tikhonov正規化の低さに対処し、その結果、非凸コストの景観が生じる可能性がある。 高いチホノフ正則化で得られた大域的な結果はグローバルに保持されないが、損失関数が局所凸である領域で多くの結果が回復できることを示した。 理論的な知見に触発されて,残余接続を持つこの特定の種類のオートエンコーダに適したトレーニング手法を開発し,様々な例を用いて数値実験を行った。

関連論文リスト

• Residual Kolmogorov-Arnold Network for Enhanced Deep Learning [0.5852077003870417]
  我々はRKAN(Residual Kolmogorov-Arnold Network)を導入する。 提案するRKANモジュールは,よく知られたベンチマークデータセットのベースモデルに対して一貫した改善を提供する。
  論文  参考訳（メタデータ） (2024-10-07T21:12:32Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Imbedding Deep Neural Networks [0.0]
  ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。 本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T22:00:41Z)
• A Dimensionality Reduction Approach for Convolutional Neural Networks [0.0]
  本稿では,上記の次元削減手法と入出力マッピングを組み合わせることで,事前学習ネットワークの層数を削減できる汎用手法を提案する。 本実験により, 従来の畳み込みニューラルネットワークと同様の精度を達成でき, メモリ割り当てを抑えることができることがわかった。
  論文  参考訳（メタデータ） (2021-10-18T10:31:12Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。