論文の概要: Imbedding Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2202.00113v1
• Date: Mon, 31 Jan 2022 22:00:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-03 03:36:29.331404
• Title: Imbedding Deep Neural Networks
• Title（参考訳）: 深層ニューラルネットワークの導入
• Authors: Andrew Corbett and Dmitry Kangin
• Abstract要約: ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。 本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous depth neural networks, such as Neural ODEs, have refashioned the understanding of residual neural networks in terms of non-linear vector-valued optimal control problems. The common solution is to use the adjoint sensitivity method to replicate a forward-backward pass optimisation problem. We propose a new approach which explicates the network's `depth' as a fundamental variable, thus reducing the problem to a system of forward-facing initial value problems. This new method is based on the principle of `Invariant Imbedding' for which we prove a general solution, applicable to all non-linear, vector-valued optimal control problems with both running and terminal loss. Our new architectures provide a tangible tool for inspecting the theoretical--and to a great extent unexplained--properties of network depth. They also constitute a resource of discrete implementations of Neural ODEs comparable to classes of imbedded residual neural networks. Through a series of experiments, we show the competitive performance of the proposed architectures for supervised learning and time series prediction.
• Abstract（参考訳）: ニューラルネットワークのような連続深度ニューラルネットワークは、非線形ベクトル値最適制御問題の観点から、残留ニューラルネットワークの理解を再構築している。 一般的な解決策は、随伴感度法を用いて前向きのパス最適化問題を再現することである。 本稿では,ネットワークの「深度」を基本変数として説明し,その問題を前方向き初期値問題に還元する手法を提案する。 この新しい手法は, ランニングと終端損失の両面において, 非線型ベクトル値の最適制御問題に適用可能な一般解を証明できる「不変な埋め込み」の原理に基づいている。 私たちの新しいアーキテクチャは、ネットワークの深さのプロペラティティを理論的に、そして説明できないほど検査するための具体的ツールを提供します。 それらはまた、組込み残留ニューラルネットワークのクラスに匹敵する、Neural ODEの個別実装のリソースを構成する。 一連の実験を通じて,教師付き学習と時系列予測のための提案アーキテクチャの競合性能を示す。

関連論文リスト

• Feedback Favors the Generalization of Neural ODEs [24.342023073252395]
  本稿では、フィードバックループがニューラル常微分方程式(ニューラルODE)の学習潜時ダイナミクスを柔軟に補正可能であることを示す。 フィードバックニューラルネットワークは、新しい2自由度ニューラルネットワークであり、前のタスクで精度が失われることなく、目に見えないシナリオで堅牢なパフォーマンスを持つ。
  論文  参考訳（メタデータ） (2024-10-14T08:09:45Z)
• Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
  トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。 本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
  論文  参考訳（メタデータ） (2024-06-06T23:19:57Z)
• Improving Generalization of Deep Neural Networks by Optimum Shifting [33.092571599896814]
  本稿では,ニューラルネットワークのパラメータを最小値からフラット値に変化させる,近位シフトと呼ばれる新しい手法を提案する。 本手法は,ニューラルネットワークの入力と出力が固定された場合,ネットワーク内の行列乗算を,未決定線形方程式系として扱うことができることを示す。
  論文  参考訳（メタデータ） (2024-05-23T02:31:55Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• A Kernel-Expanded Stochastic Neural Network [10.837308632004644]
  ディープニューラルネットワークは、トレーニングにおいて、しばしばローカルな最小限に閉じ込められる。 新しいカーネル拡張ニューラルネットワーク(K-StoNet)モデルは、潜在変数モデルとしてネットワークを再構成する。 モデルは命令正規化最適化(IRO)アルゴリズムを用いて容易に訓練することができる。
  論文  参考訳（メタデータ） (2022-01-14T06:42:42Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• ODEN: A Framework to Solve Ordinary Differential Equations using Artificial Neural Networks [0.0]
  我々は、ニューラルネットワークの性能を評価するために、正確な解の知識を必要としない特定の損失関数を証明した。 ニューラルネットワークは、トレーニング領域内での継続的ソリューションの近似に熟練していることが示されている。 ユーザフレンドリで適応可能なオープンソースコード(ODE$mathcalN$)がGitHubで提供されている。
  論文  参考訳（メタデータ） (2020-05-28T15:34:10Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。