Fugu-MT 論文翻訳(概要): Universal Consistency of Deep Convolutional Neural Networks

論文の概要: Universal Consistency of Deep Convolutional Neural Networks

arxiv url: http://arxiv.org/abs/2106.12498v1
Date: Wed, 23 Jun 2021 16:17:21 GMT
ステータス: 処理完了
システム内更新日: 2021-06-24 17:27:48.549577
Title: Universal Consistency of Deep Convolutional Neural Networks
Title（参考訳）: 深層畳み込みニューラルネットワークの普遍的一貫性
Authors: Shao-Bo Lin, Kaidong Wang, Yao Wang, Ding-Xuan Zhou
Abstract要約: 本稿では,拡張畳み込みを伴うDCNNにおける経験的リスク最小化の実装が,広範に一貫したものであることを実証する。普遍的な一貫性によって動機づけられた我々は、完全な結合層がなければ、拡張畳み込みを伴うDCNNは、広く使われているディープニューラルネットワークよりも悪くないことを示す一連の実験を行った。
参考スコア（独自算出の注目度）: 30.276772452922742
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Compared with avid research activities of deep convolutional neural networks (DCNNs) in practice, the study of theoretical behaviors of DCNNs lags heavily behind. In particular, the universal consistency of DCNNs remains open. In this paper, we prove that implementing empirical risk minimization on DCNNs with expansive convolution (with zero-padding) is strongly universally consistent. Motivated by the universal consistency, we conduct a series of experiments to show that without any fully connected layers, DCNNs with expansive convolution perform not worse than the widely used deep neural networks with hybrid structure containing contracting (without zero-padding) convolution layers and several fully connected layers.
Abstract（参考訳）: 深層畳み込みニューラルネットワーク(dcnn)の実際的な研究活動と比較すると、dcnnの理論的な挙動の研究は遅れている。特にDCNNの普遍的な一貫性は未解決のままである。本稿では,拡張畳み込みを伴うDCNNにおける経験的リスク最小化の実装が,(ゼロパディングを伴う)強固に一貫したものであることを示す。完全連結層がなければ、拡張畳み込みを伴うDCNNは、収縮(ゼロパディング)畳み込み層と複数の完全連結層を含むハイブリッド構造を持つ広く使われているディープニューラルネットワークよりも悪くはならないことを示す一連の実験を行う。

関連論文リスト

On the Universal Statistical Consistency of Expansive Hyperbolic Deep Convolutional Neural Networks [14.904264782690639]
本稿では,Poincar'e Discに基づくHyperbolic DCNNを提案する。双曲空間における拡張的畳み込みの普遍的一貫性に関する広範な理論的洞察を提供する。結果、双曲的畳み込み構造はユークリッド構造よりも可換なマージンで優れていることが明らかとなった。
論文参考訳（メタデータ） (2024-11-15T12:01:03Z)
Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文参考訳（メタデータ） (2024-01-09T07:31:34Z)
Deep Convolutional Neural Networks with Zero-Padding: Feature Extraction and Learning [22.696129751033983]
特徴抽出において, ゼロパディングのDCNNはDFCNよりも本質的に優れていることを示す。これらの理論結果は,玩具シミュレーションと実データ実行の両方を含む数値実験により検証された。
論文参考訳（メタデータ） (2023-07-30T11:29:51Z)
Intrinsic and extrinsic deep learning on manifolds [2.207988653560308]
固有ディープニューラルネットワーク(intrinsic Deep Neural Network, IDNN)は、指数写像と対数写像を通じて、多様体の基底となる固有幾何を包含する。我々は、eDNNとiDNNの実証リスク最小化器(ERM)の実証リスクが最適な速度で収束していることを証明する。 eDNNsフレームワークはシンプルで簡単に計算できるが、iDNNsフレームワークは正確で高速な収束である。
論文参考訳（メタデータ） (2023-02-16T22:10:38Z)
Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文参考訳（メタデータ） (2023-01-01T02:11:39Z)
Learning Ability of Interpolating Deep Convolutional Neural Networks [28.437011792990347]
我々は,深層ニューラルネットワーク,深層畳み込みニューラルネットワーク(DCNN)の重要なファミリーの学習能力について検討する。非補間DCNNに適切に定義された層を追加することで、非補間DCNNの良好な学習率を維持する補間DCNNが得られることを示す。我々の研究は、過度に適合したDCNNの一般化の理論的検証を提供する。
論文参考訳（メタデータ） (2022-10-25T17:22:31Z)
Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文参考訳（メタデータ） (2022-09-16T06:36:06Z)
Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文参考訳（メタデータ） (2022-05-11T17:43:54Z)
On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文参考訳（メタデータ） (2022-04-22T15:56:43Z)
Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文参考訳（メタデータ） (2022-04-01T03:31:27Z)
Extended critical regimes of deep neural networks [0.0]
重み付き重みは、微調整パラメータを使わずに、拡張臨界状態の出現を可能にすることを示す。この拡張クリティカルレジームでは、DNNは層間のリッチで複雑な伝播ダイナミクスを示す。効率的なニューラルアーキテクチャの設計のための理論的ガイドを提供する。
論文参考訳（メタデータ） (2022-03-24T10:15:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。