Fugu-MT 論文翻訳(概要): Convolutional Neural Networks as 2-D systems

論文の概要: Convolutional Neural Networks as 2-D systems

arxiv url: http://arxiv.org/abs/2303.03042v2
Date: Tue, 11 Apr 2023 13:54:59 GMT
ステータス: 処理完了
システム内更新日: 2023-04-12 18:02:35.481451
Title: Convolutional Neural Networks as 2-D systems
Title（参考訳）: 2次元システムとしての畳み込みニューラルネットワーク
Authors: Dennis Gramlich, Patricia Pauli, Carsten W. Scherer, Frank Allg\"ower and Christian Ebenbauer
Abstract要約: 本稿では,2次元力学系における畳み込みニューラルネットワーク(CNN)の新たな表現法を提案する。 CNNにおけるこの 2-D Lur'e 系の観点の利点の1つは、ロバスト制御理論をリプシッツ定数推定にはるかに効率的に利用できることである。
参考スコア（独自算出の注目度）: 1.5749416770494706
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: This paper introduces a novel representation of convolutional Neural Networks (CNNs) in terms of 2-D dynamical systems. To this end, the usual description of convolutional layers with convolution kernels, i.e., the impulse responses of linear filters, is realized in state space as a linear time-invariant 2-D system. The overall convolutional Neural Network composed of convolutional layers and nonlinear activation functions is then viewed as a 2-D version of a Lur'e system, i.e., a linear dynamical system interconnected with static nonlinear components. One benefit of this 2-D Lur'e system perspective on CNNs is that we can use robust control theory much more efficiently for Lipschitz constant estimation than previously possible.
Abstract（参考訳）: 本稿では,2次元力学系における畳み込みニューラルネットワーク(CNN)の新たな表現法を提案する。この目的のために、線形フィルタのインパルス応答である畳み込みカーネルを用いた畳み込み層の通常の記述は、線形時間不変な2次元システムとして状態空間で実現される。畳み込み層と非線形活性化関数からなる全体的な畳み込みニューラルネットワークは、Lur'eシステムの2次元バージョン、すなわち静的な非線形成分と相互接続された線形力学系と見なされる。 CNNにおけるこの 2-D Lur'e 系の観点の利点の1つは、より効率的にロバスト制御理論をリプシッツ定数推定に利用できることである。

関連論文リスト

Metric-Entropy Limits on Nonlinear Dynamical System Learning [4.069144210024563]
本稿では,リプシッツ特性を満足する非線形系を学習し,計量エントロピーの最適方法で過去の入力を十分に早く忘れることのできるリカレントニューラルネットワーク(RNN)について述べる。私たちが考えるシーケンス・ツー・シーケンス・マップの集合は、ディープ・ニューラルネットワーク近似理論において一般的に考慮される関数クラスよりもはるかに大きいので、洗練された計量エントロピー特性が必要である。
論文参考訳（メタデータ） (2024-07-01T12:57:03Z)
Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文参考訳（メタデータ） (2024-05-24T06:30:36Z)
Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文参考訳（メタデータ） (2023-07-27T06:59:46Z)
Interval Reachability of Nonlinear Dynamical Systems with Neural Network Controllers [5.543220407902113]
本稿では、ニューラルネットワークコントローラを用いた非線形連続時間力学系の厳密な検証のための区間解析に基づく計算効率の良いフレームワークを提案する。混合単調理論に着想を得て,ニューラルネットワークの包摂関数と開ループシステムの分解関数を用いて,閉ループ力学をより大きなシステムに組み込む。埋め込みシステムの単一軌跡を用いて、到達可能な集合の超矩形超近似を効率的に計算できることが示される。
論文参考訳（メタデータ） (2023-01-19T06:46:36Z)
Linear RNNs Provably Learn Linear Dynamic Systems [14.919504424152292]
線形RNNにおいて、安定な力学系を学習するための最初の理論的保証を証明した。その結果,線形RNNを学習するための理論的保証を初めて提供し,システムの学習に役立てることができることを示す。
論文参考訳（メタデータ） (2022-11-19T04:24:55Z)
The merged-staircase property: a necessary and nearly sufficient condition for SGD learning of sparse functions on two-layer neural networks [19.899987851661354]
我々は,SGD-Lrnability with $O(d)$ sample complexity in a large ambient dimension。本研究の主な成果は, 階層的特性である「マージ階段特性」を特徴付けるものである。鍵となるツールは、潜在低次元部分空間上で定義される函数に適用される新しい「次元自由」力学近似である。
論文参考訳（メタデータ） (2022-02-17T13:43:06Z)
A novel Deep Neural Network architecture for non-linear system identification [78.69776924618505]
非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
論文参考訳（メタデータ） (2021-06-06T10:06:07Z)
Metric Entropy Limits on Recurrent Neural Network Learning of Linear Dynamical Systems [0.0]
RNNは、システム理論のパーランスにおいて、安定したLTIシステムで最適に学習または識別できることを示す。差分方程式によって入出力関係を特徴づけるLPIシステムの場合、RNNはメートルエントロピー最適方法で入出力トレースから差分方程式を学習することができる。
論文参考訳（メタデータ） (2021-05-06T10:12:30Z)
Nonlinear State-Space Generalizations of Graph Convolutional Neural Networks [172.18295279061607]
グラフ畳み込みニューラルネットワーク(GCNN)は、線形グラフ畳み込みを非線形にネストすることで、ネットワークデータから構成表現を学習する。本稿では,GCNNを状態空間の観点からアプローチし,グラフ畳み込みモジュールが最小値線形状態空間モデルであることを明らかにする。この状態更新は、非パラメトリックであり、グラフスペクトルによって爆発または消滅する可能性があるため、問題となる可能性がある。本稿では,非線形な状態空間パラメトリック方式でノード特徴を階層内に集約し,よりよいトレードオフを実現するという,新しい結節集合規則を提案する。
論文参考訳（メタデータ） (2020-10-27T19:48:56Z)
Lipschitz Recurrent Neural Networks [100.72827570987992]
我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2020-06-22T08:44:52Z)
Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。