論文の概要: State space representations of the Roesser type for convolutional layers
- arxiv url: http://arxiv.org/abs/2403.11938v2
- Date: Fri, 12 Jul 2024 15:08:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 05:07:34.757706
- Title: State space representations of the Roesser type for convolutional layers
- Title（参考訳）: 畳み込み層に対する Roesser 型の状態空間表現
- Authors: Patricia Pauli, Dennis Gramlich, Frank Allgöwer,
- Abstract要約: 2次元畳み込み層に対するRoesser型の状態空間表現を提供する。
また、拡張、ストライド、N-D畳み込みのための状態空間表現も構築する。
- 参考スコア（独自算出の注目度）: 0.05120567378386613
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: From the perspective of control theory, convolutional layers (of neural networks) are 2-D (or N-D) linear time-invariant dynamical systems. The usual representation of convolutional layers by the convolution kernel corresponds to the representation of a dynamical system by its impulse response. However, many analysis tools from control theory, e.g., involving linear matrix inequalities, require a state space representation. For this reason, we explicitly provide a state space representation of the Roesser type for 2-D convolutional layers with $c_\mathrm{in}r_1 + c_\mathrm{out}r_2$ states, where $c_\mathrm{in}$/$c_\mathrm{out}$ is the number of input/output channels of the layer and $r_1$/$r_2$ characterizes the width/length of the convolution kernel. This representation is shown to be minimal for $c_\mathrm{in} = c_\mathrm{out}$. We further construct state space representations for dilated, strided, and N-D convolutions.
- Abstract（参考訳）: 制御理論の観点からは、畳み込み層(ニューラルネットワーク)は2-D(またはN-D)線形時間不変力学系である。
畳み込みカーネルによる畳み込み層の通常の表現は、そのインパルス応答による力学系の表現に対応する。
しかし、制御理論からの多くの解析ツール、例えば線型行列の不等式は状態空間表現を必要とする。
この理由から、我々は、$c_\mathrm{in}r_1 + c_\mathrm{out}r_2$ state, where $c_\mathrm{in}$/c_\mathrm{out}$は層の入出力チャネルの数であり、$r_1$/$r_2$は、畳み込みカーネルの幅と長さを特徴づける。
この表現は$c_\mathrm{in} = c_\mathrm{out}$に対して最小であることが示されている。
さらに、拡張、ストライド、N-D畳み込みのための状態空間表現を構築する。
関連論文リスト
- Neural Networks and (Virtual) Extended Formulations [5.762677915745415]
ニューラルネットワークのサイズに対する低い境界を、その代表的能力を拡張複雑性(mathrmxc(P)$)の概念にリンクすることで証明する。
通常の拡張複雑性の強力な結果は、モノトーンニューラルネットワークの下位境界に変換可能であることを示す。
論文 参考訳（メタデータ） (2024-11-05T11:12:11Z) - Hamiltonian Mechanics of Feature Learning: Bottleneck Structure in Leaky ResNets [58.460298576330835]
我々は、ResNets(tildeLtoinfty$)とFully-Connected nets(tildeLtoinfty$)の間を補間するLeaky ResNetsを研究する。
無限深度極限において、'representation geodesics'の$A_p$:continuous paths in representation space(NeuralODEsに類似)を研究する。
この直感を利用して、以前の研究で見られるように、ボトルネック構造の出現を説明する。
論文 参考訳（メタデータ） (2024-05-27T18:15:05Z) - Polynomial Width is Sufficient for Set Representation with
High-dimensional Features [69.65698500919869]
DeepSetsは集合表現のための最も広く使われているニューラルネットワークアーキテクチャである。
a) 線形 + パワーアクティベーション (LP) と (b) 線形 + 指数的アクティベーション (LE) の2つの集合要素埋め込み層を示す。
論文 参考訳（メタデータ） (2023-07-08T16:00:59Z) - Activation Functions Not To Active: A Plausible Theory on Interpreting
Neural Networks [0.0]
研究者は、ニューラルネットワークは高次元空間をモデル化するが、この空間を明確に定義することはできないと考えている。
我々は,ニューラルネットワークにおける活性化関数の役割の観点から,ニューラルネットワークの解釈に関する妥当な理論を開発する。
活性化関数は、低次元線型空間を無限次元空間に写像する拡大関数として機能することを示す。
論文 参考訳（メタデータ） (2023-05-01T05:23:58Z) - Convolutional Neural Networks as 2-D systems [1.5749416770494706]
本稿では,2次元力学系における畳み込みニューラルネットワーク(CNN)の新たな表現法を提案する。
CNNにおけるこの 2-D Lur'e 系の観点の利点の1つは、ロバスト制御理論をリプシッツ定数推定にはるかに効率的に利用できることである。
論文 参考訳（メタデータ） (2023-03-06T11:14:59Z) - Simplifying and Understanding State Space Models with Diagonal Linear
RNNs [56.33053691749856]
本研究は、離散化ステップを解消し、バニラ対角線形RNNに基づくモデルを提案する。
概念的にはるかに単純であるにもかかわらず、$mathrmDLR$は以前提案したSSMと同じくらいのパフォーマンスを示す。
また、合成シーケンス・ツー・シーケンス・タスクのスイートによって、SSMとアテンションベースモデルの表現性も特徴付ける。
論文 参考訳（メタデータ） (2022-12-01T18:53:06Z) - Neural Networks Efficiently Learn Low-Dimensional Representations with
SGD [22.703825902761405]
SGDで訓練されたReLU NNは、主方向を回復することで、$y=f(langleboldsymbolu,boldsymbolxrangle) + epsilon$という形の単一インデックスターゲットを学習できることを示す。
また、SGDによる近似低ランク構造を用いて、NNに対して圧縮保証を提供する。
論文 参考訳（メタデータ） (2022-09-29T15:29:10Z) - Neural Networks can Learn Representations with Gradient Descent [68.95262816363288]
特定の状況下では、勾配降下によって訓練されたニューラルネットワークは、カーネルメソッドのように振る舞う。
実際には、ニューラルネットワークが関連するカーネルを強く上回ることが知られている。
論文 参考訳（メタデータ） (2022-06-30T09:24:02Z) - Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。
過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
論文 参考訳（メタデータ） (2020-07-09T07:09:28Z) - Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。
代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
論文 参考訳（メタデータ） (2020-06-12T10:21:40Z) - An End-to-End Graph Convolutional Kernel Support Vector Machine [0.0]
グラフ分類のためのカーネルベースサポートベクターマシン(SVM)を提案する。
提案したモデルは、教師付きエンドツーエンドで訓練される。
実験結果から,提案モデルが既存のディープラーニングベースラインモデルよりも優れていることが示された。
論文 参考訳（メタデータ） (2020-02-29T09:57:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。