Fugu-MT 論文翻訳(概要): Function Space and Critical Points of Linear Convolutional Networks

論文の概要: Function Space and Critical Points of Linear Convolutional Networks

arxiv url: http://arxiv.org/abs/2304.05752v1
Date: Wed, 12 Apr 2023 10:15:17 GMT
ステータス: 処理完了
システム内更新日: 2023-04-13 15:31:10.344551
Title: Function Space and Critical Points of Linear Convolutional Networks
Title（参考訳）: 線形畳み込みネットワークの機能空間と臨界点
Authors: Kathl\'en Kohn, Guido Mont\'ufar, Vahid Shahverdi, Matthew Trager
Abstract要約: 一次元畳み込み層を有する線形ネットワークの幾何学について検討する。我々は,ネットワークアーキテクチャが関数空間の次元,境界,特異点に与える影響を分析する。
参考スコア（独自算出の注目度）: 6.824692201913679
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study the geometry of linear networks with one-dimensional convolutional layers. The function spaces of these networks can be identified with semi-algebraic families of polynomials admitting sparse factorizations. We analyze the impact of the network's architecture on the function space's dimension, boundary, and singular points. We also describe the critical points of the network's parameterization map. Furthermore, we study the optimization problem of training a network with the squared error loss. We prove that for architectures where all strides are larger than one and generic data, the non-zero critical points of that optimization problem are smooth interior points of the function space. This property is known to be false for dense linear networks and linear convolutional networks with stride one.
Abstract（参考訳）: 1次元畳み込み層を有する線形ネットワークの幾何構造について検討する。これらのネットワークの函数空間はスパース分解を許容する多項式の半代数族と同一視できる。我々は,ネットワークアーキテクチャが関数空間の次元,境界,特異点に与える影響を分析する。また,ネットワークのパラメータ化マップの臨界点について述べる。さらに,2乗誤差損失を持つネットワークをトレーニングする最適化問題についても検討した。すべてのストライドが1より大きくジェネリックなデータを持つアーキテクチャでは、最適化問題の非ゼロ臨界点は関数空間の滑らかな内部点であることが証明される。この性質は、密度線形ネットワークや直線畳み込みネットワークでは偽であることが知られている。

関連論文リスト

Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
論文参考訳（メタデータ） (2024-02-21T18:35:27Z)
Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文参考訳（メタデータ） (2023-05-25T14:17:15Z)
Complex Critical Points of Deep Linear Neural Networks [0.0]
単一のデータポイントでトレーニングされた単一の隠れレイヤを持つネットワークでは、損失関数の複雑な臨界点の数に改善されたバウンダリを与える。任意の数の隠蔽層において、座標がゼロの複素臨界点が特定のパターンに出現し、1つの隠蔽層を持つネットワークに対して完全に分類されることを示す。
論文参考訳（メタデータ） (2023-01-30T04:16:49Z)
Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文参考訳（メタデータ） (2022-12-29T20:57:46Z)
The Role of Linear Layers in Nonlinear Interpolating Networks [13.25706838589123]
我々のフレームワークは、すべて同じキャパシティを持つが、暗黙的に定義された表現コストを持つ、様々な深さのネットワークのファミリーを考察する。ニューラルネットワークアーキテクチャによって誘導される関数の表現コストは、関数を表現するためにネットワークに必要な2乗重みの最小和である。この結果から,ReLUネットワークに線形層を追加することで,ReLUユニットのアライメントとスパシティの複雑な相互作用を反映した表現コストが得られることがわかった。
論文参考訳（メタデータ） (2022-02-02T02:33:24Z)
Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
論文参考訳（メタデータ） (2021-10-18T18:00:36Z)
Geometry of Linear Convolutional Networks [7.990816079551592]
線形畳み込みニューラルネットワーク(LCN)で表される関数群について検討する。 LCN上の目的関数の最適化について検討し,関数空間および勾配空間における臨界点を解析した。全体として、LCNの最適化されたパラメータは、しばしば層をまたいだ繰り返しフィルタに対応すると予測する。
論文参考訳（メタデータ） (2021-08-03T14:42:18Z)
Deep Networks Provably Classify Data on Curves [12.309532551321334]
本研究では, 完全連結ニューラルネットワークを用いて, 単位球上の2つの不連続な滑らかな曲線から引き出されたデータを分類するモデル問題について検討する。 i) ネットワーク深度が問題の難易度と (ii) ネットワーク幅と標本数に固有の性質に比例すると, ランダムな勾配降下は2つの曲線上のすべての点を高い確率で正しく分類する。
論文参考訳（メタデータ） (2021-07-29T20:40:04Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)
Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。我々の手法は収束特性が良く、最先端の結果が得られます。
論文参考訳（メタデータ） (2020-04-15T04:29:34Z)
Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
論文参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。