論文の概要: Geometry of Linear Convolutional Networks

• arxiv url: http://arxiv.org/abs/2108.01538v1
• Date: Tue, 3 Aug 2021 14:42:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-04 13:49:48.412443
• Title: Geometry of Linear Convolutional Networks
• Title（参考訳）: 線形畳み込みネットワークの幾何学
• Authors: Kathl\'en Kohn, Thomas Merkh, Guido Mont\'ufar, Matthew Trager
• Abstract要約: 線形畳み込みニューラルネットワーク(LCN)で表される関数群について検討する。 LCN上の目的関数の最適化について検討し,関数空間および勾配空間における臨界点を解析した。 全体として、LCNの最適化されたパラメータは、しばしば層をまたいだ繰り返しフィルタに対応すると予測する。
• 参考スコア（独自算出の注目度）: 7.990816079551592
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the family of functions that are represented by a linear convolutional neural network (LCN). These functions form a semi-algebraic subset of the set of linear maps from input space to output space. In contrast, the families of functions represented by fully-connected linear networks form algebraic sets. We observe that the functions represented by LCNs can be identified with polynomials that admit certain factorizations, and we use this perspective to describe the impact of the network's architecture on the geometry of the resulting function space. We further study the optimization of an objective function over an LCN, analyzing critical points in function space and in parameter space, and describing dynamical invariants for gradient descent. Overall, our theory predicts that the optimized parameters of an LCN will often correspond to repeated filters across layers, or filters that can be decomposed as repeated filters. We also conduct numerical and symbolic experiments that illustrate our results and present an in-depth analysis of the landscape for small architectures.
• Abstract（参考訳）: 本稿では,線形畳み込みニューラルネットワーク(LCN)で表される関数群について検討する。 これらの函数は、入力空間から出力空間への線型写像の集合の半代数部分集合を形成する。 対照的に、完全連結線型ネットワークで表される函数の族は代数集合を形成する。 LCNで表される関数は、ある分解を許容する多項式と同一視できることを観察し、この視点を用いて、ネットワークのアーキテクチャが結果の関数空間の幾何学に与える影響を記述する。 さらに, lcn上の対象関数の最適化, 関数空間およびパラメータ空間における臨界点の解析, 勾配降下に対する動的不変量の記述について検討した。 全体として、LCNの最適化されたパラメータは、しばしば層をまたいだ繰り返しフィルタや、繰り返しフィルタとして分解できるフィルタに対応すると予測する。 また,この結果を示す数値的および記号的実験を行い,小建築の景観を詳細に分析した。

関連論文リスト

• On the Geometry and Optimization of Polynomial Convolutional Networks [2.9816332334719773]
  単項活性化機能を持つ畳み込みニューラルネットワークについて検討する。 我々は、モデルの表現力を測定するニューロマニフォールドの次元と度合いを計算する。 一般的な大規模データセットに対して、回帰損失の最適化に起因した臨界点の数を定量化する明示的な公式を導出する。
  論文  参考訳（メタデータ） (2024-10-01T14:13:05Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
  この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。 我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
  論文  参考訳（メタデータ） (2023-05-24T22:10:12Z)
• Function Space and Critical Points of Linear Convolutional Networks [4.483341215742946]
  一次元畳み込み層を有する線形ネットワークの幾何学について検討する。 我々は,ネットワークアーキテクチャが関数空間の次元,境界,特異点に与える影響を分析する。
  論文  参考訳（メタデータ） (2023-04-12T10:15:17Z)
• Optimal Approximation Complexity of High-Dimensional Functions with Neural Networks [3.222802562733787]
  本稿では、ReLUと$x2$の両方を活性化関数として使用するニューラルネットワークの特性について検討する。 いくつかの文脈において、低局所次元を利用して次元の呪いを克服し、未知の低次元部分空間に最適な近似値を得る方法を示す。
  論文  参考訳（メタデータ） (2023-01-30T17:29:19Z)
• Functional dimension of feedforward ReLU neural networks [0.0]
  関数次元はReLUニューラルネットワーク関数のパラメータ空間で不均一であることを示す。 また、パラメータ空間から関数空間への実化写像の商空間とファイバーについても検討する。
  論文  参考訳（メタデータ） (2022-09-08T21:30:16Z)
• Learnable Filters for Geometric Scattering Modules [64.03877398967282]
  最近提案された幾何散乱変換の緩和に基づく新しいグラフニューラルネットワーク(GNN)モジュールを提案する。 我々の学習可能な幾何散乱(LEGS)モジュールは、ウェーブレットの適応的なチューニングを可能にし、学習された表現に帯域通過の特徴が現れるように促す。
  論文  参考訳（メタデータ） (2022-08-15T22:30:07Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
  有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。 正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。 高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
  論文  参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。