Fugu-MT 論文翻訳(概要): On the Geometry and Optimization of Polynomial Convolutional Networks

論文の概要: On the Geometry and Optimization of Polynomial Convolutional Networks

arxiv url: http://arxiv.org/abs/2410.00722v1
Date: Tue, 1 Oct 2024 14:13:05 GMT
ステータス: 処理完了
システム内更新日: 2024-11-05 04:15:24.449677
Title: On the Geometry and Optimization of Polynomial Convolutional Networks
Title（参考訳）: 多項式畳み込みネットワークの幾何学と最適化について
Authors: Vahid Shahverdi, Giovanni Luca Marchetti, Kathlén Kohn,
Abstract要約: 単項活性化機能を持つ畳み込みニューラルネットワークについて検討する。我々は、モデルの表現力を測定するニューロマニフォールドの次元と度合いを計算する。一般的な大規模データセットに対して、回帰損失の最適化に起因した臨界点の数を定量化する明示的な公式を導出する。
参考スコア（独自算出の注目度）: 2.9816332334719773
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study convolutional neural networks with monomial activation functions. Specifically, we prove that their parameterization map is regular and is an isomorphism almost everywhere, up to rescaling the filters. By leveraging on tools from algebraic geometry, we explore the geometric properties of the image in function space of this map -- typically referred to as neuromanifold. In particular, we compute the dimension and the degree of the neuromanifold, which measure the expressivity of the model, and describe its singularities. Moreover, for a generic large dataset, we derive an explicit formula that quantifies the number of critical points arising in the optimization of a regression loss.
Abstract（参考訳）: 単項活性化機能を持つ畳み込みニューラルネットワークについて検討する。具体的には、パラメータ化写像が正則であり、フィルタを再スケーリングするまでの間、ほぼ至るところで同型であることが証明される。代数幾何学からツールを利用することにより、この写像の函数空間における像の幾何学的性質を探求する。特に、モデルの表現性を測るニューロ多様体の次元と度合いを計算し、その特異点を記述する。さらに、一般的な大規模データセットに対して、回帰損失の最適化に起因した臨界点の数を定量化する明示的な公式を導出する。

関連論文リスト

Geometry of Lightning Self-Attention: Identifiability and Dimension [2.9816332334719773]
任意の層数に対するパラメトリゼーションの一般的な繊維の表現を提供することにより、深い注意の識別可能性について検討する。単層モデルでは特異点と境界点を特徴付ける。最後に,本研究の結果を正規化された自己注意ネットワークに拡張し,単一層として証明し,深部ケースで数値的に検証する。
論文参考訳（メタデータ） (2024-08-30T12:00:36Z)
Geometric Generative Models based on Morphological Equivariant PDEs and GANs [3.6498648388765513]
群畳み込みニューラルネットワーク(G-CNN)のための等変偏微分方程式(PDE)に基づく幾何学的生成モデルを提案する。提案手法は, PDE-G-CNNにおける形態的同変畳み込みを用いて, GM-GAN (Geological morphological GAN) を求める。予備的な結果は、GM-GANモデルが古典的GANより優れていることを示している。
論文参考訳（メタデータ） (2024-03-22T01:02:09Z)
Towards a mathematical understanding of learning from few examples with nonlinear feature maps [68.8204255655161]
トレーニングセットがわずか数個のデータポイントから構成されるデータ分類の問題を考える。我々は、AIモデルの特徴空間の幾何学、基礎となるデータ分布の構造、モデルの一般化能力との間の重要な関係を明らかにする。
論文参考訳（メタデータ） (2022-11-07T14:52:58Z)
Neural Eigenfunctions Are Structured Representation Learners [93.53445940137618]
本稿ではニューラル固有写像という,構造化された適応長の深部表現を提案する。本稿では,データ拡張設定における正の関係から固有関数が導出される場合,NeuralEFを適用することで目的関数が得られることを示す。画像検索システムにおいて,適応長符号のような表現を用いることを実証する。
論文参考訳（メタデータ） (2022-10-23T07:17:55Z)
The Manifold Scattering Transform for High-Dimensional Point Cloud Data [16.500568323161563]
本稿では,自然システムにおけるデータセットへの多様体散乱変換の実装のための実践的スキームを提案する。本手法は信号の分類や多様体の分類に有効であることを示す。
論文参考訳（メタデータ） (2022-06-21T02:15:00Z)
A singular Riemannian geometry approach to Deep Neural Networks I. Theoretical foundations [77.86290991564829]
ディープニューラルネットワークは、音声認識、機械翻訳、画像解析など、いくつかの科学領域で複雑な問題を解決するために広く使われている。我々は、リーマン計量を備えた列の最後の多様体で、多様体間の写像の特定の列を研究する。このようなシーケンスのマップの理論的性質について検討し、最終的に実践的な関心を持つニューラルネットワークの実装間のマップのケースに焦点を当てる。
論文参考訳（メタデータ） (2021-12-17T11:43:30Z)
Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
論文参考訳（メタデータ） (2021-10-28T14:59:41Z)
Geometry of Linear Convolutional Networks [7.990816079551592]
線形畳み込みニューラルネットワーク(LCN)で表される関数群について検討する。 LCN上の目的関数の最適化について検討し,関数空間および勾配空間における臨界点を解析した。全体として、LCNの最適化されたパラメータは、しばしば層をまたいだ繰り返しフィルタに対応すると予測する。
論文参考訳（メタデータ） (2021-08-03T14:42:18Z)
Statistical Mechanics of Neural Processing of Object Manifolds [3.4809730725241605]
この論文は、物体の神経処理の計算理論の基礎を築いた。多様体のキャパシティは,有効半径, R_M, 有効次元, D_Mと決定される。
論文参考訳（メタデータ） (2021-06-01T20:49:14Z)
Gauge Equivariant Mesh CNNs: Anisotropic convolutions on geometric graphs [81.12344211998635]
メッシュ上の畳み込みを定義する一般的なアプローチは、それらをグラフとして解釈し、グラフ畳み込みネットワーク(GCN)を適用することである。本稿では、GCNを一般化して異方性ゲージ同変カーネルを適用するGauge Equivariant Mesh CNNを提案する。本実験は,従来のGCNおよび他の手法と比較して,提案手法の表現性を大幅に向上することを示した。
論文参考訳（メタデータ） (2020-03-11T17:21:15Z)
Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
論文参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。