論文の概要: Continuous Generative Neural Networks
- arxiv url: http://arxiv.org/abs/2205.14627v2
- Date: Thu, 20 Apr 2023 09:41:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-21 17:36:34.206072
- Title: Continuous Generative Neural Networks
- Title(参考訳): 連続生成ニューラルネットワーク
- Authors: Giovanni S. Alberti, Matteo Santacesaria and Silvia Sciutto
- Abstract要約: 本研究では,連続的な環境下での連続生成ニューラルネットワーク(CGNN)について検討する。
このアーキテクチャはDCGANにインスパイアされ、1つの完全に接続された層、いくつかの畳み込み層、非線形活性化関数を持つ。
本稿では,畳み込みフィルタの条件と,CGNNが注入可能であることを保証する非線形性について述べる。
- 参考スコア(独自算出の注目度): 0.966840768820136
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we present and study Continuous Generative Neural Networks
(CGNNs), namely, generative models in the continuous setting: the output of a
CGNN belongs to an infinite-dimensional function space. The architecture is
inspired by DCGAN, with one fully connected layer, several convolutional layers
and nonlinear activation functions. In the continuous $L^2$ setting, the
dimensions of the spaces of each layer are replaced by the scales of a
multiresolution analysis of a compactly supported wavelet. We present
conditions on the convolutional filters and on the nonlinearity that guarantee
that a CGNN is injective. This theory finds applications to inverse problems,
and allows for deriving Lipschitz stability estimates for (possibly nonlinear)
infinite-dimensional inverse problems with unknowns belonging to the manifold
generated by a CGNN. Several numerical simulations, including signal
deblurring, illustrate and validate this approach.
- Abstract(参考訳): 本研究では,連続生成ニューラルネットワーク(CGNN),すなわち連続環境における生成モデル,すなわち,CGNNの出力は無限次元関数空間に属することを示す。
このアーキテクチャはdcganに触発され、1つの完全連結層、いくつかの畳み込み層、非線形活性化関数を持つ。
連続的な$l^2$設定では、各層の空間の寸法はコンパクトに支持されたウェーブレットのマルチレゾリューション解析のスケールに置き換えられる。
本稿では,畳み込みフィルタおよびCGNNが注入可能であることを保証する非線形性について述べる。
この理論は、逆問題への応用を見つけ、CGNNによって生成される多様体に属する未知の(おそらく非線形)無限次元逆問題に対するリプシッツ安定性推定を導出することができる。
信号の劣化を含むいくつかの数値シミュレーションは、このアプローチを実証し、検証する。
関連論文リスト
- Neural Network Layer Matrix Decomposition reveals Latent Manifold
Encoding and Memory Capacity [1.2891210250935148]
連続活性化関数の安定収束NNに対して、その重み行列は、そのトレーニングデータセットを有界領域上の有限誤差の範囲内で近似する連続関数を符号化することを示す。
この結果から,NNがメモリ容量を表現力に活用することで,次元の呪いをいかに破るかを理解することが示唆された。
この層行列分解(LMD)はさらに、NN層の固有分解とホップフィールドネットワークとトランスフォーマーNNモデルの概念化における最新の進歩との密接な関係を示唆している。
論文 参考訳(メタデータ) (2023-09-12T05:36:08Z) - Tangent Bundle Convolutional Learning: from Manifolds to Cellular
Sheaves and Back [114.01902073621577]
この畳み込み操作に基づいて,タンジェントバンドルフィルタとタンジェントバンドルニューラルネットワーク(TNN)を定義する。
タンジェントバンドルフィルタは、スカラー多様体フィルタ、グラフフィルタ、標準畳み込みフィルタを連続的に一般化するスペクトル表現を許容する。
提案したアーキテクチャが様々な学習課題に与える影響を数値的に評価する。
論文 参考訳(メタデータ) (2023-03-20T17:57:15Z) - Tangent Bundle Filters and Neural Networks: from Manifolds to Cellular
Sheaves and Back [114.01902073621577]
畳み込みを用いて、タンジェントバンドルフィルタとタンジェントバンドルニューラルネットワーク(TNN)を定義する。
我々は、TNNを時間領域と空間領域の両方で識別し、その離散性は、最近導入されたSheaf Neural Networksの原則的な変種であることを示す。
単体2次元球面上の接ベクトル場の復調作業における提案手法の有効性を数値的に評価する。
論文 参考訳(メタデータ) (2022-10-26T21:55:45Z) - Designing Universal Causal Deep Learning Models: The Case of
Infinite-Dimensional Dynamical Systems from Stochastic Analysis [3.5450828190071655]
因果作用素(COs)は、現代の分析において中心的な役割を果たす。
COを近似できるディープラーニング(DL)モデルを設計するための標準的なフレームワークはまだ存在しない。
本稿では、DLモデル設計フレームワークを導入することにより、このオープンな問題に対する「幾何学的認識」ソリューションを提案する。
論文 参考訳(メタデータ) (2022-10-24T14:43:03Z) - Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。
サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。
この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
論文 参考訳(メタデータ) (2022-03-22T13:09:17Z) - Stability of Neural Networks on Manifolds to Relative Perturbations [118.84154142918214]
グラフニューラルネットワーク(GNN)は多くの実践シナリオにおいて素晴らしいパフォーマンスを示している。
GNNは大規模グラフ上でうまくスケールすることができるが、これは既存の安定性がノード数とともに増加するという事実に矛盾する。
論文 参考訳(メタデータ) (2021-10-10T04:37:19Z) - Convolutional Filtering and Neural Networks with Non Commutative
Algebras [153.20329791008095]
本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。
非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
論文 参考訳(メタデータ) (2021-08-23T04:22:58Z) - Hamiltonian Deep Neural Networks Guaranteeing Non-vanishing Gradients by
Design [2.752441514346229]
バックプロパゲーションによる重量最適化における勾配の消失と爆発は、訓練が困難である。
連続時間ハミルトンシステムの離散化から導かれるハミルトンDNN(H-DNN)の一般クラスを提案する。
我々の主な成果は、広範囲のH-DNNが任意のネットワーク深さを設計することで、不要な勾配を保証することである。
MNISTデータセットを用いた画像分類を含む,ベンチマーク分類問題において,H-DNNの性能を示す。
論文 参考訳(メタデータ) (2021-05-27T14:52:22Z) - Uncertainty Propagation in Convolutional Neural Networks: Technical
Report [13.224071661974593]
畳み込みニューラルネットワーク(CNN)の典型的な構成ブロックによる不確実性の伝播問題について検討する。
これには線形演算を行うレイヤや、Rectified Linear Unit (ReLU)のような入力に対して非線形に作用するレイヤが含まれる。
論文 参考訳(メタデータ) (2021-02-11T15:17:46Z) - Nonlinear State-Space Generalizations of Graph Convolutional Neural
Networks [172.18295279061607]
グラフ畳み込みニューラルネットワーク(GCNN)は、線形グラフ畳み込みを非線形にネストすることで、ネットワークデータから構成表現を学習する。
本稿では,GCNNを状態空間の観点からアプローチし,グラフ畳み込みモジュールが最小値線形状態空間モデルであることを明らかにする。
この状態更新は、非パラメトリックであり、グラフスペクトルによって爆発または消滅する可能性があるため、問題となる可能性がある。
本稿では,非線形な状態空間パラメトリック方式でノード特徴を階層内に集約し,よりよいトレードオフを実現するという,新しい結節集合規則を提案する。
論文 参考訳(メタデータ) (2020-10-27T19:48:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。