Fugu-MT 論文翻訳(概要): On the Universal Approximation Property of Deep Fully Convolutional Neural Networks

論文の概要: On the Universal Approximation Property of Deep Fully Convolutional Neural Networks

arxiv url: http://arxiv.org/abs/2211.14047v2
Date: Thu, 18 May 2023 02:40:10 GMT
ステータス: 処理完了
システム内更新日: 2023-05-19 20:42:59.969156
Title: On the Universal Approximation Property of Deep Fully Convolutional Neural Networks
Title（参考訳）: 深層完全畳み込みニューラルネットワークの普遍近似特性について
Authors: Ting Lin, Zuowei Shen, Qianxiao Li
Abstract要約: 我々は, 深い残差完全畳み込みネットワークとその連続層ネットワークが, 一定のチャネル幅で対称関数の普遍近似を実現できることを証明した。これらの要件は、チャネルが少なく、カーネルが少ないネットワークが普遍的な近似器にならないという意味で必要であることを示す。
参考スコア（独自算出の注目度）: 15.716533830931766
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study the approximation of shift-invariant or equivariant functions by deep fully convolutional networks from the dynamical systems perspective. We prove that deep residual fully convolutional networks and their continuous-layer counterpart can achieve universal approximation of these symmetric functions at constant channel width. Moreover, we show that the same can be achieved by non-residual variants with at least 2 channels in each layer and convolutional kernel size of at least 2. In addition, we show that these requirements are necessary, in the sense that networks with fewer channels or smaller kernels fail to be universal approximators.
Abstract（参考訳）: 動的システムの観点からの深部完全畳み込みネットワークによるシフト不変あるいは同変関数の近似について検討する。我々は, 深い残差完全畳み込みネットワークとその連続層ネットワークが, 一定のチャネル幅でこれらの対称関数の普遍近似を達成できることを証明した。さらに、各層に少なくとも2つのチャネルを持ち、少なくとも2つの畳み込みカーネルサイズを持つ非残留変種でも同じことができることを示す。さらに,チャネルが少ないネットワークやカーネルが少ないネットワークが普遍的な近似器にならないという意味では,これらの要件が必要であることを示す。

関連論文リスト

A Hybrid Transformer-Mamba Network for Single Image Deraining [70.64069487982916]
既存のデラリング変換器では、固定レンジウィンドウやチャネル次元に沿って自己アテンション機構を採用している。本稿では,多分岐型トランスフォーマー・マンバネットワーク(Transformer-Mamba Network,TransMamba Network,Transformer-Mamba Network)を提案する。
論文参考訳（メタデータ） (2024-08-31T10:03:19Z)
Chiral excitation flows of multinode network based on synthetic gauge fields [0.0]
キラル励起流は、その特異な一方向性に対して多くの注目を集めている。このような流れは合成ゲージ場(SGF)を持つ3ノードネットワークで研究されている。本稿では,補助ノードを導入してシステムの制御を行う,$n$-nodeネットワークにおけるカイラルフローを実現する手法を提案する。
論文参考訳（メタデータ） (2023-12-04T16:31:02Z)
Tensor Programs VI: Feature Learning in Infinite-Depth Neural Networks [42.14352997147652]
深い残留ネットワーク(resnets)の*depthwise parametrization*の類似分類について検討する。各ブロックが1つの層しか持たないresnetでは、Depth-$mu$Pと呼ばれる一意な最適パラメトリゼーションを同定する。 We found that Depth-$mu$P can be characterized as maximize feature learning and feature diversity。
論文参考訳（メタデータ） (2023-10-03T17:50:40Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
論文参考訳（メタデータ） (2022-02-13T07:12:02Z)
Channel redundancy and overlap in convolutional neural networks with channel-wise NNK graphs [36.479195100553085]
畳み込みニューラルネットワーク(CNN)の深い層における特徴空間は、しばしば非常に高次元で解釈が難しい。理論的にチャネルワイド非負のカーネル(CW-NNK)回帰グラフを分析し、チャネル間の重なり合いを定量化する。チャネル間の冗長性は,層深度や正規化の程度によって大きく変化している。
論文参考訳（メタデータ） (2021-10-18T22:50:07Z)
A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文参考訳（メタデータ） (2021-01-12T00:40:45Z)
Recursive Multi-model Complementary Deep Fusion forRobust Salient Object Detection via Parallel Sub Networks [62.26677215668959]
完全畳み込みネットワークは、正体検出(SOD)分野において優れた性能を示している。本稿では,全く異なるネットワークアーキテクチャを持つ並列サブネットワークからなる,より広いネットワークアーキテクチャを提案する。いくつかの有名なベンチマークの実験では、提案されたより広範なフレームワークの優れた性能、優れた一般化、強力な学習能力が明らかに示されている。
論文参考訳（メタデータ） (2020-08-07T10:39:11Z)
Volumetric Transformer Networks [88.85542905676712]
学習可能なモジュールである容積変換器ネットワーク(VTN)を導入する。 VTNは、中間CNNの空間的およびチャネル的特徴を再設定するために、チャネル回りの歪み場を予測する。実験の結果,VTNは特徴量の表現力を一貫して向上し,細粒度画像認識とインスタンスレベルの画像検索におけるネットワークの精度が向上することがわかった。
論文参考訳（メタデータ） (2020-07-18T14:00:12Z)
Complex networks with tuneable dimensions as a universality playground [0.0]
本稿では,普遍性,スペクトル次元に対する基本的ネットワークパラメータの役割について論じる。明示的な計算により、このモデルのスペクトル次元が1ドルから無限大まで連続的に調整できることが証明される。非均質構造上の普遍的挙動を探索するツールとしての我々のモデルを提案し、そのようなネットワーク上の相関モデルの普遍的挙動が、分数ユークリッド次元における連続場理論の1つを模倣する可能性についてコメントする。
論文参考訳（メタデータ） (2020-06-18T10:56:41Z)
Quasi-Equivalence of Width and Depth of Neural Networks [10.365556153676538]
人工ニューラルネットワークの設計が指向性を持つかどうかを検討する。 De Morgan法に触発されて、ReLUネットワークの幅と深さの間に準等価性を確立する。以上の結果から,深層ネットワークは任意に小さな誤差を被る広い等価性を有することがわかった。
論文参考訳（メタデータ） (2020-02-06T21:17:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。