論文の概要: On Approximation in Deep Convolutional Networks: a Kernel Perspective
- arxiv url: http://arxiv.org/abs/2102.10032v1
- Date: Fri, 19 Feb 2021 17:03:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-22 13:35:08.670180
- Title: On Approximation in Deep Convolutional Networks: a Kernel Perspective
- Title（参考訳）: 深部畳み込みネットワークにおける近似について:カーネル・パースペクティブ
- Authors: Alberto Bietti
- Abstract要約: 画像や音声などの高次元データを含むタスクにおける深層畳み込みネットワークの成功について検討する。
多層畳み込み核を検討し、カーネル方式のレンズを通して理論的・実証的に検討する。
入力パッチで動作する表現型カーネルは第1層では重要であるが、より単純なカーネルは高い層で十分性能を保ち得る。
- 参考スコア（独自算出の注目度）: 12.284934135116515
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The success of deep convolutional networks on on tasks involving
high-dimensional data such as images or audio suggests that they are able to
efficiently approximate certain classes of functions that are not cursed by
dimensionality. In this paper, we study this theoretically and empirically
through the lens of kernel methods, by considering multi-layer convolutional
kernels, which have achieved good empirical performance on standard vision
datasets, and provide theoretical descriptions of over-parameterized
convolutional networks in certain regimes. We find that while expressive
kernels operating on input patches are important at the first layer, simpler
polynomial kernels can suffice in higher layers for good performance. For such
simplified models, we provide a precise functional description of the RKHS and
its regularization properties, highlighting the role of depth for capturing
interactions between different parts of the input signal, and the role of
pooling for encouraging smooth dependence on the global or relative positions
of such parts.
- Abstract（参考訳）: 画像や音声などの高次元データを含むタスクにおける深い畳み込みネットワークの成功は、次元によって呪われない関数の特定のクラスを効率的に近似することができることを示唆している。
本論文では、標準ビジョンデータセットで良好な実証性能を達成した多層畳み込みカーネルを考察し、カーネル手法のレンズを通じて理論的および実証的に検討し、特定のシステムにおける過パラメータ畳み込みネットワークの理論的記述を提供する。
入力パッチで動作する表現型カーネルは第1層では重要であるが、より単純な多項式カーネルは高い層で十分性能を保ち得る。
このような簡略化されたモデルでは、RKHSとその正規化特性の正確な機能説明を提供し、入力信号の異なる部分間の相互作用をキャプチャするための深さの役割と、そのような部品のグローバルまたは相対的な位置に対する円滑な依存を促進するためのプールの役割を強調します。
関連論文リスト
- Feature Mapping in Physics-Informed Neural Networks (PINNs) [1.9819034119774483]
本研究では, Conjugate Kernel と Neural Tangent Kernel を限定した特徴マッピング層を用いた PINN の訓練力学について検討する。
より優れた代替として,条件付き正定値ラジアル基底関数を提案する。
論文 参考訳（メタデータ） (2024-02-10T13:51:09Z) - Nonlinear functional regression by functional deep neural network with
kernel embedding [20.306390874610635]
本稿では,効率的かつ完全なデータ依存型次元減少法を備えた機能的ディープニューラルネットワークを提案する。
機能ネットのアーキテクチャは、カーネル埋め込みステップ、プロジェクションステップ、予測のための深いReLUニューラルネットワークで構成される。
スムーズなカーネル埋め込みを利用することで、我々の関数ネットは離散化不変であり、効率的で、頑健でノイズの多い観測が可能となる。
論文 参考訳（メタデータ） (2024-01-05T16:43:39Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - Mechanism of feature learning in convolutional neural networks [14.612673151889615]
我々は、畳み込みニューラルネットワークが画像データからどのように学習するかのメカニズムを特定する。
我々は,フィルタの共分散とパッチベースAGOPの相関関係の同定を含む,アンザッツの実証的証拠を提示する。
次に、パッチベースのAGOPを用いて、畳み込みカーネルマシンの深い特徴学習を可能にすることにより、結果の汎用性を実証する。
論文 参考訳（メタデータ） (2023-09-01T16:30:02Z) - Kernel function impact on convolutional neural networks [10.98068123467568]
畳み込みニューラルネットワークの異なる層におけるカーネル関数の利用について検討する。
より歪みに敏感なプール層を導入することで、カーネル関数を効果的に活用する方法を示す。
完全接続層を置き換えるKDL(Kernelized Dense Layers)を提案する。
論文 参考訳（メタデータ） (2023-02-20T19:57:01Z) - Simple initialization and parametrization of sinusoidal networks via
their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。
まず,このような正弦波ニューラルネットワークの簡易版を提案する。
次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文 参考訳（メタデータ） (2022-11-26T07:41:48Z) - Benefits of Overparameterized Convolutional Residual Networks: Function
Approximation under Smoothness Constraint [48.25573695787407]
大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。
我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
論文 参考訳（メタデータ） (2022-06-09T15:35:22Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳（メタデータ） (2022-04-21T05:27:09Z) - Multiple Kernel Representation Learning on Networks [12.106994960669924]
ネットワークのノードに関するランダムな歩行に基づく情報を符号化する重み付き行列分解モデルを提案する。
我々は、カーネルの辞書の線形結合としてカーネルを学習する柔軟性を提供する複数のカーネル学習定式化により、アプローチを拡張した。
論文 参考訳（メタデータ） (2021-06-09T13:22:26Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。