論文の概要: Learning with convolution and pooling operations in kernel methods
- arxiv url: http://arxiv.org/abs/2111.08308v1
- Date: Tue, 16 Nov 2021 09:00:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-17 13:46:05.478276
- Title: Learning with convolution and pooling operations in kernel methods
- Title（参考訳）: カーネル法における畳み込みとプール操作による学習
- Authors: Theodor Misiakiewicz, Song Mei
- Abstract要約: 近年の実証研究により、階層的畳み込みカーネルは、画像分類タスクにおけるカーネルメソッドの性能を向上させることが示されている。
畳み込みアーキテクチャにおける近似と一般化の正確な相互作用について検討する。
この結果から,対象関数に適応したアーキテクチャの選択が,サンプルの複雑性を大幅に向上させることを示す。
- 参考スコア（独自算出の注目度）: 8.528384027684192
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent empirical work has shown that hierarchical convolutional kernels
inspired by convolutional neural networks (CNNs) significantly improve the
performance of kernel methods in image classification tasks. A widely accepted
explanation for the success of these architectures is that they encode
hypothesis classes that are suitable for natural images. However, understanding
the precise interplay between approximation and generalization in convolutional
architectures remains a challenge. In this paper, we consider the stylized
setting of covariates (image pixels) uniformly distributed on the hypercube,
and fully characterize the RKHS of kernels composed of single layers of
convolution, pooling, and downsampling operations. We then study the gain in
sample efficiency of kernel methods using these kernels over standard
inner-product kernels. In particular, we show that 1) the convolution layer
breaks the curse of dimensionality by restricting the RKHS to `local'
functions; 2) local pooling biases learning towards low-frequency functions,
which are stable by small translations; 3) downsampling may modify the
high-frequency eigenspaces but leaves the low-frequency part approximately
unchanged. Notably, our results quantify how choosing an architecture adapted
to the target function leads to a large improvement in the sample complexity.
- Abstract（参考訳）: 最近の実証研究は、画像分類タスクにおいて、畳み込みニューラルネットワーク(CNN)にインスパイアされた階層的畳み込みカーネルは、カーネルメソッドのパフォーマンスを著しく向上させることを示した。
これらのアーキテクチャの成功に対する広く受け入れられている説明は、自然画像に適した仮説クラスを符号化しているということである。
しかし、畳み込みアーキテクチャにおける近似と一般化の正確な相互作用を理解することは依然として困難である。
本稿では,ハイパーキューブ上に均一に分布する共変量(画像画素)のスタイリング設定を検討し,コンボリューション,プーリング,ダウンサンプリングの単一層からなるカーネルのRKHSを完全に特徴付ける。
次に, 標準内積カーネルに対するこれらのカーネルを用いたカーネルメソッドのサンプル効率の利得について検討した。
特に私たちが示すのは
1) 畳み込み層は,RKHSを「ローカル」機能に制限することにより,次元性の呪いを破る。
2) 局所プールバイアスは,小さな翻訳によって安定する低周波関数に対して学習する。
3) ダウンサンプリングは高周波固有空間を変化させるが、低周波部はほぼ変化しない。
特に,対象関数に適合するアーキテクチャを選択することで,サンプル複雑性が大幅に向上することを示す。
関連論文リスト
- LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。
本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。
LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
論文 参考訳（メタデータ） (2024-07-13T16:09:45Z) - Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。
我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。
局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
論文 参考訳（メタデータ） (2024-02-26T18:59:31Z) - Padding-free Convolution based on Preservation of Differential
Characteristics of Kernels [1.3597551064547502]
本稿では,カーネルの差分特性の保存に基づくサイズ保持畳み込み法を提案する。
主なアイデアは、不完全なスライドウィンドウ上の畳み込みを、その中心画素で局所的に評価された線形微分作用素に"崩壊"させることである。
論文 参考訳（メタデータ） (2023-09-12T16:36:12Z) - Mechanism of feature learning in convolutional neural networks [14.612673151889615]
我々は、畳み込みニューラルネットワークが画像データからどのように学習するかのメカニズムを特定する。
我々は,フィルタの共分散とパッチベースAGOPの相関関係の同定を含む,アンザッツの実証的証拠を提示する。
次に、パッチベースのAGOPを用いて、畳み込みカーネルマシンの深い特徴学習を可能にすることにより、結果の汎用性を実証する。
論文 参考訳（メタデータ） (2023-09-01T16:30:02Z) - Rank-Enhanced Low-Dimensional Convolution Set for Hyperspectral Image
Denoising [50.039949798156826]
本稿では,ハイパースペクトル(HS)画像の難解化問題に対処する。
ランク付き低次元畳み込み集合(Re-ConvSet)を提案する。
次に、Re-ConvSetを広く使われているU-Netアーキテクチャに組み込んで、HS画像復号法を構築する。
論文 参考訳（メタデータ） (2022-07-09T13:35:12Z) - Learning "best" kernels from data in Gaussian process regression. With
application to aerodynamics [0.4588028371034406]
本稿では,ガウス過程の回帰/クリギングサロゲートモデリング手法におけるカーネルの選択/設計アルゴリズムを紹介する。
アルゴリズムの最初のクラスはカーネルフローであり、機械学習の分類の文脈で導入された。
アルゴリズムの第2のクラスはスペクトル核リッジ回帰と呼ばれ、近似される関数のノルムが最小となるような「最良の」カーネルを選択することを目的としている。
論文 参考訳（メタデータ） (2022-06-03T07:50:54Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳（メタデータ） (2022-04-21T05:27:09Z) - Learning strides in convolutional neural networks [34.20666933112202]
この研究は、学習可能なステップを持つ最初のダウンサンプリング層であるDiffStrideを紹介している。
音声と画像の分類実験は,ソリューションの汎用性と有効性を示す。
論文 参考訳（メタデータ） (2022-02-03T16:03:36Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Flow-based Kernel Prior with Application to Blind Super-Resolution [143.21527713002354]
カーネル推定は一般にブラインド画像超解像(SR)の鍵となる問題の一つである
本稿では,カーネルモデリングのための正規化フローベースカーネルプリレント(fkp)を提案する。
合成および実世界の画像の実験により、提案したFKPがカーネル推定精度を大幅に向上することを示した。
論文 参考訳（メタデータ） (2021-03-29T22:37:06Z) - On Approximation in Deep Convolutional Networks: a Kernel Perspective [12.284934135116515]
画像や音声などの高次元データを含むタスクにおける深層畳み込みネットワークの成功について検討する。
多層畳み込み核を検討し、カーネル方式のレンズを通して理論的・実証的に検討する。
入力パッチで動作する表現型カーネルは第1層では重要であるが、より単純なカーネルは高い層で十分性能を保ち得る。
論文 参考訳（メタデータ） (2021-02-19T17:03:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。