論文の概要: On the Spectral Bias of Convolutional Neural Tangent and Gaussian Process Kernels

• arxiv url: http://arxiv.org/abs/2203.09255v1
• Date: Thu, 17 Mar 2022 11:23:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-18 13:14:59.135478
• Title: On the Spectral Bias of Convolutional Neural Tangent and Gaussian Process Kernels
• Title（参考訳）: 畳み込みニューラルタンジェントとガウス過程カーネルのスペクトルバイアスについて
• Authors: Amnon Geifman, Meirav Galun, David Jacobs, Ronen Basri
• Abstract要約: 本稿では,それぞれのガウス過程と接する神経核を用いて,過度にパラメータ化された畳み込みニューラルアーキテクチャの特性について検討する。 固有値が階層的に減衰し、崩壊率を定量化し、これらのネットワークにおける階層的特徴の構成を反映する測度を導出することを示す。
• 参考スコア（独自算出の注目度）: 24.99551134153653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the properties of various over-parametrized convolutional neural architectures through their respective Gaussian process and neural tangent kernels. We prove that, with normalized multi-channel input and ReLU activation, the eigenfunctions of these kernels with the uniform measure are formed by products of spherical harmonics, defined over the channels of the different pixels. We next use hierarchical factorizable kernels to bound their respective eigenvalues. We show that the eigenvalues decay polynomially, quantify the rate of decay, and derive measures that reflect the composition of hierarchical features in these networks. Our results provide concrete quantitative characterization of over-parameterized convolutional network architectures.
• Abstract（参考訳）: 種々の重畳型畳み込みニューラルネットワークの特性について,ガウス過程と神経接核を用いて検討した。 正規化されたマルチチャネル入力とReLUアクティベーションにより、均一な測度を持つこれらのカーネルの固有関数は、異なる画素のチャネル上で定義された球面調和の積によって形成される。 次に、階層的分解可能なカーネルを用いてそれぞれの固有値を有界化する。 固有値は多項式的に崩壊し、減衰率を定量化し、これらのネットワークにおける階層的特徴の合成を反映した導出測度を示す。 本稿では,超パラメータ畳み込みネットワークアーキテクチャを定量的に評価する。

関連論文リスト

• Spectral complexity of deep neural networks [2.099922236065961]
  我々は,ネットワークアーキテクチャの複雑さを特徴付けるために,制限場の角パワースペクトルを用いる。 そこで我々は,ニューラルネットワークを低次,スパース,高次と分類する。 本稿では,この分類が標準アクティベーション関数の様々な特徴,特にReLUネットワークの空間特性を如何に強調するかを示す。
  論文  参考訳（メタデータ） (2024-05-15T17:55:05Z)
• Improving Expressive Power of Spectral Graph Neural Networks with Eigenvalue Correction [55.57072563835959]
  スペクトルグラフニューラルネットワークはフィルタによって特徴づけられる。 本稿では,繰り返し入力される固有値の制約からフィルタを解放する固有値補正手法を提案する。
  論文  参考訳（メタデータ） (2024-01-28T08:12:00Z)
• A theory of data variability in Neural Network Bayesian inference [0.70224924046445]
  無限広ネットワークの一般化特性をカバーする場理論形式論を提供する。 入力の統計的性質から一般化特性を導出する。 データ可変性は、(varphi3+varphi4$)-理論を思い起こさせる非ガウス的作用をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-07-31T14:11:32Z)
• Deterministic equivalent of the Conjugate Kernel matrix associated to Artificial Neural Networks [0.0]
  共役核の実験的スペクトル分布は決定論的極限に収束することを示す。 より正確には、次元とスペクトルパラメータの両方を含む定量的境界を持つスティルチェス変換とその分解剤の決定論的等価値を得る。
  論文  参考訳（メタデータ） (2023-06-09T12:31:59Z)
• Spectral Complexity-scaled Generalization Bound of Complex-valued Neural Networks [78.64167379726163]
  本論文は,複素数値ニューラルネットワークの一般化を証明した最初の論文である。 複雑な値の畳み込みニューラルネットワークを異なるデータセット上でトレーニングして実験を行う。
  論文  参考訳（メタデータ） (2021-12-07T03:25:25Z)
• A deep learning driven pseudospectral PCE based FFT homogenization algorithm for complex microstructures [68.8204255655161]
  提案手法は,従来の手法よりも高速に評価できる一方で,興味の中心モーメントを予測できることを示す。 提案手法は,従来の手法よりも高速に評価できると同時に,興味の中心モーメントを予測できることを示す。
  論文  参考訳（メタデータ） (2021-10-26T07:02:14Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Mehler's Formula, Branching Process, and Compositional Kernels of Deep Neural Networks [3.167685495996986]
  我々は、Mehlerの公式による合成カーネルと分岐プロセスの接続を利用して、ディープニューラルネットワークを研究する。 構成核の非スケールおよび再スケール限界について検討し、制限挙動の異なる位相を探索する。 合成カーネルの固有値に関する明示的な公式が提供され、対応するカーネルヒルベルト空間の複雑さを定量化する。
  論文  参考訳（メタデータ） (2020-04-09T18:46:13Z)
• Spectrum Dependent Learning Curves in Kernel Regression and Wide Neural Networks [17.188280334580195]
  トレーニングサンプル数の関数として,カーネル回帰の一般化性能に関する解析式を導出する。 我々の表現は、トレーニングとニューラルカーネル・タンジェント(NTK)によるカーネル回帰の等価性により、広いニューラルネットワークに適用される。 我々は、合成データとMNISTデータセットのシミュレーションを用いて、我々の理論を検証する。
  論文  参考訳（メタデータ） (2020-02-07T00:03:40Z)
• Understanding Graph Neural Networks with Generalized Geometric Scattering Transforms [67.88675386638043]
  散乱変換は、畳み込みニューラルネットワークのモデルとして機能する多層ウェーブレットベースのディープラーニングアーキテクチャである。 非対称ウェーブレットの非常に一般的なクラスに基づくグラフに対して、窓付きおよび非窓付き幾何散乱変換を導入する。 これらの非対称グラフ散乱変換は、対称グラフ散乱変換と多くの理論的保証を持つことを示す。
  論文  参考訳（メタデータ） (2019-11-14T17:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。