論文の概要: Mehler's Formula, Branching Process, and Compositional Kernels of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2004.04767v2
• Date: Mon, 28 Sep 2020 17:29:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 02:26:39.843384
• Title: Mehler's Formula, Branching Process, and Compositional Kernels of Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークにおけるメフラーの公式, 分岐過程, 構成核
• Authors: Tengyuan Liang and Hai Tran-Bach
• Abstract要約: 我々は、Mehlerの公式による合成カーネルと分岐プロセスの接続を利用して、ディープニューラルネットワークを研究する。 構成核の非スケールおよび再スケール限界について検討し、制限挙動の異なる位相を探索する。 合成カーネルの固有値に関する明示的な公式が提供され、対応するカーネルヒルベルト空間の複雑さを定量化する。
• 参考スコア（独自算出の注目度）: 3.167685495996986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We utilize a connection between compositional kernels and branching processes via Mehler's formula to study deep neural networks. This new probabilistic insight provides us a novel perspective on the mathematical role of activation functions in compositional neural networks. We study the unscaled and rescaled limits of the compositional kernels and explore the different phases of the limiting behavior, as the compositional depth increases. We investigate the memorization capacity of the compositional kernels and neural networks by characterizing the interplay among compositional depth, sample size, dimensionality, and non-linearity of the activation. Explicit formulas on the eigenvalues of the compositional kernel are provided, which quantify the complexity of the corresponding reproducing kernel Hilbert space. On the methodological front, we propose a new random features algorithm, which compresses the compositional layers by devising a new activation function.
• Abstract（参考訳）: 本研究では,構成核と分岐過程の関係をmehlerの公式を用いて深層ニューラルネットワークの研究に活用する。 この新しい確率的洞察は、合成ニューラルネットワークにおける活性化関数の数学的役割に関する新しい視点を与える。 組成核の非スケールおよび再スケール限界を研究し,組成深度が増加するにつれて制限挙動の異なる相を探索する。 本研究では, 合成深度, サンプルサイズ, 寸法, 非直線性の相互作用を特徴付けることで, 合成カーネルとニューラルネットワークの記憶能力について検討する。 合成核の固有値に関する明示的な公式を提供し、対応する再生核ヒルベルト空間の複雑性を定量化する。 提案手法では,新しいアクティベーション関数を考案し,構成層を圧縮するランダム特徴量アルゴリズムを提案する。

関連論文リスト

• Emergence of Globally Attracting Fixed Points in Deep Neural Networks With Nonlinear Activations [24.052411316664017]
  本稿では、2つの異なる入力に対して隠された表現の類似性を計測するカーネルシーケンスの進化に関する理論的枠組みを提案する。 非線形アクティベーションに対しては、カーネルシーケンスは、アクティベーションとネットワークアーキテクチャに依存する同様の表現に対応可能な、一意の固定点にグローバルに収束する。 この研究は、ディープニューラルネットワークの暗黙のバイアスと、アーキテクチャ上の選択が層間の表現の進化にどのように影響するかについて、新たな洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-26T07:10:47Z)
• Spectral complexity of deep neural networks [2.099922236065961]
  我々は,ネットワークアーキテクチャの複雑さを特徴付けるために,制限場の角パワースペクトルを用いる。 そこで我々は,ニューラルネットワークを低次,スパース,高次と分類する。 本稿では,この分類が標準アクティベーション関数の様々な特徴,特にReLUネットワークの空間特性を如何に強調するかを示す。
  論文  参考訳（メタデータ） (2024-05-15T17:55:05Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Structure Embedded Nucleus Classification for Histopathology Images [51.02953253067348]
  ほとんどのニューラルネットワークに基づく手法は、局所的な畳み込みの受容領域に影響を受けている。 本稿では,核輪郭を順にサンプリングした点列に変換する新しい多角構造特徴学習機構を提案する。 次に、核をノードとするグラフ構造に組織像を変換し、その表現に核の空間分布を埋め込むグラフニューラルネットワークを構築する。
  論文  参考訳（メタデータ） (2023-02-22T14:52:06Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Credit Assignment for Trained Neural Networks Based on Koopman Operator Theory [3.130109807128472]
  ニューラルネットワークのクレジット割り当て問題は、最終的な出力に対する各ネットワークコンポーネントのクレジットを評価することを指す。 本稿では,ニューラルネットワークの信頼割当問題に対する線形力学の代替的視点について述べる。 典型的なニューラルネットワークを用いた実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-12-02T06:34:27Z)
• Graph Convolutional Networks from the Perspective of Sheaves and the Neural Tangent Kernel [0.0]
  グラフ畳み込みネットワークはディープニューラルネットワークアルゴリズムの一般的なクラスである。 その成功にもかかわらず、グラフ畳み込みネットワークには、過度に滑らかな関数やホモ親近性関数の学習へのバイアスなど、多くの特異な特徴がある。 せん断畳み込みネットワークのニューラル・タンジェント・カーネルの研究により,このギャップを埋めることを提案する。
  論文  参考訳（メタデータ） (2022-08-19T12:46:49Z)
• On the Spectral Bias of Convolutional Neural Tangent and Gaussian Process Kernels [24.99551134153653]
  本稿では,それぞれのガウス過程と接する神経核を用いて,過度にパラメータ化された畳み込みニューラルアーキテクチャの特性について検討する。 固有値が階層的に減衰し、崩壊率を定量化し、これらのネットワークにおける階層的特徴の構成を反映する測度を導出することを示す。
  論文  参考訳（メタデータ） (2022-03-17T11:23:18Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Neural Splines: Fitting 3D Surfaces with Infinitely-Wide Neural Networks [61.07202852469595]
  本稿では,無限幅浅部ReLUネットワークから生じるランダムな特徴カーネルをベースとした3次元表面再構成手法であるNeural Splinesを提案する。 提案手法は,最近のニューラルネットワーク技術より優れ,ポアソン表面再構成に広く用いられている。
  論文  参考訳（メタデータ） (2020-06-24T14:54:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。