論文の概要: The Deep Arbitrary Polynomial Chaos Neural Network or how Deep Artificial Neural Networks could benefit from Data-Driven Homogeneous Chaos Theory

• arxiv url: http://arxiv.org/abs/2306.14753v1
• Date: Mon, 26 Jun 2023 15:09:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 13:09:13.619961
• Title: The Deep Arbitrary Polynomial Chaos Neural Network or how Deep Artificial Neural Networks could benefit from Data-Driven Homogeneous Chaos Theory
• Title（参考訳）: 深層任意多項式カオスニューラルネットワーク、あるいは深層ニューラルネットワークがいかにデータ駆動型均質カオス理論の恩恵を受けるか
• Authors: Sergey Oladyshkin, Timothy Praditia, Ilja Kr\"oker, Farid Mohammadi, Wolfgang Nowak, Sebastian Otte
• Abstract要約: Deep Artificial Networks(DANN)に基づくアプローチは、私たちの時代において非常に人気があります。 DANNに基づくディープラーニングアプローチの大部分では、ニューラル信号処理のカーネル構造は同じである。 この課題に対処するために、任意のカオスとして知られるPCE理論をデータ駆動で一般化することを提案する。
• 参考スコア（独自算出の注目度）: 0.44040106718326594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial Intelligence and Machine learning have been widely used in various fields of mathematical computing, physical modeling, computational science, communication science, and stochastic analysis. Approaches based on Deep Artificial Neural Networks (DANN) are very popular in our days. Depending on the learning task, the exact form of DANNs is determined via their multi-layer architecture, activation functions and the so-called loss function. However, for a majority of deep learning approaches based on DANNs, the kernel structure of neural signal processing remains the same, where the node response is encoded as a linear superposition of neural activity, while the non-linearity is triggered by the activation functions. In the current paper, we suggest to analyze the neural signal processing in DANNs from the point of view of homogeneous chaos theory as known from polynomial chaos expansion (PCE). From the PCE perspective, the (linear) response on each node of a DANN could be seen as a $1^{st}$ degree multi-variate polynomial of single neurons from the previous layer, i.e. linear weighted sum of monomials. From this point of view, the conventional DANN structure relies implicitly (but erroneously) on a Gaussian distribution of neural signals. Additionally, this view revels that by design DANNs do not necessarily fulfill any orthogonality or orthonormality condition for a majority of data-driven applications. Therefore, the prevailing handling of neural signals in DANNs could lead to redundant representation as any neural signal could contain some partial information from other neural signals. To tackle that challenge, we suggest to employ the data-driven generalization of PCE theory known as arbitrary polynomial chaos (aPC) to construct a corresponding multi-variate orthonormal representations on each node of a DANN to obtain Deep arbitrary polynomial chaos neural networks.
• Abstract（参考訳）: 人工知能と機械学習は、数学計算、物理モデリング、計算科学、通信科学、確率解析の様々な分野で広く使われている。 深層ニューラルネットワーク(dann)に基づくアプローチは、現代において非常に人気があります。 学習タスクに応じて、DANNの正確な形は、多層アーキテクチャ、アクティベーション関数、いわゆるロス関数によって決定される。 しかし、ダンに基づくほとんどのディープラーニングアプローチでは、ノード応答を神経活動の線形重ね合わせとして符号化する一方、非線形性は活性化関数によって引き起こされる神経信号処理の核構造は同じである。 本稿では, DANNにおけるニューラル信号処理を, 多項式カオス展開(PCE)から知られている同質カオス理論の観点から解析することを提案する。 PCEの観点からは、DANNの各ノード上の(線形)応答は、前の層からの単一ニューロンの1^{st}$次多変量多項式、すなわち単項の線形重み付き和として見ることができる。 この観点からすると、従来のDANN構造は暗黙的に(しかし誤って)神経信号のガウス分布に依存している。 さらに、この見解は、DANNの設計によって、ほとんどのデータ駆動アプリケーションの直交条件や直交条件を必ずしも満たさないことを示している。 したがって、DANNにおける神経信号の処理は、他の神経信号からの一部の情報を含むことができるため、冗長な表現につながる可能性がある。 この課題に取り組むために,任意多項式カオス(apc)として知られるpce理論のデータ駆動一般化を用いて,ダンの各ノードに対応する多変量正規直交表現を構築し,深い任意多項式カオスニューラルネットワークを得る。

関連論文リスト

• A frugal Spiking Neural Network for unsupervised classification of continuous multivariate temporal data [0.0]
  スパイキングニューラルネットワーク(SNN)は神経型であり、進化する膜電位を持つより生物学的に可塑性なニューロンを使用する。 本稿では,連続データにおける多変量時間パターンの完全教師なし識別と分類のために設計されたFragal Single-layer SNNを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T08:15:51Z)
• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• Efficient, probabilistic analysis of combinatorial neural codes [0.0]
  ニューラルネットワークは、個々のニューロンの活動の組み合わせの形で入力を符号化する。 これらのニューラルネットワークは、その高次元性としばしば大量のデータのため、計算上の課題を示す。 従来の手法を小さな例に適用し,実験によって生成された大きなニューラルコードに適用する。
  論文  参考訳（メタデータ） (2022-10-19T11:58:26Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Interpretable Polynomial Neural Ordinary Differential Equations [3.04585143845864]
  本稿では,ニューラルODEフレームワーク内のディープニューラルネットワークであるニューラルODEを紹介する。 我々は、SINDyのような追加ツールを使わずに、トレーニング領域外を予測し、直接的シンボル回帰を行うニューラルODEの能力を実証する。
  論文  参考訳（メタデータ） (2022-08-09T23:23:37Z)
• Nonlocal Kernel Network (NKN): a Stable and Resolution-Independent Deep Neural Network [23.465930256410722]
  非ローカルカーネルネットワーク(NKN)は、ディープニューラルネットワークを特徴とする解像度独立である。 NKNは、支配方程式の学習や画像の分類など、さまざまなタスクを処理できる。
  論文  参考訳（メタデータ） (2022-01-06T19:19:35Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Local Extreme Learning Machines and Domain Decomposition for Solving Linear and Nonlinear Partial Differential Equations [0.0]
  本稿では線形偏微分方程式と非線形偏微分方程式の解法を提案する。 この手法は、極端学習機械(ELM)、ドメイン分解、局所ニューラルネットワークのアイデアを組み合わせたものである。 本稿では,DGM法(Deep Galerkin Method)とPINN(Physical-informed Neural Network)を精度と計算コストの観点から比較する。
  論文  参考訳（メタデータ） (2020-12-04T23:19:39Z)
• Deep Polynomial Neural Networks [77.70761658507507]
  $Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2020-06-20T16:23:32Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。