論文の概要: The Deep Arbitrary Polynomial Chaos Neural Network or how Deep
Artificial Neural Networks could benefit from Data-Driven Homogeneous Chaos
Theory
- arxiv url: http://arxiv.org/abs/2306.14753v1
- Date: Mon, 26 Jun 2023 15:09:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 13:09:13.619961
- Title: The Deep Arbitrary Polynomial Chaos Neural Network or how Deep
Artificial Neural Networks could benefit from Data-Driven Homogeneous Chaos
Theory
- Title(参考訳): 深層任意多項式カオスニューラルネットワーク、あるいは深層ニューラルネットワークがいかにデータ駆動型均質カオス理論の恩恵を受けるか
- Authors: Sergey Oladyshkin, Timothy Praditia, Ilja Kr\"oker, Farid Mohammadi,
Wolfgang Nowak, Sebastian Otte
- Abstract要約: Deep Artificial Networks(DANN)に基づくアプローチは、私たちの時代において非常に人気があります。
DANNに基づくディープラーニングアプローチの大部分では、ニューラル信号処理のカーネル構造は同じである。
この課題に対処するために、任意のカオスとして知られるPCE理論をデータ駆動で一般化することを提案する。
- 参考スコア(独自算出の注目度): 0.44040106718326594
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial Intelligence and Machine learning have been widely used in various
fields of mathematical computing, physical modeling, computational science,
communication science, and stochastic analysis. Approaches based on Deep
Artificial Neural Networks (DANN) are very popular in our days. Depending on
the learning task, the exact form of DANNs is determined via their multi-layer
architecture, activation functions and the so-called loss function. However,
for a majority of deep learning approaches based on DANNs, the kernel structure
of neural signal processing remains the same, where the node response is
encoded as a linear superposition of neural activity, while the non-linearity
is triggered by the activation functions. In the current paper, we suggest to
analyze the neural signal processing in DANNs from the point of view of
homogeneous chaos theory as known from polynomial chaos expansion (PCE). From
the PCE perspective, the (linear) response on each node of a DANN could be seen
as a $1^{st}$ degree multi-variate polynomial of single neurons from the
previous layer, i.e. linear weighted sum of monomials. From this point of view,
the conventional DANN structure relies implicitly (but erroneously) on a
Gaussian distribution of neural signals. Additionally, this view revels that by
design DANNs do not necessarily fulfill any orthogonality or orthonormality
condition for a majority of data-driven applications. Therefore, the prevailing
handling of neural signals in DANNs could lead to redundant representation as
any neural signal could contain some partial information from other neural
signals. To tackle that challenge, we suggest to employ the data-driven
generalization of PCE theory known as arbitrary polynomial chaos (aPC) to
construct a corresponding multi-variate orthonormal representations on each
node of a DANN to obtain Deep arbitrary polynomial chaos neural networks.
- Abstract(参考訳): 人工知能と機械学習は、数学計算、物理モデリング、計算科学、通信科学、確率解析の様々な分野で広く使われている。
深層ニューラルネットワーク(dann)に基づくアプローチは、現代において非常に人気があります。
学習タスクに応じて、DANNの正確な形は、多層アーキテクチャ、アクティベーション関数、いわゆるロス関数によって決定される。
しかし、ダンに基づくほとんどのディープラーニングアプローチでは、ノード応答を神経活動の線形重ね合わせとして符号化する一方、非線形性は活性化関数によって引き起こされる神経信号処理の核構造は同じである。
本稿では, DANNにおけるニューラル信号処理を, 多項式カオス展開(PCE)から知られている同質カオス理論の観点から解析することを提案する。
PCEの観点からは、DANNの各ノード上の(線形)応答は、前の層からの単一ニューロンの1^{st}$次多変量多項式、すなわち単項の線形重み付き和として見ることができる。
この観点からすると、従来のDANN構造は暗黙的に(しかし誤って)神経信号のガウス分布に依存している。
さらに、この見解は、DANNの設計によって、ほとんどのデータ駆動アプリケーションの直交条件や直交条件を必ずしも満たさないことを示している。
したがって、DANNにおける神経信号の処理は、他の神経信号からの一部の情報を含むことができるため、冗長な表現につながる可能性がある。
この課題に取り組むために,任意多項式カオス(apc)として知られるpce理論のデータ駆動一般化を用いて,ダンの各ノードに対応する多変量正規直交表現を構築し,深い任意多項式カオスニューラルネットワークを得る。
関連論文リスト
- Efficient, probabilistic analysis of combinatorial neural codes [0.0]
ニューラルネットワークは、個々のニューロンの活動の組み合わせの形で入力を符号化する。
これらのニューラルネットワークは、その高次元性としばしば大量のデータのため、計算上の課題を示す。
従来の手法を小さな例に適用し,実験によって生成された大きなニューラルコードに適用する。
論文 参考訳(メタデータ) (2022-10-19T11:58:26Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳(メタデータ) (2022-09-16T06:36:06Z) - Interpretable Polynomial Neural Ordinary Differential Equations [3.04585143845864]
本稿では,ニューラルODEフレームワーク内のディープニューラルネットワークであるニューラルODEを紹介する。
我々は、SINDyのような追加ツールを使わずに、トレーニング領域外を予測し、直接的シンボル回帰を行うニューラルODEの能力を実証する。
論文 参考訳(メタデータ) (2022-08-09T23:23:37Z) - Nonlocal Kernel Network (NKN): a Stable and Resolution-Independent Deep
Neural Network [23.465930256410722]
非ローカルカーネルネットワーク(NKN)は、ディープニューラルネットワークを特徴とする解像度独立である。
NKNは、支配方程式の学習や画像の分類など、さまざまなタスクを処理できる。
論文 参考訳(メタデータ) (2022-01-06T19:19:35Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳(メタデータ) (2021-07-31T10:25:26Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳(メタデータ) (2021-06-07T10:18:54Z) - Local Extreme Learning Machines and Domain Decomposition for Solving
Linear and Nonlinear Partial Differential Equations [0.0]
本稿では線形偏微分方程式と非線形偏微分方程式の解法を提案する。
この手法は、極端学習機械(ELM)、ドメイン分解、局所ニューラルネットワークのアイデアを組み合わせたものである。
本稿では,DGM法(Deep Galerkin Method)とPINN(Physical-informed Neural Network)を精度と計算コストの観点から比較する。
論文 参考訳(メタデータ) (2020-12-04T23:19:39Z) - Locality Guided Neural Networks for Explainable Artificial Intelligence [12.435539489388708]
LGNN(Locality Guided Neural Network)と呼ばれる,バック伝搬のための新しいアルゴリズムを提案する。
LGNNはディープネットワークの各層内の隣接ニューロン間の局所性を保っている。
実験では,CIFAR100 上の画像分類のための様々な VGG と Wide ResNet (WRN) ネットワークを訓練した。
論文 参考訳(メタデータ) (2020-07-12T23:45:51Z) - Deep Polynomial Neural Networks [77.70761658507507]
$Pi$Netsは拡張に基づいた関数近似の新しいクラスである。
$Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
論文 参考訳(メタデータ) (2020-06-20T16:23:32Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。