論文の概要: Central and Non-central Limit Theorems arising from the Scattering Transform and its Neural Activation Generalization

• arxiv url: http://arxiv.org/abs/2011.10801v1
• Date: Sat, 21 Nov 2020 14:31:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 23:15:40.540797
• Title: Central and Non-central Limit Theorems arising from the Scattering Transform and its Neural Activation Generalization
• Title（参考訳）: 散乱変換による中心的・非中央的極限理論とその神経活動一般化
• Authors: Gi-Ren Liu, Yuan-Chung Sheu, Hau-Tieng Wu
• Abstract要約: ニューラルアクティベーションST(NAST)と呼ばれる広いニューラルアクティベーション関数を含む散乱変換(ST)の一般化について検討する。 ここでは、非線形関数は入力信号によってニューロンが励起される方法をモデル化する。 その結果、NASTプロセスが複雑で定常でない時系列をどう処理するかを説明し、非ヌルケース下でのNASTに基づく統計的推測への道を開いた。
• 参考スコア（独自算出の注目度）: 4.125187280299247
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Motivated by analyzing complicated and non-stationary time series, we study a generalization of the scattering transform (ST) that includes broad neural activation functions, which is called neural activation ST (NAST). On the whole, NAST is a transform that comprises a sequence of ``neural processing units'', each of which applies a high pass filter to the input from the previous layer followed by a composition with a nonlinear function as the output to the next neuron. Here, the nonlinear function models how a neuron gets excited by the input signal. In addition to showing properties like non-expansion, horizontal translational invariability and insensitivity to local deformation, the statistical properties of the second order NAST of a Gaussian process with various dependence and (non-)stationarity structure and its interaction with the chosen high pass filters and activation functions are explored and central limit theorem (CLT) and non-CLT results are provided. Numerical simulations are also provided. The results explain how NAST processes complicated and non-stationary time series, and pave a way towards statistical inference based on NAST under the non-null case.
• Abstract（参考訳）: 複雑で非定常な時系列の解析に動機づけられ、幅広い神経活性化関数を含む散乱変換(st)の一般化、いわゆるニューラルアクティベーションst(nast)の研究を行った。 全体として、nastは‘ニューラルプロセッシングユニット’のシーケンスからなる変換であり、それぞれが前層からの入力にハイパスフィルタを適用し、次に次のニューロンへの出力として非線形関数を持つ合成を行う。 ここで、非線形関数は入力信号によってニューロンが励起される方法をモデル化する。 非膨張性、水平変換不変性、局所変形に対する感度などの特性を示すことに加え、ガウス過程の第2次NASTの統計的性質と(非)定常構造、選択されたハイパスフィルタと活性化関数との相互作用を探索し、中央極限定理(CLT)および非CLT結果を提供する。 数値シミュレーションも提供されている。 その結果,nastプロセスが複雑で非定常な時系列を扱い,非nullの場合のnastに基づく統計的推論への道筋が開けた。

関連論文リスト

• Spectral Convolutional Conditional Neural Processes [4.52069311861025]
  条件付きニューラルプロセス(CNP)は、プロセスのパラメータ化にニューラルネットワークの柔軟性を利用する確率モデルの一群である。 本稿では、周波数領域における関数のより効率的な表現を可能にするNPsファミリーに新たに追加されたスペクトル畳み込み条件ニューラルネットワーク(SConvCNPs)を提案する。
  論文  参考訳（メタデータ） (2024-04-19T21:13:18Z)
• Variational Sampling of Temporal Trajectories [39.22854981703244]
  遷移関数 $f$ を関数空間の要素として明示的にパラメータ化することにより、軌道の分布を学習する機構を導入する。 我々のフレームワークは、新しい軌道の効率的な合成を可能にすると同時に、推論に便利なツールを直接提供します。
  論文  参考訳（メタデータ） (2024-03-18T02:12:12Z)
• Non Commutative Convolutional Signal Models in Neural Networks: Stability to Small Deformations [111.27636893711055]
  非可換畳み込みフィルタのフィルタ特性と安定性について検討する。 この結果は,グループニューラルネットワーク,マルチグラフニューラルネットワーク,四元系ニューラルネットワークに直接影響する。
  論文  参考訳（メタデータ） (2023-10-05T20:27:22Z)
• MP-GELU Bayesian Neural Networks: Moment Propagation by GELU Nonlinearity [0.0]
  本稿では,BNNにおける第1モーメントと第2モーメントの高速な導出を可能にする,モーメント伝搬・ガウス誤差線形単位(MP-GELU)という非線形関数を提案する。 MP-GELUは、ReLUベースのBNNよりも高速な実行で予測精度が高く、不確実性の品質も向上する。
  論文  参考訳（メタデータ） (2022-11-24T03:37:29Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• Uncertainty Propagation in Convolutional Neural Networks: Technical Report [13.224071661974593]
  畳み込みニューラルネットワーク(CNN)の典型的な構成ブロックによる不確実性の伝播問題について検討する。 これには線形演算を行うレイヤや、Rectified Linear Unit (ReLU)のような入力に対して非線形に作用するレイヤが含まれる。
  論文  参考訳（メタデータ） (2021-02-11T15:17:46Z)
• Probabilistic Numeric Convolutional Neural Networks [80.42120128330411]
  画像や時系列などの連続的な入力信号は、不規則にサンプリングされたり、値が欠けていたりすることは、既存のディープラーニング手法では困難である。 ガウス過程(GP)として特徴を表す確率的畳み込みニューラルネットワークを提案する。 次に、畳み込み層を、このGP上で定義されたPDEの進化として定義し、次いで非線形性とする。 実験では,SuperPixel-MNISTデータセットの先行技術と医療時間2012データセットの競合性能から,提案手法の誤差を3倍に削減できることが示されている。
  論文  参考訳（メタデータ） (2020-10-21T10:08:21Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。