論文の概要: Biology-inspired joint distribution neurons based on Hierarchical Correlation Reconstruction allowing for multidirectional neural networks

• arxiv url: http://arxiv.org/abs/2405.05097v2
• Date: Thu, 20 Jun 2024 14:51:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 03:59:12.514251
• Title: Biology-inspired joint distribution neurons based on Hierarchical Correlation Reconstruction allowing for multidirectional neural networks
• Title（参考訳）: 多方向ニューラルネットワークを用いた階層的相関再構成に基づく生体誘発関節分布ニューロン
• Authors: Jarek Duda,
• Abstract要約: 生物学的ニューロンの場合、例えば「作用電位の軸索伝播が両方の方向に起こることは珍しくない」。 このような結合分布ニューロンは、例えば分布や値の)多方向伝播を可能にする。 このようなニューロンモデルに対する階層的相関再構成(HCR)について論じる。
• 参考スコア（独自算出の注目度）: 0.49728186750345144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Popular artificial neural networks (ANN) optimize parameters for unidirectional value propagation, assuming some arbitrary parametrization type like Multi-Layer Perceptron (MLP) or Kolmogorov-Arnold Network (KAN). In contrast, for biological neurons e.g. "it is not uncommon for axonal propagation of action potentials to happen in both directions"~\cite{axon} - suggesting they are optimized to continuously operate in multidirectional way. Additionally, statistical dependencies a single neuron could model is not just (expected) value dependence, but entire joint distributions including also higher moments. Such more agnostic joint distribution neuron would allow for multidirectional propagation (of distributions or values) e.g. $\rho(x|y,z)$ or $\rho(y,z|x)$ by substituting to $\rho(x,y,z)$ and normalizing. There will be discussed Hierarchical Correlation Reconstruction (HCR) for such neuron model: assuming $\rho(x,y,z)=\sum_{ijk} a_{ijk} f_i(x) f_j(y) f_k(z)$ type parametrization of joint distribution in polynomial basis $f_i$, which allows for flexible, inexpensive processing including nonlinearities, direct model estimation and update, trained through standard backpropagation or novel ways for such structure up to tensor decomposition or information bottleneck approach. Using only pairwise (input-output) dependencies, its expected value prediction becomes KAN-like with trained activation functions as polynomials, can be extended by adding higher order dependencies through included products - in conscious interpretable way, allowing for multidirectional propagation of both values and probability densities.
• Abstract（参考訳）: 一般的な人工ニューラルネットワーク(ANN)は、Multi-Layer Perceptron(MLP)やKolmogorov-Arnold Network(KAN)のような任意のパラメトリゼーションタイプを仮定して、一方向の値伝搬のパラメータを最適化する。 対照的に、生物学的ニューロンでは、egは「作用電位の軸索伝播が両方の方向に起こることは珍しくない」 ~\cite{axon} は、多方向的に連続的に動作するように最適化されていることを示唆している。 さらに、単一のニューロンがモデル化できる統計的依存関係は、(予想される)値依存だけでなく、より高いモーメントを含む全関節分布である。 このような非依存的な関節分布ニューロンは、例えば g $\rho(x|y,z)$ または $\rho(y,z|x)$ を $\rho(x,y,z)$ に置換して正規化することで、多方向の伝播(分布や値の)を可能にする。 そのようなニューロンモデルに対する階層的相関再構成(HCR)について論じる: $\rho(x,y,z)=\sum_{ijk} a_{ijk} f_i (x)f_j (y)f_k 非線形性, 直接モデル推定, 更新を含む柔軟で安価な処理を可能にし, 標準バックプロパゲーションや, テンソル分解や情報ボトルネックアプローチに至るまでの新たな手法によって訓練された。 ペアワイズ(インプット・アウトプット)の依存関係のみを用いることで、期待値の予測は、トレーニングされたアクティベーション関数を多項式としてKanに似たものになる。

関連論文リスト

• Stable Minima Cannot Overfit in Univariate ReLU Networks: Generalization by Large Step Sizes [29.466981306355066]
  固定学習率$eta$の勾配降下はスムーズな関数を表す局所最小値しか見つからないことを示す。 また、$n$のデータポイントのサポートの厳密な内部で、$widetildeO(n-4/5)$のほぼ最適MSE境界を証明します。
  論文  参考訳（メタデータ） (2024-06-10T22:57:27Z)
• Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
  単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。 SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
  論文  参考訳（メタデータ） (2024-06-03T17:56:58Z)
• Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
  ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。 本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
  論文  参考訳（メタデータ） (2023-06-26T17:13:31Z)
• Generalization and Stability of Interpolating Neural Networks with Minimal Width [37.908159361149835]
  補間系における勾配によって訓練された浅層ニューラルネットワークの一般化と最適化について検討する。 トレーニング損失数は$m=Omega(log4 (n))$ニューロンとニューロンを最小化する。 m=Omega(log4 (n))$のニューロンと$Tapprox n$で、テスト損失のトレーニングを$tildeO (1/)$に制限します。
  論文  参考訳（メタデータ） (2023-02-18T05:06:15Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Fundamental tradeoffs between memorization and robustness in random features and neural tangent regimes [15.76663241036412]
  モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。 実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
  論文  参考訳（メタデータ） (2021-06-04T17:52:50Z)
• Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
  2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。 過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
  論文  参考訳（メタデータ） (2020-07-09T07:09:28Z)
• Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
  期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
  論文  参考訳（メタデータ） (2020-05-29T07:20:35Z)
• Neural Bayes: A Generic Parameterization Method for Unsupervised Representation Learning [175.34232468746245]
  本稿ではニューラルベイズと呼ばれるパラメータ化手法を提案する。 これは一般に計算が難しい統計量の計算を可能にする。 このパラメータ化のための2つの独立したユースケースを示す。
  論文  参考訳（メタデータ） (2020-02-20T22:28:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。