論文の概要: Backpropagation Neural Tree

• arxiv url: http://arxiv.org/abs/2202.02248v1
• Date: Fri, 4 Feb 2022 17:27:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-07 17:46:32.964225
• Title: Backpropagation Neural Tree
• Title（参考訳）: バックプロパゲーションニューラルツリー
• Authors: Varun Ojha and Giuseppe Nicosia
• Abstract要約: バックプロパゲーションニューラルツリー (BNeuralT) は、計算デンドライトツリーである。 BNeuralTは、葉を通してランダムに繰り返し入力し、内部接続を通して樹状非線形性を課す。 BNeuralTモデルは、ニューラルネットワーク(NN)の最小サブセットと見なすことができる。
• 参考スコア（独自算出の注目度）: 1.000779758350696
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel algorithm called Backpropagation Neural Tree (BNeuralT), which is a stochastic computational dendritic tree. BNeuralT takes random repeated inputs through its leaves and imposes dendritic nonlinearities through its internal connections like a biological dendritic tree would do. Considering the dendritic-tree like plausible biological properties, BNeuralT is a single neuron neural tree model with its internal sub-trees resembling dendritic nonlinearities. BNeuralT algorithm produces an ad hoc neural tree which is trained using a stochastic gradient descent optimizer like gradient descent (GD), momentum GD, Nesterov accelerated GD, Adagrad, RMSprop, or Adam. BNeuralT training has two phases, each computed in a depth-first search manner: the forward pass computes neural tree's output in a post-order traversal, while the error backpropagation during the backward pass is performed recursively in a pre-order traversal. A BNeuralT model can be considered a minimal subset of a neural network (NN), meaning it is a "thinned" NN whose complexity is lower than an ordinary NN. Our algorithm produces high-performing and parsimonious models balancing the complexity with descriptive ability on a wide variety of machine learning problems: classification, regression, and pattern recognition.
• Abstract（参考訳）: 本稿では,確率的計算デンドリティック木であるバックプロパゲーションニューラルツリー(bneuralt)と呼ばれる新しいアルゴリズムを提案する。 BNeuralTは葉を通してランダムに繰り返し入力し、生物の樹状樹のように内部接続を通して樹状非線形性を課す。 bneuraltは樹状樹状細胞のような生物学的特性を考慮すれば、樹状細胞に類似した内部サブツリーを持つ単一の神経木モデルである。 BNeuralTアルゴリズムは、勾配降下(GD)、運動量GD、NesterovAcceled GD、Adagrad、RMSprop、Adamのような確率勾配降下最適化器を用いて訓練されたアドホックニューラルネットワーク木を生成する。 BNeuralTトレーニングには2つのフェーズがあり、それぞれが深度優先の探索方法で計算される:フォワードパスはニューラルツリーの出力をポストオーダートラバーサルで計算し、後方パスのエラーバックプロパゲーションはプレオーダートラバーサルで再帰的に実行される。 ニューラルトモデル(英語: bneuralt model)は、ニューラルネットワーク(nn)の最小部分集合と見なすことができる。 本アルゴリズムは,多種多様な機械学習問題(分類,回帰,パターン認識)において,複雑性と記述能力のバランスをとる,ハイパフォーマンスかつパシモニアスなモデルを生成する。

関連論文リスト

• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• ARTree: A Deep Autoregressive Model for Phylogenetic Inference [6.935130578959931]
  グラフニューラルネットワーク(GNN)に基づく系統推定のための深層自己回帰モデルを提案する。 本研究では,本手法の有効性と効率を,実データツリーのトポロジー密度推定と変分系統推定問題のベンチマークで実証する。
  論文  参考訳（メタデータ） (2023-10-14T10:26:03Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Variational Inference for Infinitely Deep Neural Networks [0.4061135251278187]
  非有界深度ニューラルネットワーク(UDN) 我々は、無限に深い確率モデルである非有界深度ニューラルネットワーク(UDN)を導入し、その複雑さをトレーニングデータに適用する。 我々はUDNを実データと合成データに基づいて研究する。
  論文  参考訳（メタデータ） (2022-09-21T03:54:34Z)
• Why Quantization Improves Generalization: NTK of Binary Weight Neural Networks [33.08636537654596]
  ニューラルネットワークにおける二分重みを、ラウンドリングの下でのランダム変数とみなし、ニューラルネットワークの異なる層上での分布伝搬について検討する。 本研究では,連続パラメータとスムーズなアクティベーション関数を持つニューラルネットワークである分布伝搬を近似する準ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T06:11:21Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• A biologically plausible neural network for local supervision in cortical microcircuits [17.00937011213428]
  我々は、明示的なエラーやバックプロパゲーションを避けるニューラルネットワークを訓練するためのアルゴリズムを導出する。 我々のアルゴリズムは、大脳皮質の接続構造や学習規則に顕著な類似性を持つニューラルネットワークにマップする。
  論文  参考訳（メタデータ） (2020-11-30T17:35:22Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)
• A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
  重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。 これは、トレーニング損失が一定の精度まで線形に収束することを意味する。 また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
  論文  参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。