Fugu-MT 論文翻訳(概要): A Derivation of Feedforward Neural Network Gradients Using Fr\'echet Calculus

論文の概要: A Derivation of Feedforward Neural Network Gradients Using Fr\'echet Calculus

arxiv url: http://arxiv.org/abs/2209.13234v1
Date: Tue, 27 Sep 2022 08:14:00 GMT
ステータス: 処理完了
システム内更新日: 2022-09-28 16:00:13.845085
Title: A Derivation of Feedforward Neural Network Gradients Using Fr\'echet Calculus
Title（参考訳）: Fr'echet計算を用いたフィードフォワードニューラルネットワーク勾配の導出
Authors: Thomas Hamm
Abstract要約: Fr'teche calculus を用いたフィードフォワードニューラルネットワークの勾配の導出を示す。我々の分析が、畳み込みネットワークを含むより一般的なニューラルネットワークアーキテクチャにどのように一般化するかを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present a derivation of the gradients of feedforward neural networks using Fr\'echet calculus which is arguably more compact than the ones usually presented in the literature. We first derive the gradients for ordinary neural networks working on vectorial data and show how these derived formulas can be used to derive a simple and efficient algorithm for calculating a neural networks gradients. Subsequently we show how our analysis generalizes to more general neural network architectures including, but not limited to, convolutional networks.
Abstract（参考訳）: 本稿では,Fr'echet calculus を用いたフィードフォワードニューラルネットワークの勾配の導出について述べる。まず、ベクトルデータを扱う通常のニューラルネットワークの勾配を導出し、これらの公式を用いてニューラルネットワーク勾配を計算するための単純かつ効率的なアルゴリズムを導出する方法を示す。その後、我々の分析が、畳み込みネットワークを含むより一般的なニューラルネットワークアーキテクチャにどのように一般化するかを示す。

関連論文リスト

Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
When Deep Learning Meets Polyhedral Theory: A Survey [6.899761345257773]
過去10年間で、ディープ・ニューラル・ラーニングの顕著な精度のおかげで、ディープは予測モデリングの一般的な方法論となった。一方、ニューラルネットワークの構造はより単純で線形な関数に収束した。
論文参考訳（メタデータ） (2023-04-29T11:46:53Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文参考訳（メタデータ） (2023-01-01T02:11:39Z)
Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。まず,このような正弦波ニューラルネットワークの簡易版を提案する。次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文参考訳（メタデータ） (2022-11-26T07:41:48Z)
Correlation between entropy and generalizability in a neural network [9.223853439465582]
We use Wang-Landau Mote Carlo algorithm to compute the entropy at a specified test accuracy。この結果から,エントロピック力は一般化に有効であることが示唆された。
論文参考訳（メタデータ） (2022-07-05T12:28:13Z)
Generalization Error Bounds for Iterative Recovery Algorithms Unfolded as Neural Networks [6.173968909465726]
線形測定の少ないスパース再構成に適したニューラルネットワークの一般クラスを導入する。層間の重量共有を広範囲に行うことで、全く異なるニューラルネットワークタイプに対する統一的な分析を可能にします。
論文参考訳（メタデータ） (2021-12-08T16:17:33Z)
Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文参考訳（メタデータ） (2021-10-12T01:11:07Z)
Expressivity of Deep Neural Networks [2.7909470193274593]
本稿では,ニューラルネットワークの様々な近似結果について概説する。既存の結果は、一般的なフィードフォワードアーキテクチャのためのものだが、畳み込み、残留、反復するニューラルネットワークの近似結果も記述する。
論文参考訳（メタデータ） (2020-07-09T13:08:01Z)
RicciNets: Curvature-guided Pruning of High-performance Neural Networks Using Ricci Flow [0.0]
計算グラフをニューラルネットワークにマッピングする前に、Ricci曲率の定義を用いて、重要度の低いエッジを除去する。 1パスあたりの浮動小数点演算数(FLOP)が約35%削減されるが、性能は低下しない。
論文参考訳（メタデータ） (2020-07-08T15:56:02Z)
Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。