論文の概要: A comparative study of back propagation and its alternatives on multilayer perceptrons

• arxiv url: http://arxiv.org/abs/2206.06098v1
• Date: Tue, 31 May 2022 18:44:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-20 00:56:09.235330
• Title: A comparative study of back propagation and its alternatives on multilayer perceptrons
• Title（参考訳）: 多層パーセプトロンにおけるバック伝播とその代替法の比較研究
• Authors: John Waldo
• Abstract要約: フィードフォワードニューラルネットワークのバックパスをトレーニングするデファクトアルゴリズムはバックプロパゲーション(BP)である ほぼすべての異なるアクティベーション関数を使用することで、ディープニューラルネットワークの層を通して勾配を後方に伝播させるのが効率的かつ効果的になった。 本稿では、畳み込みニューラルネットワーク(CNN)における予測とニューロンの安定性と類似性を解析し、その1つのアルゴリズムの新たなバリエーションを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The de facto algorithm for training the back pass of a feedforward neural network is backpropagation (BP). The use of almost-everywhere differentiable activation functions made it efficient and effective to propagate the gradient backwards through layers of deep neural networks. However, in recent years, there has been much research in alternatives to backpropagation. This analysis has largely focused on reaching state-of-the-art accuracy in multilayer perceptrons (MLPs) and convolutional neural networks (CNNs). In this paper, we analyze the stability and similarity of predictions and neurons in MLPs and propose a new variation of one of the algorithms.
• Abstract（参考訳）: フィードフォワードニューラルネットワークのバックパスをトレーニングするためのデファクトアルゴリズムはバックプロパゲーション(bp)である。 ほぼすべての可微分アクティベーション関数を使用することで、ディープニューラルネットワークの層を通して逆向きに勾配を伝播させることが効率的かつ効果的になった。 しかし、近年はバックプロパゲーションの代替として多くの研究がなされている。 この分析は多層パーセプトロン(mlps)と畳み込みニューラルネットワーク(cnns)の最先端の精度に重点を置いている。 本稿では,MLPにおける予測とニューロンの安定性と類似性を解析し,アルゴリズムの新たなバリエーションを提案する。

関連論文リスト

• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Low-Variance Forward Gradients using Direct Feedback Alignment and Momentum [0.0]
  本稿では,アクティビティ・パータード・フォワード・グラディエントと直接フィードバックアライメントとモーメントを組み合わせたアルゴリズムを提案する。 我々のアプローチは、バックプロパゲーションの他のローカル代替手段と比較して、より高速な収束と性能の向上を可能にします。
  論文  参考訳（メタデータ） (2022-12-14T15:30:56Z)
• Including STDP to eligibility propagation in multi-layer recurrent spiking neural networks [0.0]
  ニューロモルフィックシステムにおけるスパイクニューラルネットワーク(SNN)は、ディープラーニングベースの手法よりもエネルギー効率が高い。 このようなSNNを訓練するための明確な競合学習アルゴリズムは存在しない。 E-propは、低消費電力のニューロモルフィックハードウェアで競合する再帰性SNNを訓練する、効率的で生物学的に妥当な方法を提供する。
  論文  参考訳（メタデータ） (2022-01-05T05:51:18Z)
• Target Propagation via Regularized Inversion [4.289574109162585]
  本稿では,ネットワークレイヤの正規化インバージョンに基づくターゲット伝搬の簡易バージョンを提案する。 我々のTPは、様々なシーケンスモデリング問題において、長いシーケンスでリカレントニューラルネットワークのトレーニングにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2021-12-02T17:49:25Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Analytically Tractable Inference in Deep Neural Networks [0.0]
  Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。 従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
  論文  参考訳（メタデータ） (2021-03-09T14:51:34Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
  検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。 また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-04-17T20:21:47Z)
• Semi-Implicit Back Propagation [1.5533842336139065]
  ニューラルネットワークトレーニングのための半単純バック伝搬法を提案する。 ニューロンの差は後方方向に伝播し、パラメータは近位写像で更新される。 MNISTとCIFAR-10の両方の実験により、提案アルゴリズムは損失減少とトレーニング/検証の精度の両方において、より良い性能をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-10T03:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。