論文の概要: Backpropagation and F-adjoint

• arxiv url: http://arxiv.org/abs/2304.13820v2
• Date: Sun, 30 Apr 2023 07:35:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-02 17:47:38.292300
• Title: Backpropagation and F-adjoint
• Title（参考訳）: バックプロパゲーションとF結合
• Authors: Ahmed Boughammoura
• Abstract要約: 本稿では,ニューラルネットワーク(ANN)のモデル重み学習トレーニングにおいて,フィードフォワードとバックワードの両方のプロセスについて検討する枠組みを提案する。 バックプロパゲーションのための2段階ルールの概念から着想を得て、バックプロパゲーションアルゴリズムのより良い記述を目的としたF-アジョイントの概念を定義する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a concise mathematical framework for investigating both feed-forward and backward process, during the training to learn model weights, of an artificial neural network (ANN). Inspired from the idea of the two-step rule for backpropagation, we define a notion of F-adjoint which is aimed at a better description of the backpropagation algorithm. In particular, by introducing the notions of F-propagation and F-adjoint through a deep neural network architecture, the backpropagation associated to a cost/loss function is proven to be completely characterized by the F-adjoint of the corresponding F-propagation relatively to the partial derivative, with respect to the inputs, of the cost function.
• Abstract（参考訳）: 本稿では, ニューラルネットワーク(ANN)のモデル重み学習訓練において, フィードフォワードとバックワードの両方のプロセスを調べるための簡潔な数学的枠組みを提案する。 バックプロパゲーションのための2段階ルールの概念から着想を得て、バックプロパゲーションアルゴリズムのより良い記述を目的としたF-アジョイントの概念を定義する。 特に、深層ニューラルネットワークアーキテクチャを通してF-プロパゲーションとF-アジョイントの概念を導入することにより、コスト/ロス関数に関連するバックプロパゲーションは、コスト関数の入力に関して、対応するF-プロパゲーションのF-アジョイントが部分微分に対して相対的に特徴付けられることが証明される。

関連論文リスト

• Learning by the F-adjoint [0.0]
  本研究では、フィードフォワードニューラルネットワークのための教師付き学習アルゴリズムを改善するための理論的枠組みを開発し、検討する。 我々の主な結果は、勾配降下法と組み合わせた神経力学モデルを導入することにより、平衡F-随伴過程を導出したことである。 MNISTとFashion-MNISTデータセットの実験結果は、提案手法が標準バックプロパゲーショントレーニング手順を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2024-07-08T13:49:25Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Layer-wise Feedback Propagation [53.00944147633484]
  本稿では、ニューラルネットワークのような予測器のための新しいトレーニング手法であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決に対するそれぞれの貢献に基づいて、個々のコネクションに報酬を割り当てる。 各種モデルやデータセットの勾配降下に匹敵する性能を達成できることの有効性を実証する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• The Predictive Forward-Forward Algorithm [79.07468367923619]
  本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。 我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。 PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
  論文  参考訳（メタデータ） (2023-01-04T05:34:48Z)
• Lifted Bregman Training of Neural Networks [28.03724379169264]
  本稿では,(潜在的に非滑らかな)近位写像を活性化関数として,フィードフォワードニューラルネットワークのトレーニングのための新しい数学的定式化を導入する。 この定式化はBregmanに基づいており、ネットワークのパラメータに関する偏微分がネットワークのアクティベーション関数の微分の計算を必要としないという利点がある。 ニューラルネットワークに基づく分類器のトレーニングや、スパースコーディングによる(デノーミング)オートエンコーダのトレーニングには、これらのトレーニングアプローチが等しく適しているか、さらに適していることを示す数値的な結果がいくつか提示される。
  論文  参考訳（メタデータ） (2022-08-18T11:12:52Z)
• Partition-based formulations for mixed-integer optimization of trained ReLU neural networks [66.88252321870085]
  本稿では,訓練されたReLUニューラルネットワークのための混合整数式について紹介する。 1つの極端な場合、入力毎に1つのパーティションがノードの凸殻、すなわち各ノードの最も厳密な可能な定式化を回復する。
  論文  参考訳（メタデータ） (2021-02-08T17:27:34Z)
• Derivation of the Backpropagation Algorithm Based on Derivative Amplification Coefficients [0.0]
  本稿では,ニューラルネットワークのバックプロパゲーションアルゴリズムの新しい導出法を提案する。 この概念は、完全に接続されたカスケードネットワークのためにこの著者によって最初に提案され、従来のフィードフォワードニューラルネットワークにうまく適用されている。
  論文  参考訳（メタデータ） (2021-02-08T16:25:44Z)
• A Deep-Unfolded Reference-Based RPCA Network For Video Foreground-Background Separation [86.35434065681925]
  本稿では,ロバスト主成分分析(RPCA)問題に対するディープアンフォールディングに基づくネットワーク設計を提案する。 既存の設計とは異なり,本手法は連続するビデオフレームのスパース表現間の時間的相関をモデル化することに焦点を当てている。 移動MNISTデータセットを用いた実験により、提案したネットワークは、ビデオフォアグラウンドとバックグラウンドの分離作業において、最近提案された最先端のRPCAネットワークより優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-02T11:40:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。