論文の概要: A Theoretical View of Linear Backpropagation and Its Convergence

• arxiv url: http://arxiv.org/abs/2112.11018v2
• Date: Wed, 10 Jan 2024 12:25:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 18:13:23.382467
• Title: A Theoretical View of Linear Backpropagation and Its Convergence
• Title（参考訳）: 線形バックプロパゲーションの理論的考察とその収束性
• Authors: Ziang Li, Yiwen Guo, Haodi Liu, and Changshui Zhang
• Abstract要約: バックプロパゲーション(BP)はディープニューラルネットワーク(DNN)の勾配を計算するために広く用いられている 最近では、NinBPと呼ばれるBPの線形変種が導入され、ブラックボックス攻撃を行うためのより伝達可能な逆の例が生み出された。 本稿では,LinBPのニューラルネットワーク関連学習課題における理論的解析について述べる。
• 参考スコア（独自算出の注目度）: 55.69505060636719
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Backpropagation (BP) is widely used for calculating gradients in deep neural networks (DNNs). Applied often along with stochastic gradient descent (SGD) or its variants, BP is considered as a de-facto choice in a variety of machine learning tasks including DNN training and adversarial attack/defense. Recently, a linear variant of BP named LinBP was introduced for generating more transferable adversarial examples for performing black-box attacks, by Guo et al. Although it has been shown empirically effective in black-box attacks, theoretical studies and convergence analyses of such a method is lacking. This paper serves as a complement and somewhat an extension to Guo et al.'s paper, by providing theoretical analyses on LinBP in neural-network-involved learning tasks, including adversarial attack and model training. We demonstrate that, somewhat surprisingly, LinBP can lead to faster convergence in these tasks in the same hyper-parameter settings, compared to BP. We confirm our theoretical results with extensive experiments.
• Abstract（参考訳）: バックプロパゲーション(BP)はディープニューラルネットワーク(DNN)の勾配を計算するために広く使われている。 BPは確率勾配降下(SGD)またはその変種とともにしばしば適用され、DNNトレーニングや敵攻撃/防御を含むさまざまな機械学習タスクにおいてデファクト選択とみなされる。 最近では、Guoらによるブラックボックス攻撃の実行において、より伝達可能な逆の例を生成するためにLinBPと呼ばれるBPの線形変種が導入された。 ブラックボックス攻撃では実証的に有効であることが示されているが、理論的研究や収束解析は不十分である。 本稿では,ニューラルネットワークによる学習課題におけるLinBPの理論的解析から,敵対的攻撃やモデルトレーニングまで,Guoらの論文を補完するものとして機能する。 意外なことに、LinBPは、BPと比較して、これらのタスクを同じハイパーパラメータ設定でより早く収束させることができる。 理論結果を広範な実験で確認する。

関連論文リスト

• A Theoretical Framework for Inference and Learning in Predictive Coding Networks [41.58529335439799]
  予測符号化(PC)は、計算神経科学において重要な理論である。 予測構成で訓練されたPCNの特性に関する包括的理論的解析を行う。
  論文  参考訳（メタデータ） (2022-07-21T04:17:55Z)
• Constrained Parameter Inference as a Principle for Learning [5.080518039966762]
  本稿では,制約パラメータ推論(COPI)を学習の新たな原則として提案する。 COPIは、神経状態の非相関な入力とトップダウン摂動の制約下でのネットワークパラメータの推定を可能にする。 我々はCOPIが生物学的に妥当であるだけでなく、誤りの標準的なバックプロパゲーションと比較して、高速学習の利点も示していることを示した。
  論文  参考訳（メタデータ） (2022-03-22T13:40:57Z)
• On the Convergence of Certified Robust Training with Interval Bound Propagation [147.77638840942447]
  IBPトレーニングの収束に関する理論的解析を行った。 IBPトレーニングを用いてランダムに2層ReLUニューラルネットワークをロジスティック損失でトレーニングする場合、勾配降下はゼロロバストトレーニングエラーに線形収束可能であることを示す。
  論文  参考訳（メタデータ） (2022-03-16T21:49:13Z)
• Towards Evaluating and Training Verifiably Robust Neural Networks [81.39994285743555]
  We study the relationship between IBP and CROWN, and prove that CROWN are always tight than IBP when select each bounding lines。 線形結合伝播(LBP) CROWNの緩やかなバージョンを提案する。これは、大きなネットワークを検証して、より低い検証エラーを得るのに使用できる。
  論文  参考訳（メタデータ） (2021-04-01T13:03:48Z)
• Predictive Coding Can Do Exact Backpropagation on Convolutional and Recurrent Neural Networks [40.51949948934705]
  予測符号化ネットワーク(PCN)は、脳内の情報処理に影響を及ぼすモデルである。 BPは現代の機械学習において最も成功した学習方法と考えられている。 生物学的に妥当なアルゴリズムは複雑なアーキテクチャ上でBPの精度を正確に再現できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T14:57:01Z)
• Belief Propagation Neural Networks [103.97004780313105]
  信念伝播ニューラルネットワーク(BPNN)を紹介する。 BPNNは因子グラフ上で動作し、信念伝播(BP)を一般化する BPNNはIsingモデル上で1.7倍高速に収束し、より厳密な境界を提供することを示す。 挑戦的なモデルカウント問題に関して、BPNNは最先端の手作り手法の100倍の速さを推定する。
  論文  参考訳（メタデータ） (2020-07-01T07:39:51Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。