論文の概要: Deriving Differential Target Propagation from Iterating Approximate Inverses

• arxiv url: http://arxiv.org/abs/2007.15139v2
• Date: Mon, 17 Aug 2020 19:09:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-05 19:53:48.803683
• Title: Deriving Differential Target Propagation from Iterating Approximate Inverses
• Title（参考訳）: 反復近似逆数からの微分目標伝播の導出
• Authors: Yoshua Bengio
• Abstract要約: 本稿では,各層が学習した逆数に依存するターゲット伝搬の特定の形態が,ガウス-ニュートン勾配に基づく近似最適化に対応する更新規則を導出することを示す。 そこで我々は,各層における局所的自動エンコーダに基づく反復計算について検討し,より正確な目標伝搬のインバージョンを実現する。
• 参考スコア（独自算出の注目度）: 91.3755431537592
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that a particular form of target propagation, i.e., relying on learned inverses of each layer, which is differential, i.e., where the target is a small perturbation of the forward propagation, gives rise to an update rule which corresponds to an approximate Gauss-Newton gradient-based optimization, without requiring the manipulation or inversion of large matrices. What is interesting is that this is more biologically plausible than back-propagation yet may turn out to implicitly provide a stronger optimization procedure. Extending difference target propagation, we consider several iterative calculations based on local auto-encoders at each layer in order to achieve more precise inversions for more accurate target propagation and we show that these iterative procedures converge exponentially fast if the auto-encoding function minus the identity function has a Lipschitz constant smaller than one, i.e., the auto-encoder is coarsely succeeding at performing an inversion. We also propose a way to normalize the changes at each layer to take into account the relative influence of each layer on the output, so that larger weight changes are done on more influential layers, like would happen in ordinary back-propagation with gradient descent.
• Abstract（参考訳）: ターゲット伝搬の特定の形態、すなわち、各層の学習された逆数に依存すること、すなわち、前方伝播の小さな摂動である場合、大きな行列の操作や反転を必要とせず、近似したガウス-ニュートン勾配に基づく最適化に対応する更新規則が生じることを示す。 興味深いのは、これはバックプロパゲーションよりも生物学的に可能であるが、暗黙的により強力な最適化手順を提供する可能性があることだ。 差分目標伝搬を拡張して,各層における局所的自己エンコーダに基づく反復計算を,より正確な目標伝搬のためのより正確な逆変換を実現するために検討し,自己エンコーダ関数が1よりも小さいリプシッツ定数を持つ場合,これらの反復処理が指数関数的に高速に収束することを示す。 また,各レイヤの変化を正規化し,各レイヤの出力に対する相対的影響を考慮し,勾配降下を伴う通常のバックプロパゲーションのように,より影響力のあるレイヤに対してより大きな重み変化を行う方法を提案する。

関連論文リスト

• BALI: Learning Neural Networks via Bayesian Layerwise Inference [6.7819070167076045]
  我々はベイズニューラルネットワークを学習し,それを多変量ベイズ線形回帰モデルのスタックとして扱う新しい手法を提案する。 主なアイデアは、各レイヤの目標出力を正確に知っていれば、階層的に後方に推論することである。 これらの擬似ターゲットをフォワードパスから出力する層として定義し、対象関数のバックプロパゲーションによって更新する。
  論文  参考訳（メタデータ） (2024-11-18T22:18:34Z)
• Optimal Rates for Vector-Valued Spectral Regularization Learning Algorithms [28.046728466038022]
  ベクトル値出力を持つ多種多様な正規化アルゴリズムの理論的特性について検討する。 ベクトル値出力によるリッジ回帰に対するいわゆる飽和効果を厳密に検証する。 有限サンプルリスク一般ベクトル値スペクトルアルゴリズムの上限について述べる。
  論文  参考訳（メタデータ） (2024-05-23T16:45:52Z)
• An Alternative Graphical Lasso Algorithm for Precision Matrices [0.0]
  本稿では,スパース精度行列を推定するためのDP-GLassoアルゴリズムを提案する。 正規化された正規対数型は自然に凸関数を最小化しやすい2つの和に分解するが、そのうちの1つはラッソ回帰問題である。 提案アルゴリズムは,最適化対象とする精度行列を最初から備えており,DP-GLassoアルゴリズムの良好な特性をすべて保持している。
  論文  参考訳（メタデータ） (2024-03-19T02:01:01Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Orthogonalizing Convolutional Layers with the Cayley Transform [83.73855414030646]
  直交に制約された畳み込み層をパラメータ化するための代替手法を提案し,評価する。 本手法は,大規模畳み込みにおいても直交性が高次に保たれることを示す。
  論文  参考訳（メタデータ） (2021-04-14T23:54:55Z)
• Feature Whitening via Gradient Transformation for Improved Convergence [3.5579740292581]
  機能白化の複雑さの欠点に対処する。 サンプル変換を重み勾配への変換によって置き換える等価な手法をBサンプルの各バッチに適用する。 CIFAR と Imagenet データセットで実証された画像分類のためのResNet ベースのネットワークを用いて提案アルゴリズムを例示する。
  論文  参考訳（メタデータ） (2020-10-04T11:30:20Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Variance Reduction with Sparse Gradients [82.41780420431205]
  SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。 我々は、新しい空間演算子:ランダムトップk演算子を導入する。 我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
  論文  参考訳（メタデータ） (2020-01-27T08:23:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。