論文の概要: A Theoretical Framework for Inference Learning

• arxiv url: http://arxiv.org/abs/2206.00164v1
• Date: Wed, 1 Jun 2022 00:38:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-03 07:21:32.792466
• Title: A Theoretical Framework for Inference Learning
• Title（参考訳）: 推論学習のための理論的枠組み
• Authors: Nick Alonso, Beren Millidge, Jeff Krichmar, Emre Neftci
• Abstract要約: バックプロパゲーション(BP)はディープラーニングにおいて最も成功し、広く使われているアルゴリズムである。 推論学習アルゴリズム(IL)は皮質機能の神経生物学モデルと密接に関連している。 ILは、教師付き学習と自己連想タスクにおけるBPと同等のパフォーマンスを持つ。
• 参考スコア（独自算出の注目度）: 1.433758865948252
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Backpropagation (BP) is the most successful and widely used algorithm in deep learning. However, the computations required by BP are challenging to reconcile with known neurobiology. This difficulty has stimulated interest in more biologically plausible alternatives to BP. One such algorithm is the inference learning algorithm (IL). IL has close connections to neurobiological models of cortical function and has achieved equal performance to BP on supervised learning and auto-associative tasks. In contrast to BP, however, the mathematical foundations of IL are not well-understood. Here, we develop a novel theoretical framework for IL. Our main result is that IL closely approximates an optimization method known as implicit stochastic gradient descent (implicit SGD), which is distinct from the explicit SGD implemented by BP. Our results further show how the standard implementation of IL can be altered to better approximate implicit SGD. Our novel implementation considerably improves the stability of IL across learning rates, which is consistent with our theory, as a key property of implicit SGD is its stability. We provide extensive simulation results that further support our theoretical interpretations and also demonstrate IL achieves quicker convergence when trained with small mini-batches while matching the performance of BP for large mini-batches.
• Abstract（参考訳）: backpropagation (bp) はディープラーニングで最も成功し、広く使われているアルゴリズムである。 しかし、BPが必要とする計算は既知の神経生物学との整合が難しい。 この困難は、bpのより生物学的に有望な代替品に対する興味を刺激した。 そのようなアルゴリズムの1つは推論学習アルゴリズム(il)である。 ILは皮質機能の神経生物学モデルと密接な関係を持ち、教師付き学習と自己連想タスクにおいてBPと同等のパフォーマンスを達成した。 しかしBPとは対照的に、ILの数学的基礎はよく理解されていない。 本稿では,ILの新たな理論的枠組みを開発する。 我々の主な成果は、BPによって実装された明示的なSGDとは異なる暗黙の確率勾配勾配勾配(simplicit SGD)と呼ばれる最適化手法を、ILが密接に近似することである。 さらに, ILの標準実装をどのように変更して, 暗黙的SGDをよりよく近似させるかを示す。 提案手法は学習速度におけるilの安定性を大幅に向上させ,その安定性を暗黙的sgdの重要な特性としている。 我々は,我々の理論的解釈をさらに裏付ける広範なシミュレーション結果を提供するとともに,小型のミニバッチで訓練し,BPの性能に適合しながら,ILがより早く収束することを示す。

関連論文リスト

• Towards Interpretable Deep Local Learning with Successive Gradient Reconciliation [70.43845294145714]
  グローバルバックプロパゲーション(BP)に対するニューラルネットワークトレーニングの信頼性の回復が、注目すべき研究トピックとして浮上している。 本稿では,隣接モジュール間の勾配調整を連続的に調整する局所的学習戦略を提案する。 提案手法はローカルBPとBPフリー設定の両方に統合できる。
  論文  参考訳（メタデータ） (2024-06-07T19:10:31Z)
• Understanding and Improving Optimization in Predictive Coding Networks [1.6114012813668934]
  推論学習アルゴリズム(IL)は、バックプロパゲーション(BP)に代わる有望で、生物学的に証明可能な代替品である ILは計算的に要求され、Adamのようなメモリ集約がなければ、ILはローカルのミニマに収束する可能性がある。 ILはBPよりも早く損失を減少させることができるが、これらのスピードアップやロバスト性の原因は不明である。
  論文  参考訳（メタデータ） (2023-05-23T00:32:26Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• Towards Scaling Difference Target Propagation by Learning Backprop Targets [64.90165892557776]
  Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。 本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。 CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
  論文  参考訳（メタデータ） (2022-01-31T18:20:43Z)
• A Theoretical View of Linear Backpropagation and Its Convergence [55.69505060636719]
  バックプロパゲーション(BP)はディープニューラルネットワーク(DNN)の勾配を計算するために広く用いられている 最近では、NinBPと呼ばれるBPの線形変種が導入され、ブラックボックス攻撃を行うためのより伝達可能な逆の例が生み出された。 本稿では,LinBPのニューラルネットワーク関連学習課題における理論的解析について述べる。
  論文  参考訳（メタデータ） (2021-12-21T07:18:00Z)
• Predictive Coding Can Do Exact Backpropagation on Any Neural Network [40.51949948934705]
  計算グラフ上で直接定義することで(ILと)Z-ILを一般化する。 これは、任意のニューラルネットワーク上のパラメータを更新する方法でBPと同等であることが示されている最初の生物学的に実行可能なアルゴリズムです。
  論文  参考訳（メタデータ） (2021-03-08T11:52:51Z)
• Predictive Coding Can Do Exact Backpropagation on Convolutional and Recurrent Neural Networks [40.51949948934705]
  予測符号化ネットワーク(PCN)は、脳内の情報処理に影響を及ぼすモデルである。 BPは現代の機械学習において最も成功した学習方法と考えられている。 生物学的に妥当なアルゴリズムは複雑なアーキテクチャ上でBPの精度を正確に再現できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T14:57:01Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。