論文の概要: Backpropagation at the Infinitesimal Inference Limit of Energy-Based Models: Unifying Predictive Coding, Equilibrium Propagation, and Contrastive Hebbian Learning

• arxiv url: http://arxiv.org/abs/2206.02629v1
• Date: Tue, 31 May 2022 20:48:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-06-12 08:45:00.409797
• Title: Backpropagation at the Infinitesimal Inference Limit of Energy-Based Models: Unifying Predictive Coding, Equilibrium Propagation, and Contrastive Hebbian Learning
• Title（参考訳）: エネルギーベースモデルの無限小推論限界におけるバックプロパゲーション:予測符号化、平衡伝播、コントラストヘビー学習の統一化
• Authors: Beren Millidge, Yuhang Song, Tommaso Salvatori, Thomas Lukasiewicz, Rafal Bogacz
• Abstract要約: 脳がどのように信用割り当てを行うかは神経科学における根本的な未解決の問題である。 バックプロパゲーション(BP)によって計算されたアルゴリズムを近似した勾配を計算する、多くの生物学的に可算なアルゴリズムが提案されている。
• 参考スコア（独自算出の注目度）: 41.58529335439799
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How the brain performs credit assignment is a fundamental unsolved problem in neuroscience. Many `biologically plausible' algorithms have been proposed, which compute gradients that approximate those computed by backpropagation (BP), and which operate in ways that more closely satisfy the constraints imposed by neural circuitry. Many such algorithms utilize the framework of energy-based models (EBMs), in which all free variables in the model are optimized to minimize a global energy function. However, in the literature, these algorithms exist in isolation and no unified theory exists linking them together. Here, we provide a comprehensive theory of the conditions under which EBMs can approximate BP, which lets us unify many of the BP approximation results in the literature (namely, predictive coding, equilibrium propagation, and contrastive Hebbian learning) and demonstrate that their approximation to BP arises from a simple and general mathematical property of EBMs at free-phase equilibrium. This property can then be exploited in different ways with different energy functions, and these specific choices yield a family of BP-approximating algorithms, which both includes the known results in the literature and can be used to derive new ones.
• Abstract（参考訳）: 脳がどのように信用割り当てを行うかは神経科学における根本的な未解決の問題である。 このアルゴリズムは、バックプロパゲーション(BP)によって計算されたことを近似する勾配を計算し、神経回路によって課される制約をより厳密に満たす方法で機能する。 このようなアルゴリズムの多くは、全自由変数を大域エネルギー関数を最小化するために最適化したエネルギーベースモデル(ebms)の枠組みを利用している。 しかし、文献ではこれらのアルゴリズムは孤立しており、それらを結合する統一理論は存在しない。 ここでは、BP に近似できる条件の包括的理論を提案し、BP の多くの近似結果を文献(予測符号化、平衡伝播、および対比ヘビアン学習)で統一し、BP への近似が自由相平衡における EBM の単純で一般的な数学的性質から生じることを実証する。 この性質を異なるエネルギー関数で異なる方法で利用することができ、これらの特定の選択によりbp近似アルゴリズムの族が生まれ、文献に知られている結果を含み、新しいものを引き出すのに使うことができる。

関連論文リスト

• Connection between single-layer Quantum Approximate Optimization Algorithm interferometry and thermal distributions sampling [0.0]
  固有状態の振幅と単層QAOAによって生成されるボルツマン分布の理論的導出を拡張する。 我々はまた、この行動が実践的および基本的視点の両方から持つ意味についてもレビューする。
  論文  参考訳（メタデータ） (2023-10-13T15:06:58Z)
• On Feature Diversity in Energy-based Models [98.78384185493624]
  エネルギーベースモデル(EBM)は通常、異なる特徴の組み合わせを学習し、入力構成ごとにエネルギーマッピングを生成する内部モデルによって構成される。 EBMのほぼ正しい(PAC)理論を拡張し,EBMの性能に及ぼす冗長性低減の影響を解析した。
  論文  参考訳（メタデータ） (2023-06-02T12:30:42Z)
• Sampling with Mollified Interaction Energy Descent [57.00583139477843]
  モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。 MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する 我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-10-24T16:54:18Z)
• Sum-of-Squares Relaxations for Information Theory and Variational Inference [0.0]
  シャノン相対エントロピーの拡張($f$-divergences)を考える。 これらの分岐を計算するための凸緩和列を導出する。 我々は、量子情報理論から発せられるスペクトル情報に基づいて、より効率的な緩和を提供する。
  論文  参考訳（メタデータ） (2022-06-27T13:22:40Z)
• Pseudo-Spherical Contrastive Divergence [119.28384561517292]
  エネルギーベースモデルの最大学習確率を一般化するために,擬球面コントラスト分散(PS-CD)を提案する。 PS-CDは難解な分割関数を避け、学習目的の一般化されたファミリーを提供する。
  論文  参考訳（メタデータ） (2021-11-01T09:17:15Z)
• Hybridized Methods for Quantum Simulation in the Interaction Picture [69.02115180674885]
  本研究では,異なるシミュレーション手法をハイブリダイズし,インタラクション・ピクチャー・シミュレーションの性能を向上させるフレームワークを提案する。 これらのハイブリッド化手法の物理的応用は、電気遮断において$log2 Lambda$としてゲート複雑性のスケーリングをもたらす。 力学的な制約を受けるハミルトニアンシミュレーションの一般的な問題に対して、これらの手法は、エネルギーコストを課すために使われるペナルティパラメータ$lambda$とは無関係に、クエリの複雑さをもたらす。
  論文  参考訳（メタデータ） (2021-09-07T20:01:22Z)
• Dual Training of Energy-Based Models with Overparametrized Shallow Neural Networks [41.702175127106784]
  エネルギーベースモデル(英: Energy-based model、EBM)は、通常最大推定によって訓練される生成モデルである。 本稿では,データセットから引き出されたランダムなサンプルで粒子を再起動するEMMアルゴリズムの2つの定式化を提案し,その再起動が各ステップ毎にスコアに対応することを示す。 これらの結果は単純な数値実験で説明される。
  論文  参考訳（メタデータ） (2021-07-11T21:43:18Z)
• Predictive Coding Can Do Exact Backpropagation on Any Neural Network [40.51949948934705]
  計算グラフ上で直接定義することで(ILと)Z-ILを一般化する。 これは、任意のニューラルネットワーク上のパラメータを更新する方法でBPと同等であることが示されている最初の生物学的に実行可能なアルゴリズムです。
  論文  参考訳（メタデータ） (2021-03-08T11:52:51Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)
• Generalization of the hierarchical equations of motion theory for efficient calculations with arbitrary correlation functions [0.0]
  階層運動方程式(英:hierarchical equations of Motion、HEOM)は、調和環境に結合したオープン量子力学を厳密に記述する標準的な方法の1つである。 本稿では,非指数相関関数の処理を含むHEOM理論の新たな定式化について述べる。
  論文  参考訳（メタデータ） (2020-03-13T07:07:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。