論文の概要: Tight Stability, Convergence, and Robustness Bounds for Predictive Coding Networks

• arxiv url: http://arxiv.org/abs/2410.04708v1
• Date: Mon, 7 Oct 2024 02:57:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 02:27:38.547878
• Title: Tight Stability, Convergence, and Robustness Bounds for Predictive Coding Networks
• Title（参考訳）: 予測符号化ネットワークにおけるタイト安定性,収束性,ロバスト性境界
• Authors: Ankur Mali, Tommaso Salvatori, Alexander Ororbia,
• Abstract要約: 予測符号化(PC)のようなエネルギーベースの学習アルゴリズムは、機械学習コミュニティにおいて大きな注目を集めている。 動的システム理論のレンズを用いて,PCの安定性,堅牢性,収束性を厳密に解析する。
• 参考スコア（独自算出の注目度）: 60.3634789164648
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Energy-based learning algorithms, such as predictive coding (PC), have garnered significant attention in the machine learning community due to their theoretical properties, such as local operations and biologically plausible mechanisms for error correction. In this work, we rigorously analyze the stability, robustness, and convergence of PC through the lens of dynamical systems theory. We show that, first, PC is Lyapunov stable under mild assumptions on its loss and residual energy functions, which implies intrinsic robustness to small random perturbations due to its well-defined energy-minimizing dynamics. Second, we formally establish that the PC updates approximate quasi-Newton methods by incorporating higher-order curvature information, which makes them more stable and able to converge with fewer iterations compared to models trained via backpropagation (BP). Furthermore, using this dynamical framework, we provide new theoretical bounds on the similarity between PC and other algorithms, i.e., BP and target propagation (TP), by precisely characterizing the role of higher-order derivatives. These bounds, derived through detailed analysis of the Hessian structures, show that PC is significantly closer to quasi-Newton updates than TP, providing a deeper understanding of the stability and efficiency of PC compared to conventional learning methods.
• Abstract（参考訳）: 予測符号化(PC)のようなエネルギーベースの学習アルゴリズムは、局所的な操作や生物学的に妥当なエラー訂正機構などの理論的性質から、機械学習コミュニティにおいて大きな注目を集めている。 本研究では, 動的システム理論のレンズを用いて, PCの安定性, 堅牢性, 収束性を厳密に解析する。 第一に、PCはその損失と余剰エネルギー関数の軽微な仮定の下で安定であり、エネルギー最小化のダイナミクスにより、小さなランダム摂動に対する本質的な頑健性を示す。 第二に、PCは、上位の曲率情報を組み込むことで近似準ニュートン法を更新し、バックプロパゲーション(BP)を用いて訓練されたモデルと比較して、より安定で、より少ないイテレーションで収束させることができることを正式に確立する。 さらに、この動的フレームワークを用いて、高次微分の役割を正確に特徴づけることにより、PCと他のアルゴリズム、すなわちBPとターゲット伝搬(TP)の類似性に関する新たな理論的境界を提供する。 これらの境界はヘッセン構造の詳細な解析から導かれるもので、PCはTPよりも準ニュートン更新にかなり近く、PCの安定性と効率を従来の学習法と比較して深く理解していることを示している。

関連論文リスト

• Super Level Sets and Exponential Decay: A Synergistic Approach to Stable Neural Network Training [0.0]
  指数減衰と高度な反オーバーフィッティング戦略を統合する動的学習率アルゴリズムを開発した。 適応学習率の影響を受けて、損失関数の超レベル集合が常に連結であることを証明する。
  論文  参考訳（メタデータ） (2024-09-25T09:27:17Z)
• Dynamical Mean-Field Theory of Self-Attention Neural Networks [0.0]
  トランスフォーマーベースのモデルは、様々な領域で例外的な性能を示している。 動作方法や期待されるダイナミクスについてはほとんど分かっていない。 非平衡状態における非対称ホップフィールドネットワークの研究に手法を用いる。
  論文  参考訳（メタデータ） (2024-06-11T13:29:34Z)
• Residual-based attention and connection to information bottleneck theory in PINNs [0.393259574660092]
  近年,物理インフォームドニューラルネットワーク(PINN)への関心が高まっている。 本稿では,動的システムや静的システムの収束を加速する,PINNの効率的な勾配なし重み付け手法を提案する。
  論文  参考訳（メタデータ） (2023-07-01T16:29:55Z)
• A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks [65.34977803841007]
  予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。 シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-16T00:11:04Z)
• A Theoretical Framework for Inference and Learning in Predictive Coding Networks [41.58529335439799]
  予測符号化(PC)は、計算神経科学において重要な理論である。 予測構成で訓練されたPCNの特性に関する包括的理論的解析を行う。
  論文  参考訳（メタデータ） (2022-07-21T04:17:55Z)
• Controlling the Complexity and Lipschitz Constant improves polynomial nets [55.121200972539114]
  多項式ネットの結合CP分解(CCP)モデルとNested Coupled CP分解(NCP)モデルに対する新しい複雑性境界を導出する。 本研究では、6つのデータセットで実験的に評価し、モデルが逆摂動に対して頑健であるとともに精度も向上することを示す。
  論文  参考訳（メタデータ） (2022-02-10T14:54:29Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)
• Approximation Algorithms for Sparse Principal Component Analysis [57.5357874512594]
  主成分分析(PCA)は、機械学習と統計学において広く使われている次元削減手法である。 スパース主成分分析(Sparse principal Component Analysis)と呼ばれる,スパース主成分負荷を求める様々な手法が提案されている。 本研究では,SPCA問題に対するしきい値の精度,時間,近似アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-23T04:25:36Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。