論文の概要: Only Strict Saddles in the Energy Landscape of Predictive Coding Networks?

• arxiv url: http://arxiv.org/abs/2408.11979v2
• Date: Fri, 08 Nov 2024 16:19:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:06:43.853908
• Title: Only Strict Saddles in the Energy Landscape of Predictive Coding Networks?
• Title（参考訳）: 予測符号化ネットワークのエネルギー景観における厳密なサドルのみ?
• Authors: Francesco Innocenti, El Mehdi Achour, Ryan Singh, Christopher L. Buckley,
• Abstract要約: 予測符号化(英: Predictive coding、PC)は、重みを更新する前にネットワーク活動に対して反復推論を行うエネルギーベースの学習アルゴリズムである。 ネットワーク活動の推測平衡におけるPCエネルギー景観の幾何について検討する。
• 参考スコア（独自算出の注目度）: 2.499907423888049
• License:
• Abstract: Predictive coding (PC) is an energy-based learning algorithm that performs iterative inference over network activities before updating weights. Recent work suggests that PC can converge in fewer learning steps than backpropagation thanks to its inference procedure. However, these advantages are not always observed, and the impact of PC inference on learning is not theoretically well understood. Here, we study the geometry of the PC energy landscape at the inference equilibrium of the network activities. For deep linear networks, we first show that the equilibrated energy is simply a rescaled mean squared error loss with a weight-dependent rescaling. We then prove that many highly degenerate (non-strict) saddles of the loss including the origin become much easier to escape (strict) in the equilibrated energy. Our theory is validated by experiments on both linear and non-linear networks. Based on these and other results, we conjecture that all the saddles of the equilibrated energy are strict. Overall, this work suggests that PC inference makes the loss landscape more benign and robust to vanishing gradients, while also highlighting the fundamental challenge of scaling PC to deeper models.
• Abstract（参考訳）: 予測符号化(英: Predictive coding、PC)は、重みを更新する前にネットワーク活動に対して反復推論を行うエネルギーベースの学習アルゴリズムである。 近年の研究では、PCは推論手順により、バックプロパゲーションよりも学習ステップが少ないことが示唆されている。 しかし、これらの利点は必ずしも観察されず、PC推論が学習に与える影響は理論的によく理解されていない。 本稿では,ネットワーク活動の推測平衡におけるPCエネルギー景観の幾何について検討する。 深い線形ネットワークの場合、平衡エネルギーは単に重みに依存した再スケーリングによる平均2乗誤差損失であることを示す。 そして、原点を含む多くの高度に縮退した(非制限的)サドルが、平衡エネルギーにおいてより容易に(制限的)脱出できることを証明した。 我々の理論は線形ネットワークと非線形ネットワークの両方の実験によって検証される。 これらの結果と他の結果に基づいて、平衡エネルギーのすべてのサドルは厳密であると予想する。 全体として、この研究は、PC推論が損失の状況をより良質にし、グラデーションを消滅させる一方で、PCをより深いモデルにスケールするという根本的な課題を浮き彫りにすることを示している。

関連論文リスト

• Tight Stability, Convergence, and Robustness Bounds for Predictive Coding Networks [60.3634789164648]
  予測符号化(PC)のようなエネルギーベースの学習アルゴリズムは、機械学習コミュニティにおいて大きな注目を集めている。 動的システム理論のレンズを用いて,PCの安定性,堅牢性,収束性を厳密に解析する。
  論文  参考訳（メタデータ） (2024-10-07T02:57:26Z)
• The Law of Parsimony in Gradient Descent for Learning Deep Linear Networks [34.85235641812005]
  我々は、データが低次元構造を持つ場合、学習力学において驚くべき「パシモニーの法則」を明らかにする。 この学習力学の単純さは、効率的なトレーニングとディープネットワークのより良い理解の両方に重大な影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2023-06-01T21:24:53Z)
• Feature-Learning Networks Are Consistent Across Widths At Realistic Scales [72.27228085606147]
  様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。 トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。 しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
  論文  参考訳（メタデータ） (2023-05-28T17:09:32Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Preventing Deterioration of Classification Accuracy in Predictive Coding Networks [0.0]
  予測符号化ネットワーク(PCN)は、世界の生成モデルを学ぶことを目的としている。 観察を前提として、この生成モデルは逆転してこれらの観測の原因を推測することができる。 PCNのトレーニングでは、推論精度がピークに達し、さらなるトレーニングで減少する、顕著な病理がしばしば観察される。
  論文  参考訳（メタデータ） (2022-08-15T10:54:31Z)
• Learning Energy Networks with Generalized Fenchel-Young Losses [34.46284877812228]
  エネルギーに基づくモデル、すなわちエネルギーネットワークはエネルギー関数を最適化することで推論を行う。 学習エネルギーネットワークの自然損失構造であるFenchel-Young損失の一般化を提案する。
  論文  参考訳（メタデータ） (2022-05-19T14:32:04Z)
• On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
  ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。 エルゴード理論の力学系に基づく新しい視点を提案する。
  論文  参考訳（メタデータ） (2021-10-12T18:12:23Z)
• Cascade Weight Shedding in Deep Neural Networks: Benefits and Pitfalls for Network Pruning [73.79377854107514]
  カスケード重み付けは,現在ある場合,ランダムプルーニングなどの非最適スキームの性能を著しく向上させることができることを示す。 我々は,gmpの精度向上のためのカスケード重みシェディングの可能性を示し,計算量を削減する。 重み付けと学習段階の巻き戻し手法に光を当て,カスケードの重み付けに結びつく可能性を示し,微調整よりも有利な理由を示した。
  論文  参考訳（メタデータ） (2021-03-19T04:41:40Z)
• Towards Understanding Learning in Neural Networks with Linear Teachers [31.849269592822296]
  我々は,この学習問題をLaky ReLUアクティベートした2層ネットワークに対して,SGDがグローバルに最適化していることを証明する。 ネットワーク重みが2つの重みクラスターに収束すると、これは概線形決定境界となることを証明し、この現象を理論的に支持する。
  論文  参考訳（メタデータ） (2021-01-07T13:21:24Z)
• The Golden Ratio of Learning and Momentum [0.5076419064097732]
  本稿では,シナプスにおけるニューラル信号処理による情報理論的損失関数を提案する。 すべての結果は、損失、学習率、モーメントが密接に関連していることを示している。
  論文  参考訳（メタデータ） (2020-06-08T17:08:13Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。