Fugu-MT 論文翻訳(概要): Towards the Training of Deeper Predictive Coding Neural Networks

論文の概要: Towards the Training of Deeper Predictive Coding Neural Networks

arxiv url: http://arxiv.org/abs/2506.23800v3
Date: Fri, 10 Oct 2025 08:45:17 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-14 00:38:45.785993
Title: Towards the Training of Deeper Predictive Coding Neural Networks
Title（参考訳）: より深い予測的符号化ニューラルネットワークの訓練に向けて
Authors: Chang Qi, Matteo Forasassi, Thomas Lukasiewicz, Tommaso Salvatori,
Abstract要約: 予測符号化ネットワーク(英: Predictive coding network)は、反復エネルギー最小化プロセスを通じて推論を行うニューラルネットワークである。浅いアーキテクチャでは有効だが、5層から7層に留まらず、パフォーマンスが著しく低下する。この劣化は,重み付け更新時の層間エラーの指数的不均衡と,より深い層内の更新を導くのに有効でない前の層からの予測が原因であることを示す。
参考スコア（独自算出の注目度）: 44.14001498773255
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Predictive coding networks are neural models that perform inference through an iterative energy minimization process, whose operations are local in space and time. While effective in shallow architectures, they suffer significant performance degradation beyond five to seven layers. In this work, we show that this degradation is caused by exponentially imbalanced errors between layers during weight updates, and by predictions from the previous layers not being effective in guiding updates in deeper layers. Furthermore, when training models with skip connections, the energy propagated by the residuals reaches higher layers faster than that propagated by the main pathway, affecting test accuracy. We address the first issue by introducing a novel precision-weighted optimization of latent variables that balances error distributions during the relaxation phase, the second issue by proposing a novel weight update mechanism that reduces error accumulation in deeper layers, and the third one by using auxiliary neurons that slow down the propagation of the energy in the residual connections. Empirically, our methods achieve performance comparable to backpropagation on deep models such as ResNets, opening new possibilities for predictive coding in complex tasks.
Abstract（参考訳）: 予測符号化ネットワーク(英: Predictive coding network)とは、空間と時間の局所的な操作を反復的なエネルギー最小化プロセスを通じて推論を行うニューラルネットワークである。浅いアーキテクチャでは有効だが、5層から7層に留まらず、パフォーマンスが著しく低下する。本研究では,重み付け更新時の層間エラーの指数的不均衡化と,より深い層内の更新を導くのに有効でない前の層からの予測によって,この劣化が引き起こされることを示す。さらに、スキップ接続を用いたトレーニングモデルでは、残余が伝播するエネルギーは、主経路が伝播するエネルギーよりも早く高い層に到達し、テスト精度に影響する。第1の課題は、緩和相における誤差分布のバランスをとる潜伏変数の新しい精度重み付け最適化を導入し、第2の課題は、深層でのエラー蓄積を低減する新しい重み更新機構を提案し、第3の課題は、残留接続におけるエネルギーの伝播を遅くする補助ニューロンを使用することである。実験により,提案手法はResNetsのような深層モデルのバックプロパゲーションに匹敵する性能を達成し,複雑なタスクにおける予測符号化の新たな可能性を開く。

関連論文リスト

An Overview of Low-Rank Structures in the Training and Adaptation of Large Models [52.67110072923365]
近年の研究では、低ランク構造の出現というディープネットワークの広範な現象が明らかになった。これらの暗黙の低次元パターンは、トレーニングの効率と微調整された大規模モデルを改善するための貴重な洞察を提供する。深層学習のための低ランク構造の利用の進歩を概観し,その数学的基礎に光を当てる。
論文参考訳（メタデータ） (2025-03-25T17:26:09Z)
Initialization Matters: On the Benign Overfitting of Two-Layer ReLU CNN with Fully Trainable Layers [20.25049261035324]
解析は、完全にトレーニング可能な層を持つ2層ReLU畳み込みニューラルネットワーク(CNN)に拡張する。以上の結果から,出力層のスケーリングがトレーニングのダイナミックスに不可欠であることが示唆された。どちらの設定でも、テストエラーの上限と下限にほぼ一致するものを提供します。
論文参考訳（メタデータ） (2024-10-24T20:15:45Z)
Neural Rank Collapse: Weight Decay and Small Within-Class Variability Yield Low-Rank Bias [4.829265670567825]
トレーニングネットワークの低ランクバイアスとニューラルネットワークの神経崩壊特性を結びつける,興味深いニューラルネットワークランク崩壊現象の存在を示す。重み劣化パラメータが大きくなるにつれて、ネットワーク内の各レイヤのランクは、前のレイヤの隠れ空間埋め込みのクラス内変動に比例して減少する。
論文参考訳（メタデータ） (2024-02-06T13:44:39Z)
Analyzing and Improving the Training Dynamics of Diffusion Models [36.37845647984578]
一般的なADM拡散モデルアーキテクチャにおいて、不均一かつ非効率なトレーニングの原因をいくつか特定し、修正する。この哲学の体系的な応用は、観測されたドリフトと不均衡を排除し、同じ計算複雑性でネットワークをかなり良くする。
論文参考訳（メタデータ） (2023-12-05T11:55:47Z)
LayerCollapse: Adaptive compression of neural networks [13.567747247563108]
トランスフォーマーネットワークは、自然言語処理やコンピュータビジョンにおいて、先行技術より優れている。モデルは数億のパラメータを含み、重要な計算資源を必要とする。完全に連結された層の深さを減少させる新しい構造化プルーニング法であるLayerCollapseを提案する。
論文参考訳（メタデータ） (2023-11-29T01:23:41Z)
WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
論文参考訳（メタデータ） (2023-01-03T20:57:22Z)
An Adaptive and Stability-Promoting Layerwise Training Approach for Sparse Deep Neural Network Architecture [0.0]
この研究は、与えられたトレーニングデータセットに対してうまく一般化するディープニューラルネットワーク(DNN)アーキテクチャを開発するための2段階適応フレームワークを提案する。第1段階では、新しいレイヤを毎回追加し、前のレイヤでパラメータを凍結することで独立してトレーニングする、レイヤワイズトレーニングアプローチが採用されている。本稿では, 学習アルゴリズムの望ましい特性として, エプシロン・デルタ安定促進の概念を導入し, 多様体正規化を用いることで, エプシロン・デルタ安定促進アルゴリズムが得られることを示す。
論文参考訳（メタデータ） (2022-11-13T09:51:16Z)
BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
論文参考訳（メタデータ） (2022-07-04T13:25:49Z)
Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文参考訳（メタデータ） (2021-10-01T10:03:57Z)
Gradient-trained Weights in Wide Neural Networks Align Layerwise to Error-scaled Input Correlations [11.176824373696324]
我々は、勾配降下によって訓練された非線形活性化を伴う無限幅ニューラルネットワークの層方向の重みダイナミクスを導出する。我々は、バックプロパゲーションと同じアライメントを理論的に達成するバックプロパゲーションフリー学習ルール、Align-zeroとAlign-adaを定式化した。
論文参考訳（メタデータ） (2021-06-15T21:56:38Z)
On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
論文参考訳（メタデータ） (2020-07-16T18:39:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。