論文の概要: Faster Predictive Coding Networks via Better Initialization

• arxiv url: http://arxiv.org/abs/2601.20895v1
• Date: Wed, 28 Jan 2026 08:52:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.360671
• Title: Faster Predictive Coding Networks via Better Initialization
• Title（参考訳）: より優れた初期化による予測符号化ネットワークの高速化
• Authors: Luca Pinchetti, Simon Frieder, Thomas Lukasiewicz, Tommaso Salvatori,
• Abstract要約: 本稿では,従来のトレーニングサンプルの反復的進捗を抑えることを目的とした,予測符号化ネットワークのための新しい手法を提案する。 本実験は,教師なし設定と教師なし設定の両方において,収束速度と最終テスト損失が大幅に改善されたことを示す。
• 参考スコア（独自算出の注目度）: 52.419343840654186
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Research aimed at scaling up neuroscience inspired learning algorithms for neural networks is accelerating. Recently, a key research area has been the study of energy-based learning algorithms such as predictive coding, due to their versatility and mathematical grounding. However, the applicability of such methods is held back by the large computational requirements caused by their iterative nature. In this work, we address this problem by showing that the choice of initialization of the neurons in a predictive coding network matters significantly and can notably reduce the required training times. Consequently, we propose a new initialization technique for predictive coding networks that aims to preserve the iterative progress made on previous training samples. Our approach suggests a promising path toward reconciling the disparities between predictive coding and backpropagation in terms of computational efficiency and final performance. In fact, our experiments demonstrate substantial improvements in convergence speed and final test loss in both supervised and unsupervised settings.
• Abstract（参考訳）: 神経科学にインスパイアされたニューラルネットワークのための学習アルゴリズムのスケールアップを目的とした研究が加速している。 近年,その汎用性や数学的基礎性から,予測符号化などのエネルギーに基づく学習アルゴリズムの研究が注目されている。 しかし、そのような手法の適用性は、その反復性によって引き起こされる大きな計算要求に支えられている。 本研究では,予測符号化ネットワークにおけるニューロンの初期化の選択が著しく重要であり,必要なトレーニング時間を著しく短縮できることを示すことにより,この問題に対処する。 そこで,本研究では,従来のトレーニングサンプルにおける反復的進捗の保存を目的とした,予測符号化ネットワークの新たな初期化手法を提案する。 提案手法は,予測符号化とバックプロパゲーションの相違を計算効率と最終性能の両面で整合させるための,有望な経路を示唆する。 実際、我々の実験は、教師なし設定と教師なし設定の両方において、収束速度と最終テスト損失が大幅に改善されたことを示す。

関連論文リスト

• Towards Guided Descent: Optimization Algorithms for Training Neural Networks At Scale [0.0]
  この論文は、古典的な一階法から近代的な高階法への最適化アルゴリズムの進化を研究する。 この分析は、現実世界のデータを表す異方性に直面する従来のアプローチの限界を明らかにする。 次に、これらの最適化アルゴリズムとより広範なニューラルネットワークトレーニングツールキットとの相互作用は、経験的成功に等しく不可欠である。
  論文  参考訳（メタデータ） (2025-12-20T14:20:46Z)
• Function regression using the forward forward training and inferring paradigm [0.0]
  フォワードフォワード学習アルゴリズムは、バックプロパゲーションなしでニューラルネットワークをトレーニングするための新しいアプローチである。 本稿では,Forward-Forwardアルゴリズムを用いて関数の近似(関数回帰)を行う手法を提案する。
  論文  参考訳（メタデータ） (2025-10-08T08:41:14Z)
• Enhanced quantum state preparation via stochastic prediction of neural network [0.8287206589886881]
  本稿では,ニューラルネットワークの知識盲点を生かして,アルゴリズムの有効性を高めるための興味深い道を探る。 本手法は,半導体ダブル量子ドットシステムにおける任意の量子状態の生成に使用される機械学習アルゴリズムを中心にしている。 ニューラルネットワークが生成した予測を活用することにより、最適化プロセスの導出により、局所最適化を回避できる。
  論文  参考訳（メタデータ） (2023-07-27T09:11:53Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation? [41.58529335439799]
  ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。 最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。 等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-02-18T22:57:03Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。