論文の概要: Error-Based Bidirectional Predictive Coding Enables Deep, 4-Bit Predictive Coding Networks

• arxiv url: http://arxiv.org/abs/2610.15933v1
• Date: Sun, 11 Oct 2026 21:34:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 08:27:46.564487
• Title: Error-Based Bidirectional Predictive Coding Enables Deep, 4-Bit Predictive Coding Networks
• Title（参考訳）: エラーベースの双方向予測符号化により、深い4ビット予測符号化が可能に
• Abstract要約: 予測符号化ネットワーク(PCN)は、バックプロパゲーション訓練ネットワークによって提供されない特性を約束する。 最近の2つの手法のペアリングによって,PCNの完全なプロパティが4ビットの深い状態にセットされることが示されている。 本稿では,本手法が克服する2つの障害モード,状態ベースPCにおける境界信号減衰,非正規化誤り最適化における誤差分散について述べる。
• 参考スコア（独自算出の注目度）: 1.5469452301122173
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predictive coding networks (PCNs) promise properties not offered by backpropagation-trained networks: learning from purely local information, a single network that both discriminates and generates, and flexible inference by energy minimization. However, their iterative inference is expensive, making hardware acceleration desirable, and a useful, efficient accelerator needs both depth and aggressive quantization. Canonical state-based PC delivers neither: its inference signal decays exponentially with depth, so deep models fail to train, and low precision makes it worse. We show that pairing two recent methods carries the full PCN property set into the deep, 4-bit regime: bidirectional PC (bPC), which unifies discrimination and generation, and the error-based reparameterization (ePC), which optimizes prediction errors rather than states during inference. Error optimization delivers the output signal to every layer in a single backward pass, removing the signal decay; one additional element, global-norm clipping of the error gradients, stabilizes the error dynamics at depth. The resulting ePC+bPC model trains stably up to at least eight layers and retains its full-precision accuracy and clean class-conditional generation under W4A4E4 quantization-aware training, across FP4 and three posit formats. On six-layer networks, where state-based bPC collapses to chance, ePC+bPC classifies more than 50 accuracy points above it after one epoch of training, with class-conditional generations 5-9x better in RMSE. 4-bit quantization is nearly free: full-precision and 4-bit accuracies differ by at most ~5 points, and by under two in the best-performing formats. We characterize the two failure modes the method overcomes, bounded signal decay in state-based PC and error divergence in unregularized error optimization, and discuss implications for a 4-bit-native PCN accelerator.
• Abstract（参考訳）: 予測符号化ネットワーク(PCN)は、純粋に局所的な情報から学習すること、識別と生成を同時に行う単一ネットワーク、エネルギー最小化による柔軟な推論など、バックプロパゲーション訓練されたネットワークによって提供されない特性を約束する。 しかし、反復推論は高価であり、ハードウェアアクセラレーションを望ましいものにし、深度とアグレッシブな量子化の両方を必要とする有用で効率的な加速器を必要とする。 推論信号は、深さとともに指数関数的に減衰するので、深層モデルは訓練に失敗し、精度の低いものは悪化する。 近年の2つの手法のペアリングは、識別と生成を統一する双方向PC(bPC)と、推論中の状態ではなく予測エラーを最適化するエラーベースの再パラメータ化(ePC)という、4ビットの深い状態に設定された完全なPCN特性を持つことを示す。 エラー最適化は、信号の減衰を除去し、1つの追加要素であるエラー勾配のグローバルノームクリッピングは、深さでのエラーダイナミクスを安定化させる。 結果として得られたePC+bPCモデルは、少なくとも8層まで安定してトレーニングし、FP4および3つのポジットフォーマットで、W4A4E4量子化対応トレーニングの下で完全な精度とクリーンなクラス条件生成を保持する。 状態ベースのbPCが崩壊する6層ネットワークでは、ePC+bPCはトレーニングの1時間後に50以上の精度ポイントを分類し、RMSEではクラス条件世代が5-9倍向上した。 4ビットの量子化は、ほぼ自由である: 完全精度と4ビットの精度は、最大で5点、最高のパフォーマンスのフォーマットでは2点以下で異なる。 我々は,本手法が克服する2つの障害モード,状態ベースPCにおける有界信号減衰,非正規化エラー最適化における誤差分散を特徴付けるとともに,4ビットネイティブPCNアクセラレーターへの影響について議論する。

関連論文リスト

• Full-Stack FP4: Stable LLM Pretraining with Quantized Projections, Optimizers, and Attention [34.07319488267708]
  最近のNVFP4事前学習法は主に変圧器線形層を対象としており、4ビットパイプラインで探索された計算状態、算術的および注意点を残している。 この臨界ギャップは、3つのコアモジュールがユニークな数値的な故障パターンを示すため、安定なフルスタック4ビットプリトレーニングをブロックする。 3つの安定性ボトルネックをすべて解決した最初の完全NVFP4事前学習フレームワークであるFull-Stack FP4を提案する。
  論文  参考訳（メタデータ） (2026-07-05T17:31:36Z)
• Error Highways: Scaling Predictive Coding to Very Deep Networks [45.88028371034407]
  予測符号化ネットワーク(PCN)は、生物学的に証明可能な、局所学習の代替として、エラーのバックプロパゲーション(バックプロップ)を提供する PCNのスケーリングにおける中心的な障害は、学習信号がひび割れた境界から遠ざかるにつれて急速に減衰することである。 予測符号化(PC)に基づく自由エネルギー関数を,その神経構造を変化させることで拡張する手法であるハイウェイエラー伝搬(HEP)を提案する。
  論文  参考訳（メタデータ） (2026-06-22T01:12:29Z)
• Normalized Architectures are Natively 4-Bit [49.13186675123547]
  重みと隠れ表現を単位超球面に制限するアーキテクチャであるnGPTは、本質的に低精度算術よりも堅牢である。 本手法は,最大3B/30Bパラメータの1.2B密度モデルとハイブリッド(Mamba-Transformer)MoEモデルの両方で検証する。
  論文  参考訳（メタデータ） (2026-05-07T11:54:07Z)
• ePC: Overcoming Exponential Signal Decay in Deep Predictive Coding Networks [9.400040788307223]
  Predictive Coding (PC)は、ニューラルネットワークトレーニングのバックプロパゲーションに生物学的に妥当な代替手段を提供する。 本稿では根本原因を特定し,原理的解法を提案する。
  論文  参考訳（メタデータ） (2025-05-26T15:39:16Z)
• SDP4Bit: Toward 4-bit Communication Quantization in Sharded Data Parallelism for LLM Training [14.668492780934336]
  分散トレーニング、特にSharded Data Parallelism(ShardedDP)は、トレーニング時間とメモリ使用量を軽減する重要なテクニックとして登場した。 ShardedDPのスケーラビリティにおける大きな課題は、重みと勾配の集中的なコミュニケーションである。 本稿では,2つの新しい手法により,重みと勾配の通信を4ビット程度に効果的に削減するSDP4Bitを提案する。
  論文  参考訳（メタデータ） (2024-10-20T22:36:02Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• QUIK: Towards End-to-End 4-Bit Inference on Generative Large Language Models [57.04178959678024]
  重み付けとアクティベーションの両方を4ビットにキャストすることで、大きな生成モデルに対する推論計算の大部分が実行可能であることを示す。 これをQUIKと呼ばれるハイブリッド量子化戦略により実現し、重みとアクティベーションの大部分を4ビットに圧縮する。 我々は、QUIKフォーマットを高効率なレイヤワイドランタイムに適合させるGPUカーネルを提供し、これにより、エンドツーエンドのスループットが3.4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-13T17:15:05Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。