論文の概要: Augmented Lagrangian Predictive Coding

• arxiv url: http://arxiv.org/abs/2605.31022v1
• Date: Fri, 29 May 2026 08:54:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.487177
• Title: Augmented Lagrangian Predictive Coding
• Title（参考訳）: 拡張ラグランジアン予測符号化
• Abstract要約: 予測符号化(PC)はバックプロパゲーション(BP)に代わる局所学習である 拡張ラグランジアン予測符号化(PC-ALM)について紹介する。 非線形PCネットワークにおけるPC-ALMを深さ128まで解析する。
• 参考スコア（独自算出の注目度）: 0.7980273012483662
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predictive coding (PC) is a local-learning alternative to backpropagation (BP), training deep networks via local energy-minimization dynamics rather than a global backward pass. We introduce Augmented Lagrangian Predictive Coding (PC-ALM), which maintains PC's inference budget but aligns each weight update toward BP by accumulating per-layer constraint errors into a layer-local Lagrange multiplier. In linear PC networks, PC-ALM converges to an equilibrium with exact BP gradients distributed across the network via only layer-local updates. We analyze PC-ALM in nonlinear PC networks up to depth 128 and show that it matches BP performance across all width-depth regimes, notably in deep narrow networks where PC underperforms. PC-ALM introduces recurrent dynamics in each layer's activations. Compared to PC's heat flow on a scalar energy, PC-ALM dynamics are driven by dual ascent on the augmented Lagrangian. We observe "ballistic" credit propagation across very deep networks, with credit signals evenly distributed across layers, compared to PC's slow, diffusive credit propagation. Beyond the algorithm itself, the augmented Lagrangian framework offers a generalization of PC, and may yield insights into how distributed systems could compute and propagate BP-like credit signals through purely local dynamics.
• Abstract（参考訳）: 予測符号化(PC)は、バックプロパゲーション(BP)に代わるローカル学習であり、グローバルなバックワードパスではなく、局所的なエネルギー最小化ダイナミクスを通じてディープネットワークを訓練する。 我々はPCの推論予算を維持するが、各重み更新をBPに向けて調整するAugmented Lagrangian Predictive Coding (PC-ALM)を導入し、層間制約誤差を局所的なラグランジュ乗算器に蓄積する。 線形PCネットワークでは、PC-ALMは階層ローカル更新のみを通じてネットワーク全体に分布する正確なBP勾配の平衡に収束する。 非線形PCネットワークにおけるPC-ALMを深さ128まで解析し,特にPCの性能が低い深い狭帯域ネットワークにおいて,BP性能に適合することを示す。 PC-ALMは各レイヤのアクティベーションにリカレントダイナミクスを導入する。 スカラーエネルギー上のPCの熱流と比較して、PC-ALM力学はラグランジアンの二重昇華によって駆動される。 非常に深いネットワークにまたがる"弾道的"な信用伝播を観察し, 層間を均等に分散した信用信号とPCの遅くて拡散的な信用伝播とを比較した。 アルゴリズムそのものを超えて、拡張されたラグランジアンフレームワークはPCの一般化を提供し、分散システムが純粋に局所力学を通してBP様の信用信号を計算し、伝播する方法についての洞察を与える可能性がある。

関連論文リスト

• Rethinking the Divergence Regularization in LLM RL [56.952725733148746]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)の訓練後において重要な要素となっている。 そこで本稿では,ハードマスクをスムーズなアドバンテージ重み付き二次正規化器に置き換える多変量正規化政策最適化(DRPO)を提案する。 DRPOはDPPOと同じ信頼領域を保ちながら、有界で連続的な勾配重みを誘導する。
  論文  参考訳（メタデータ） (2026-06-08T17:58:23Z)
• Accelerated Predictive Coding Networks via Direct Kolen-Pollack Feedback Alignment [7.328567184271344]
  予測符号化(PC)は、局所的な更新のみに依存するニューラルネットワークをトレーニングするための生物学的にインスパイアされたアルゴリズムである。 直接コレン・ポラック予測符号化(DKP-PC)を提案する。 フィードバック遅延と指数減衰の両方に同時に対処し、より効率的でスケーラブルなPCを提供する。
  論文  参考訳（メタデータ） (2026-02-17T13:29:14Z)
• Towards Scaling Deep Neural Networks with Predictive Coding: Theory and Practice [1.2691047660244335]
  バックプロパゲーション(BP)は、現代の人工知能を支えるディープニューラルネットワークをトレーニングするための標準アルゴリズムである。 この論文は、予測符号化(PC)という、より効率的な脳誘発アルゴリズムの研究である。
  論文  参考訳（メタデータ） (2025-10-24T14:47:49Z)
• CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks [57.95170323315603]
  CollaPipeは、コラボレーティブパイプライン並列性とフェデレーションアグリゲーションを統合し、自己進化型ネットワークをサポートする分散学習フレームワークである。 CollaPipeでは、エンコーダ部分は可変サイズのセグメントに適応的に分割され、パイプライン並列トレーニングのためにモバイルデバイスにデプロイされ、デコーダは生成タスクを処理するためにエッジサーバにデプロイされる。 トレーニング効率を向上させるために,モデルセグメント,マイクロバッチ,帯域幅,送信電力を適応的に割り当てる共同最適化問題を定式化する。
  論文  参考訳（メタデータ） (2025-09-24T07:54:01Z)
• Bio-Inspired Artificial Neural Networks based on Predictive Coding [7.500043032028289]
  エラーのバックプロパゲーション(BP)は、人工ニューラルネットワーク(ANN)のバックボーントレーニングアルゴリズムである BPはチェーンルールを使用してネットワーク階層を通して損失勾配を後方に伝播し、効率的な重み更新を可能にする。 予測符号化(PC)は、局所情報のみを使用して重みを更新する生物学的に妥当な代替手段として関心を集めている。
  論文  参考訳（メタデータ） (2025-08-12T09:09:16Z)
• ePC: Overcoming Exponential Signal Decay in Deep Predictive Coding Networks [9.400040788307223]
  Predictive Coding (PC)は、ニューラルネットワークトレーニングのバックプロパゲーションに生物学的に妥当な代替手段を提供する。 本稿では根本原因を特定し,原理的解法を提案する。
  論文  参考訳（メタデータ） (2025-05-26T15:39:16Z)
• Tight Stability, Convergence, and Robustness Bounds for Predictive Coding Networks [60.3634789164648]
  予測符号化(PC)のようなエネルギーベースの学習アルゴリズムは、機械学習コミュニティにおいて大きな注目を集めている。 動的システム理論のレンズを用いて,PCの安定性,堅牢性,収束性を厳密に解析する。
  論文  参考訳（メタデータ） (2024-10-07T02:57:26Z)
• Understanding Predictive Coding as an Adaptive Trust-Region Method [0.0]
  我々は,2次情報を用いた適応信頼領域(TR)アルゴリズムとしてPCの理論を開発する。 我々は,PCの学習力学を,BPの損失勾配方向とPC推論のTR方向との補間と解釈できることを示した。
  論文  参考訳（メタデータ） (2023-05-29T16:25:55Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Dynamic Slimmable Network [105.74546828182834]
  ダイナミックスリム化システム「ダイナミックスリム化ネットワーク(DS-Net)」を開発。 ds-netは,提案するダブルヘッド動的ゲートによる動的推論機能を備えている。 静的圧縮法と最先端の静的および動的モデル圧縮法を一貫して上回っている。
  論文  参考訳（メタデータ） (2021-03-24T15:25:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。