論文の概要: Analog-Friendly Predictive Coding without Activation Derivatives

• arxiv url: http://arxiv.org/abs/2609.32350v1
• Date: Sat, 26 Sep 2026 08:13:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 17:31:40.88437
• Title: Analog-Friendly Predictive Coding without Activation Derivatives
• Title（参考訳）: アクティベーションデリバティブを含まないアナログフレンドリーな予測符号化
• Abstract要約: 本稿では,標準二乗誤差エネルギーを活性化関数に適合したブレグマンダイバージェンスに置き換えたテクスチャアクティベーション整合ブレグマンPCを提案する。 この定式化は活性化誘導体を排除し、ミラー降下による推論と組み合わせると、局所的な推論と学習規則をもたらす。 デジタル実験では、Bregman PCは分類および生成タスクにおいて標準のPCとBPと互換性がある。
• 参考スコア（独自算出の注目度）: 1.2691047660244335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predictive coding (PC) is a local, energy-based alternative to backpropagation (BP) whose iterative inference dynamics make it attractive for implementation on analog hardware. However, standard nonlinear PC requires evaluating the derivative of the activation function during both inference and learning, which can be difficult to realise physically. Here, we introduce \textit{activation-matched Bregman PC}, replacing standard squared-error energies with Bregman divergences matched to the activation function. This formulation eliminates activation derivatives and, when combined with inference via mirror descent, yields local inference and learning rules requiring only weighted sums, local prediction errors, state integration, and the activation function. In digital experiments, Bregman PC performs comparably to standard PC and BP on classification and generative tasks, while preserving characteristic learning dynamics of PC and its convergence to BP under stable large-model parameterisations. These results provide a more analog-friendly formulation of nonlinear PC while retaining its key computational properties.
• Abstract（参考訳）: 予測符号化(PC)は、バックプロパゲーション(BP)に代わる局所的なエネルギーベースの代替であり、その反復推論ダイナミクスはアナログハードウェアの実装に魅力的なものである。 しかし、標準的な非線形PCでは、推論と学習の両方においてアクティベーション関数の微分を評価する必要があり、物理的に実現することは困難である。 ここでは、標準的な二乗誤差エネルギーを活性化関数にマッチしたブレグマン発散器に置き換える、‘textit{activation-matched Bregman PC} を導入する。 この定式化は活性化微分を排除し、ミラー降下による推論と組み合わせると、加重和のみを必要とする局所推論と学習規則、局所予測誤差、状態積分、活性化関数が得られる。 ディジタル実験では、Bregman PCは分類および生成タスクにおいて標準のPCとBPに比較可能であり、PCの特性学習ダイナミクスと安定な大モデルパラメータ化の下でBPへの収束を保っている。 これらの結果は、その重要な計算特性を維持しつつ、よりアナログフレンドリな非線形PCの定式化を提供する。

関連論文リスト

• Unbiased Gradient Estimation for Event Binning via Functional Backpropagation [64.88399635309918]
  バックプロパゲーション中に弱微分を合成することにより任意の双対関数の非バイアス勾配推定のための新しいフレームワークを提案する。 自己監督型光流ではECEが9.4%,SLAMでは5.1%低下し,事象に基づく視覚知覚において大きなメリットが示された。
  論文  参考訳（メタデータ） (2026-02-13T04:05:03Z)
• Efficient Inference for Inverse Reinforcement Learning and Dynamic Discrete Choice Models [35.877107409163784]
  逆強化学習(IRL)と動的離散選択(DDC)モデルは、観察された振る舞いを合理化する報酬関数を回復することにより、シーケンシャルな意思決定を説明する。 本研究では,広義の報酬依存関数に対して統計的に効率的な推論を行う半パラメトリックな逆強化学習フレームワークを開発した。
  論文  参考訳（メタデータ） (2025-12-30T18:41:05Z)
• Stochastic Forward-Forward Learning through Representational Dimensionality Compression [14.020257767487323]
  本稿では, 2次統計構造を組み込むために, 変動するニューラルレスポンスの有効次元を用いた新しい良性関数次元圧縮を提案する。 本研究は, より生物学的に検証可能な学習アルゴリズムの開発に寄与し, ニューロモルフィックコンピューティングに自然に適合することが示唆された。
  論文  参考訳（メタデータ） (2025-05-22T13:19:29Z)
• Tight Stability, Convergence, and Robustness Bounds for Predictive Coding Networks [60.3634789164648]
  予測符号化(PC)のようなエネルギーベースの学習アルゴリズムは、機械学習コミュニティにおいて大きな注目を集めている。 動的システム理論のレンズを用いて,PCの安定性,堅牢性,収束性を厳密に解析する。
  論文  参考訳（メタデータ） (2024-10-07T02:57:26Z)
• Impacts of floating-point non-associativity on reproducibility for HPC and deep learning applications [0.0]
  浮動小数点非連想性に起因する並列プログラムにおける変数の実行は、アルゴリズムに大きな影響を与えることが知られている。 並列プログラミングモデルにおける浮動小数点非連想性の統計的性質について検討する。 我々は、ディープラーニングのためのGPUデプロイメントのコンテキスト内で、最近追加されたPyTorchの決定論的オプションについて検討する。
  論文  参考訳（メタデータ） (2024-08-09T16:07:37Z)
• Robust Value Iteration for Continuous Control Tasks [99.00362538261972]
  シミュレーションから物理システムへ制御ポリシを転送する場合、そのポリシは、動作の変動に対して堅牢でなければならない。 本稿では、動的プログラミングを用いて、コンパクトな状態領域上での最適値関数を計算するRobust Fitted Value Iterationを提案する。 より深い強化学習アルゴリズムや非ロバストなアルゴリズムと比較して、ロバストな値の方が頑健であることを示す。
  論文  参考訳（メタデータ） (2021-05-25T19:48:35Z)
• Value Iteration in Continuous Actions, States and Time [99.00362538261972]
  連続状態と動作に対する連続的適合値反復(cFVI)アルゴリズムを提案する。 非線形制御アフィンダイナミクスに対して最適なポリシを導出することができる。 物理システムのビデオは、urlhttps://sites.google.com/view/value-iteration.comで入手できる。
  論文  参考訳（メタデータ） (2021-05-10T21:40:56Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。