論文の概要: Weight Feedback Computes the Jacobian Transpose Locally in Modern Deep Networks

• arxiv url: http://arxiv.org/abs/2607.13380v1
• Date: Wed, 15 Jul 2026 02:18:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.621667
• Title: Weight Feedback Computes the Jacobian Transpose Locally in Modern Deep Networks
• Title（参考訳）: 現代のディープネットワークにおけるジャコビアン変換を局所的に計算する重みフィードバック
• Abstract要約: Predictive Coding (PC)は、生物学的に動機づけられた、局所的な重み更新によるバックプロパゲーションの代替手段を提供する。 この依存関係はWF-Act-PCでは避けられません。
• 参考スコア（独自算出の注目度）: 19.603849788984217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predictive Coding (PC) offers a biologically motivated alternative to backpropagation via local weight updates, yet routing error between layers still relies on an autograd Jacobian-transpose ($J^\top$) product - the last non-local operation in PC. We show that this dependency is largely avoidable. For any layer $f(x)=\mathrm{Act}(\mathrm{Norm}(L(x)))$ with frozen normalization statistics, the exact $J^\top$ factors into three locally available terms, $J^\top v = L^\top(s \odot σ'(z) \odot v)$, where $σ'$ is the activation derivative, $z$ is the pre-activation, and $s=γ/σ_{\mathrm{run}}$ is the normalization gain. Prior weight-feedback methods omitted both corrections; restoring them closes the transport gap for this layer class. Locality here holds up to three assumptions, which we state upfront: weight symmetry ($L^\top$ mirrors the forward operator, as assumed by all PC), a soft spectral-norm control that is not synapse-local, and a nearest-neighbour approximation for MaxPool. Substituting the identity into PC yields WF-Act-PC, which removes the autograd backward pass from error transport. On CIFAR-10/100 (50 epochs, 5 seeds), WF-Act-PC is the only PC method whose accuracy improves with depth, surpassing iPC - the strongest classical PC baseline - by 2.7-22.3 pp on CIFAR-10. With both methods tuned per architecture, it matches or exceeds a comparably-tuned backpropagation baseline on the deeper CIFAR-10 architectures (VGG-9: 93.57% vs. 92.43%; ResNet-18: 92.76% vs. 91.54%) and on the harder Tiny-ImageNet benchmark, while trailing tuned BP on the deeper CIFAR-100 VGG cells. Our WF-Act-PC implementation is publicly available at https://github.com/jlshen025/pcax
• Abstract（参考訳）: Predictive Coding (PC)は、局所的な重み付けによるバックプロパゲーションに代わる生物学的に動機づけられた代替手段を提供するが、レイヤ間のルーティングエラーは、PCにおける最後の非ローカル操作である、自動的なJacobian-transpose(J^\top$)製品に依存している。 この依存関係は、ほとんど避けられません。 任意の層$f(x)=\mathrm{Act}(\mathrm{Norm}(L(x)))$ 凍結正規化統計を持つ場合、正確な$J^\top$ 因子を3つの局所的に利用可能な項に分割すると、$J^\top v = L^\top(s \odot σ'(z) \odot v)$ となる。 以前の重み付けフィードバック法は両方の補正を省略し、それらを復元することで、この層クラスの輸送ギャップを閉じる。 ここでの局所性は最大で3つの仮定が成り立つ: 重み対称性(L^\top$ mirrors the forward operator, such as all PCsums)、シナプス局所ではない軟スペクトルノルム制御、マックスプールの近傍近似。 PC にIDを置換すると WF-Act-PC が得られ、これはオートグレードの後方通過をエラー転送から除去する。 CIFAR-10/100 (50 epochs, 5 seed)では、WF-Act-PCがCIFAR-10で2.7-22.3ppのiPC(古典的なPCベースライン)を上回り、深度で精度が向上する唯一のPC手法である。 どちらの手法もアーキテクチャごとに調整されているため、より深いCIFAR-10アーキテクチャ(VGG-9: 93.57% vs. 92.43%; ResNet-18: 92.76% vs. 91.54%)とより厳しいTiny-ImageNetベンチマークに適合し、より深いCIFAR-100 VGG細胞でBPを調整した。 私たちのWF-Act-PC実装はhttps://github.com/jlshen025/pcaxで公開されています。

関連論文リスト

• Teach it to stop, not just to click [0.0]
  修復された政策の成功率は上流の足場に支配されていることを示す。 通常のk-seedレポートのためのライブラリ(cua_reliability)をリリースする。
  論文  参考訳（メタデータ） (2026-07-19T08:46:06Z)
• BiPACE: Bisimulation-Guided Policy Optimization with Action Counterfactual Estimation for LLM Agents [10.767742708000897]
  ステップワイズグループベースのRLは、学習評論家なしで長期のLDMエージェントを訓練する魅力的な方法である。 現在のエージェントの変種は、状態-アクションの信用ミスマッチによってこの仮定に反することを示す。 批判や補助的な損失、余分なロールアウトを加えることなく、双方を修正できる、ドロップインの利点推定ツールであるBiPACEを紹介します。
  論文  参考訳（メタデータ） (2026-06-24T08:32:42Z)
• Exact equivariance, kept through training, buys zero-shot generalisation across the symmetry group [6.230579198456525]
  等変エンコーダ$E$と等変予測器$f$から構築された潜在世界モデルは、トレーニング損失の証明可能な対称性を継承する。 このエンドツーエンドをラップトップスケール(CPU/MPS、完全シード)で検証する。
  論文  参考訳（メタデータ） (2026-06-02T01:20:24Z)
• DualTCN: A Physics-Constrained Temporal Convolutional Network for 2 Time-Domain Marine CSEM Inversion [1.2031796234206138]
  DualTCNは、時間領域の海洋電磁制御源(MCSEM)過渡データを反転させるための最初のディープラーニングフレームワークである。 このフレームワークは、4つのアースモデルパラメータを回帰し、微分可能なソフトステップデコーダを用いてプロファイルを再構成する。 このフレームワークは、カリキュラムベースの振幅増大によるノイズに対する高い堅牢性を示し、平均$barR2$ 0.858 at $pm2%$ランダム振幅誤差を維持している。
  論文  参考訳（メタデータ） (2026-05-06T14:58:17Z)
• Do Post-Training Algorithms Actually Differ? A Controlled Study Across Model Scales Uncovers Scale-Dependent Ranking Inversions [1.6498361958317636]
  51のポストトレーニングアルゴリズムを同一のインフラで実装した統合フレームワークを提案する。 本研究では,4つのモデルスケール(0.5B--7B),3つの評価領域,20種類のDPO分類にまたがる8つのアルゴリズムについて検討した。 20種類のDPOはボンフェロニ補正後にバニラDPOを著しく上回りませんが、唯一の重要な異常値であるSimPOはより悪くなります。
  論文  参考訳（メタデータ） (2026-03-19T04:10:38Z)
• Reinforcement Learning from Adversarial Preferences in Tabular MDPs [62.73758165845971]
  我々は,敵対的嗜好を持つエピソードマルコフ決定プロセス(MDP)の新たな枠組みを導入する。 PbMDP では、標準的なエピソード MDP とは異なり、学習者は2つの候補アーム間の好みを観察する。 我々は、既知遷移の下で、T2/3$という残差境界を達成するアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2025-07-15T20:19:32Z)
• Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction [57.93371273485736]
  我々は、すべての労働者が同一の分布にアクセスする均質な(すなわちd.d.)場合であっても、すべての労働者が非バイアス付き境界 LDeltaepsilon2,$$$$$ のポリ対数的により良いポリ対数を求める集中型分散学習環境を考える。
  論文  参考訳（メタデータ） (2025-06-30T13:27:39Z)
• $μ$PC: Scaling Predictive Coding to 100+ Layer Networks [2.7309692684728617]
  非常に深いネットワーク上で"$mu$PC"を確実にトレーニングできることを示します。 我々の結果は、他のローカルアルゴリズムに影響を及ぼし、畳み込みおよびトランスフォーマーアーキテクチャに拡張できる可能性がある。
  論文  参考訳（メタデータ） (2025-05-19T13:54:29Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Near-optimal Regret Using Policy Optimization in Online MDPs with Aggregate Bandit Feedback [49.84060509296641]
  オンライン有限水平マルコフ決定過程を逆向きに変化した損失と総括的帯域幅フィードバック(フルバンド幅)を用いて研究する。 この種のフィードバックの下では、エージェントは、軌跡内の各中間段階における個々の損失よりも、軌跡全体に生じる総損失のみを観察する。 この設定のための最初のポリシー最適化アルゴリズムを紹介します。
  論文  参考訳（メタデータ） (2025-02-06T12:03:24Z)
• Near Sample-Optimal Reduction-based Policy Learning for Average Reward MDP [58.13930707612128]
  この研究は、平均報酬マルコフ決定過程(AMDP)における$varepsilon$-Optimal Policyを得る際のサンプルの複雑さを考察する。 我々は、状態-作用対当たりの$widetilde O(H varepsilon-3 ln frac1delta)$サンプルを証明し、$H := sp(h*)$は任意の最適ポリシーのバイアスのスパンであり、$varepsilon$は精度、$delta$は失敗確率である。
  論文  参考訳（メタデータ） (2022-12-01T15:57:58Z)
• Differentially Private Image Classification from Features [53.75086935617644]
  転送学習を活用することは、差分プライバシーを持つ大規模モデルのトレーニングに有効な戦略であることが示されている。 最近の研究によると、訓練済みモデルの最後の層だけをプライベートにトレーニングすることは、DPで最高のユーティリティを提供する。
  論文  参考訳（メタデータ） (2022-11-24T04:04:20Z)
• Nearly Minimax Optimal Reward-free Reinforcement Learning [88.75843804630772]
  本稿では、特にバッチ強化学習に適した報酬不要強化学習フレームワークと、複数の報酬関数に対するポリシーを必要とするシナリオについて検討する。 textbfStaged textbfSampling + textbfTruncated textbfPlanning (algoname) という新しい効率的なアルゴリズムを提供しています。
  論文  参考訳（メタデータ） (2020-10-12T17:51:19Z)
• Deep Learning Meets Projective Clustering [66.726500395069]
  NLPネットワークを圧縮するための一般的なアプローチは、埋め込み層を行列 $AinmathbbRntimes d$ としてエンコードすることである。 計算幾何学から遠射的クラスタリングに着想を得て、この部分空間を$k$部分空間の集合で置き換えることを提案する。
  論文  参考訳（メタデータ） (2020-10-08T22:47:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。