論文の概要: PotentialEP: Backprop-Free Training of CIFAR-Scale Generative Models via Equilibrium Propagation

• arxiv url: http://arxiv.org/abs/2610.14409v1
• Date: Sat, 10 Oct 2026 00:06:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.831719
• Title: PotentialEP: Backprop-Free Training of CIFAR-Scale Generative Models via Equilibrium Propagation
• Title（参考訳）: PotentialEP: 平衡伝播によるCIFARスケール生成モデルのバックプロップフリートレーニング
• Abstract要約: エネルギーマッチング(Energy Matching)は、時間に依存しないポテンシャルの勾配の緩和による最初のサンプリングを提供する。 我々は、そのエネルギーに1つの線形注入項が付加された予測符号化ネットワークが、その勾配を可視層が本質的に保持する状態に緩和されることを証明した。 したがって、バックプロパゲーションによって訓練されたエネルギーマッチングモデルは、このネットワークに不変にロードされ、緩和だけでサンプリングされる。 これらの更新で終端となるトレーニングは、無条件のCIFAR-10で3.64のFIDに達し、バックプロパゲーションでは3.54となる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating an image with a diffusion or flow-matching model typically involves integrating a velocity field for hundreds of sequential steps. That computation suits a GPU poorly and an analog neuromorphic substrate well, where one fast, low-power physical relaxation could replace the whole sequence. Two things are needed: a generative algorithm whose computation is a relaxation, and a way to train it without backpropagation, whose global gradient transport is hard to realise in analog. Energy Matching supplies the first, sampling by gradient-descent relaxation on a time-independent potential - but obtaining the gradient that descent follows is itself a backward pass, once per integration step. We prove that a predictive coding network with a single linear injection term added to its energy relaxes to a state whose visible layer carries that gradient inherently, with an error that vanishes for small injection strengths. An Energy Matching model trained by backpropagation can therefore be loaded into this network unchanged and sampled by relaxation alone, matching the original model's FID to within 0.04 at CIFAR-10 and ImageNet-32 scale. The network can also be trained without backpropagation: Equilibrium Propagation reproduces backpropagation's parameter updates to a cosine similarity of 0.9998, and training end to end with those updates reaches an FID of 3.64 on unconditional CIFAR-10 against 3.54 for backpropagation. To our knowledge this is the first CIFAR-10 generative model trained with Equilibrium Propagation, and the first at competitive quality by any backpropagation-free rule. This quality does not require group normalisation or attention: an architecture of only convolutions and pointwise nonlinearities, both native to an analog crossbar, reaches an FID of 3.51 when trained by backpropagation.
• Abstract（参考訳）: 拡散または流れマッチングモデルで画像を生成する場合、典型的には数百ステップの速度場を統合する必要がある。 この計算はGPUとアナログのニューロモルフィック基板に適しており、高速で低消費電力な物理緩和がシーケンス全体を置き換える可能性がある。 計算が緩和である生成アルゴリズムと、そのグローバルな勾配輸送がアナログで実現し難いバックプロパゲーションなしでそれを訓練する方法の2つが必要である。 エネルギーマッチングは、時間に依存しないポテンシャルで勾配の緩やかな緩和によって最初のサンプリングを供給します。 我々は、そのエネルギーに1つの線形注入項を加えた予測符号化ネットワークが、その勾配を本質的に有する状態に緩和し、小さな注入強度の誤差がなくなることを証明した。 したがって、バックプロパゲーションによって訓練されたエネルギーマッチングモデルは、このネットワークにロードされ、緩和のみでサンプリングされ、元のモデルのFIDは CIFAR-10 と ImageNet-32 スケールで 0.04 の範囲内と一致する。 Equilibrium Propagationはバックプロパゲーションのパラメータ更新を0.9998のコサイン類似度に再現し、これらの更新で終わるトレーニング終端は、バックプロパゲーションのために無条件のCIFAR-10で3.54に対して3.64のFIDに達する。 我々の知る限り、これはEquilibrium Propagationで訓練された最初のCIFAR-10生成モデルであり、バックプロパゲーションフリールールによる競争品質の最初のモデルである。 この性質は群正規化や注意を必要としない:畳み込みとポイントワイド非線形性のアーキテクチャは、どちらもアナログクロスバーに固有のもので、バックプロパゲーションによって訓練されたときに3.51のFIDに達する。

関連論文リスト

• Equivariant Continuous Normalizing Flows with Offline Sampling for Fermionic Ground State Estimation [0.0]
  フローは置換同変ニューラルODEとして実装される。 調和に閉じ込められたスピンレス電子系のトレーニングは、CISD基準値以下の基底状態エネルギーを示す。 スケーリング実験では、NERSCのPerlmutterスーパーコンピュータの32のGPUノードを使用して、1～128のNVIDIA A100のほぼ理想的なスケーリングを実証している。
  論文  参考訳（メタデータ） (2026-07-20T20:17:13Z)
• Learning to Solve Generative ODEs Beyond the Linear Span [50.13853710831612]
  空間残留演算子を用いてスカラー係数更新を増強する軽量ニューラルソルバであるSpanLiftを提案する。 SpanLiftは、ピクセル空間の拡散、潜水流のマッチング、降水は今、最先端の数ステップのサンプリングを実現している。
  論文  参考訳（メタデータ） (2026-06-07T15:22:13Z)
• VEDAL: Variational Error-Driven Asynchronous Learning for 3D Gaussian Splatting Pruning [5.881987656920194]
  3D Splatting (3DGS) は, リアルタイム合成による目覚ましいビューレンダリング品質を実現しているが, 過剰なメモリ消費に悩まされている。 変分自由エネルギー最小化としてガウシアンプルーニングを定式化する原理的枠組みであるVEDALを提案する。 Mip-NeRF 360、Tants&Temples、Deep Blendingの実験では、VEDAL 5.2x圧縮はわずか0.31dBのPSNRで、PUP 3D-GSを0.05dB、LightGaussianを0.35dBで上回った。
  論文  参考訳（メタデータ） (2026-06-01T14:56:50Z)
• Unextractable Protocol Models: Collaborative Training and Inference without Weight Materialization [58.14514930760722]
  参加者が協力して大規模なニューラルネットワークを訓練し、提供する分散セットアップを検討する。 このセットアップでは、フルウェイトセットがどの参加者にも利用できないような、非機械的なウェイトの可能性を探る。 我々は、シャードモデルセットアップを利用するトレーニングおよび推論フレームワーク、Unextractable Protocol Models (UPMs)を紹介する。
  論文  参考訳（メタデータ） (2026-05-22T10:24:57Z)
• Self-Adversarial One Step Generation via Condition Shifting [11.426065945265647]
  APEXは、フローモデルから不均一に抽出された逆補正信号のフレームワークである。 私たちの0.6BモデルはFLUX-Schnell 12B(20$times$ more parameters)を1ステップ品質で上回ります。 Qwen-Image 20BのLoRAチューニングにより、APEXは6時間でNFE=1のGenEvalスコア0.89に達し、最初の50ステップの教師(0.87)を超え、15.33$times$推論スピードアップを提供する。
  論文  参考訳（メタデータ） (2026-04-14T05:54:33Z)
• Graph Neural ODE Digital Twins for Control-Oriented Reactor Thermal-Hydraulic Forecasting Under Partial Observability [6.370970195988317]
  高度原子炉のリアルタイム監視制御には、プラント全体の熱水和状態の正確な予測が必要である。 物理インフォームドメッセージパス型微分ニューラルネットワークとニューラル正規方程式(GNN-ODE)を提案する。 GNN-ODEサロゲートはシステムダイナミクス予測に満足な結果が得られる。
  論文  参考訳（メタデータ） (2026-04-08T16:58:14Z)
• Flow-GRPO: Training Flow Matching Models via Online RL [80.62659379624867]
  本稿では,オンライン政策強化学習をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。 提案手法では,(1)決定論的正規微分方程式を同値な微分方程式に変換するODE-to-SDE変換と,(2)推論ステップの数を維持しながらトレーニングの段階を短縮するDenoising Reduction戦略の2つの主要な戦略を用いる。
  論文  参考訳（メタデータ） (2025-05-08T17:58:45Z)
• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• A Distributed Optimisation Framework Combining Natural Gradient with Hessian-Free for Discriminative Sequence Training [16.83036203524611]
  本稿では、ニューラルネットワークトレーニングのための自然勾配およびヘッセンフリー(NGHF)最適化フレームワークを提案する。 これは、自然勾配(ng)法とヘッセンフリー(hf)や他の二次法からの局所曲率情報を組み合わせた線形共役勾配(cg)アルゴリズムに依存している。 さまざまな音響モデルタイプのマルチジャンル放送データセットで実験が報告されています。
  論文  参考訳（メタデータ） (2021-03-12T22:18:34Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
  実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。 これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
  論文  参考訳（メタデータ） (2020-06-06T09:36:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。