論文の概要: Stochastic Variational Propagation: Local, Scalable and Efficient Alternative to Backpropagation

• arxiv url: http://arxiv.org/abs/2505.05181v3
• Date: Thu, 22 May 2025 08:58:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 14:49:22.323473
• Title: Stochastic Variational Propagation: Local, Scalable and Efficient Alternative to Backpropagation
• Title（参考訳）: 確率的変動伝搬 : バックプロパゲーションの局所的、スケーラブルで効率的な代替手段
• Authors: Bojian Yin, Federico Corradi,
• Abstract要約: バックプロパゲーション(BP)はディープラーニングの基盤であるが、グローバルな勾配同期に依存しているためスケーラビリティが制限される。 本稿では、階層的変分推論としてトレーニングを再構成するスケーラブルな代替手段である変分伝搬(SVP)を提案する。
• 参考スコア（独自算出の注目度）: 2.1838661321884443
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Backpropagation (BP) is the cornerstone of deep learning, but its reliance on global gradient synchronization limits scalability and imposes significant memory overhead. We propose Stochastic Variational Propagation (SVP), a scalable alternative that reframes training as hierarchical variational inference. SVP treats layer activations as latent variables and optimizes local Evidence Lower Bounds (ELBOs), enabling independent, local updates while preserving global coherence. However, directly applying KL divergence in layer-wise ELBOs risks inter-layer's representation collapse due to excessive compression. To prevent this, SVP projects activations into low-dimensional spaces via fixed random matrices, ensuring information preservation and representational diversity. Combined with a feature alignment loss for inter-layer consistency, SVP achieves competitive accuracy with BP across diverse architectures (MLPs, CNNs, Transformers) and datasets (MNIST to ImageNet), reduces memory usage by up to 4x, and significantly improves scalability. More broadly, SVP introduces a probabilistic perspective to deep representation learning, opening pathways toward more modular and interpretable neural network design.
• Abstract（参考訳）: バックプロパゲーション(BP)はディープラーニングの基盤であるが、グローバルな勾配同期に依存しているためスケーラビリティが制限され、メモリオーバーヘッドが大幅に増大する。 本稿では、階層的変分推論としてトレーニングを再構成するスケーラブルな代替手段として、確率的変分伝搬(SVP)を提案する。 SVPはレイヤアクティベーションを潜在変数として扱い、ローカルエビデンスローバウンド(ELBO)を最適化し、グローバルコヒーレンスを維持しながら、独立したローカル更新を可能にする。 しかし、層ワイドELBOにおいて直接KL分散を適用すると、過剰な圧縮による層間表現の崩壊が生じる。 これを防ぐため、SVPは、固定されたランダム行列を通して低次元空間への活性化を計画し、情報の保存と表現の多様性を保証する。 SVPは、層間一貫性のための機能アライメント損失と組み合わせて、さまざまなアーキテクチャ(MLP、CNN、Transformer)とデータセット(MNISTからImageNet)にわたるBPとの競合精度を実現し、メモリ使用量を最大4倍に削減し、スケーラビリティを大幅に改善する。 より広範に、SVPは深層表現学習への確率論的視点を導入し、よりモジュール的で解釈可能なニューラルネットワーク設計への道を開いた。

関連論文リスト

• Structural Entropy Guided Probabilistic Coding [52.01765333755793]
  構造エントロピー誘導型確率的符号化モデルSEPCを提案する。 我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。 分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-12T00:37:53Z)
• Double-Shot 3D Shape Measurement with a Dual-Branch Network for Structured Light Projection Profilometry [14.749887303860717]
  我々は、異なる構造光(SL)変調を処理するために、デュアルブランチ畳み込みニューラルネットワーク(CNN)-トランスフォーマーネットワーク(PDCNet)を提案する。 PDCNet内では、Transformerブランチを使用してフリンジイメージのグローバルな認識をキャプチャし、CNNブランチはスペックルイメージのローカル詳細を収集するように設計されている。 提案手法は, 自己生成データセット上で高精度な結果が得られる一方で, フランジオーダーの曖昧さを低減できる。
  論文  参考訳（メタデータ） (2024-07-19T10:49:26Z)
• Towards Interpretable Deep Local Learning with Successive Gradient Reconciliation [70.43845294145714]
  グローバルバックプロパゲーション(BP)に対するニューラルネットワークトレーニングの信頼性の回復が、注目すべき研究トピックとして浮上している。 本稿では,隣接モジュール間の勾配調整を連続的に調整する局所的学習戦略を提案する。 提案手法はローカルBPとBPフリー設定の両方に統合できる。
  論文  参考訳（メタデータ） (2024-06-07T19:10:31Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Probabilistic partition of unity networks: clustering based deep approximation [0.0]
  ユニタリネットワーク(POU-Nets)の分割は、回帰とPDEの解に対する代数収束率を実現することができる。 ガウス雑音モデルを用いてPOU-Netを拡張し、最大可算損失の勾配に基づく一般化を導出できる確率的一般化を得る。 本研究では,高次元・低次元での性能を定量化するためのベンチマークを行い,高次元空間内のデータの潜在次元にのみ依存することを示す。
  論文  参考訳（メタデータ） (2021-07-07T08:02:00Z)
• Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
  シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。 本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。 我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
  論文  参考訳（メタデータ） (2020-04-08T10:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。