論文の概要: Stochastic Variational Propagation: Local, Scalable and Efficient Alternative to Backpropagation

• arxiv url: http://arxiv.org/abs/2505.05181v3
• Date: Thu, 22 May 2025 08:58:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 14:49:22.323473
• Title: Stochastic Variational Propagation: Local, Scalable and Efficient Alternative to Backpropagation
• Title（参考訳）: 確率的変動伝搬 : バックプロパゲーションの局所的、スケーラブルで効率的な代替手段
• Authors: Bojian Yin, Federico Corradi,
• Abstract要約: バックプロパゲーション(BP)はディープラーニングの基盤であるが、グローバルな勾配同期に依存しているためスケーラビリティが制限される。 本稿では、階層的変分推論としてトレーニングを再構成するスケーラブルな代替手段である変分伝搬(SVP)を提案する。
• 参考スコア（独自算出の注目度）: 2.1838661321884443
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Backpropagation (BP) is the cornerstone of deep learning, but its reliance on global gradient synchronization limits scalability and imposes significant memory overhead. We propose Stochastic Variational Propagation (SVP), a scalable alternative that reframes training as hierarchical variational inference. SVP treats layer activations as latent variables and optimizes local Evidence Lower Bounds (ELBOs), enabling independent, local updates while preserving global coherence. However, directly applying KL divergence in layer-wise ELBOs risks inter-layer's representation collapse due to excessive compression. To prevent this, SVP projects activations into low-dimensional spaces via fixed random matrices, ensuring information preservation and representational diversity. Combined with a feature alignment loss for inter-layer consistency, SVP achieves competitive accuracy with BP across diverse architectures (MLPs, CNNs, Transformers) and datasets (MNIST to ImageNet), reduces memory usage by up to 4x, and significantly improves scalability. More broadly, SVP introduces a probabilistic perspective to deep representation learning, opening pathways toward more modular and interpretable neural network design.
• Abstract（参考訳）: バックプロパゲーション(BP)はディープラーニングの基盤であるが、グローバルな勾配同期に依存しているためスケーラビリティが制限され、メモリオーバーヘッドが大幅に増大する。 本稿では、階層的変分推論としてトレーニングを再構成するスケーラブルな代替手段として、確率的変分伝搬(SVP)を提案する。 SVPはレイヤアクティベーションを潜在変数として扱い、ローカルエビデンスローバウンド(ELBO)を最適化し、グローバルコヒーレンスを維持しながら、独立したローカル更新を可能にする。 しかし、層ワイドELBOにおいて直接KL分散を適用すると、過剰な圧縮による層間表現の崩壊が生じる。 これを防ぐため、SVPは、固定されたランダム行列を通して低次元空間への活性化を計画し、情報の保存と表現の多様性を保証する。 SVPは、層間一貫性のための機能アライメント損失と組み合わせて、さまざまなアーキテクチャ(MLP、CNN、Transformer)とデータセット(MNISTからImageNet)にわたるBPとの競合精度を実現し、メモリ使用量を最大4倍に削減し、スケーラビリティを大幅に改善する。 より広範に、SVPは深層表現学習への確率論的視点を導入し、よりモジュール的で解釈可能なニューラルネットワーク設計への道を開いた。

関連論文リスト

• Hebbian Learning with Global Direction [23.81487976986755]
  ヘビアン学習は、生物学的に実証可能なバックプロパゲーションの代替として、かなりの関心を集めている。 本稿では,局所情報とグローバル情報とをシームレスに統合する,新しいモデルに依存しないグローバル誘導型ヘビアンラーニングフレームワークを提案する。 我々の手法は既存のヘビーンの手法より一貫して優れている。
  論文  参考訳（メタデータ） (2026-01-29T07:49:21Z)
• UAGLNet: Uncertainty-Aggregated Global-Local Fusion Network with Cooperative CNN-Transformer for Building Extraction [83.48950950780554]
  リモートセンシング画像からの抽出は、複雑な構造変化のために難しい課題である。 既存の方法は、セグメンテーションモデルにおけるマルチスケール特徴をキャプチャするために、畳み込みブロックまたは自己アテンションブロックを使用する。 高品質なグローバルローカルなビジュアルセマンティクスを活用するために,不確実性集約型グローバルローカルフュージョンネットワーク(UAGLNet)を提案する。
  論文  参考訳（メタデータ） (2025-12-15T02:59:16Z)
• Regularizing Subspace Redundancy of Low-Rank Adaptation [54.473090597164834]
  本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。 提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。 トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-07-28T11:52:56Z)
• Low-Rank Matrix Approximation for Neural Network Compression [0.0]
  本稿では,重み行列の圧縮に最適なランクを近似する適応型特異値分解法を提案する。 ARSVDは、その特異値のエントロピー分布を通じて、層ごとのランクの適応的な選択を使用する。 提案手法は, 効率よく, 層圧縮が可能であり, 空間, 時間的複雑さを低減して性能を向上する。
  論文  参考訳（メタデータ） (2025-04-25T06:04:01Z)
• Structural Entropy Guided Probabilistic Coding [52.01765333755793]
  構造エントロピー誘導型確率的符号化モデルSEPCを提案する。 我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。 分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-12T00:37:53Z)
• Double-Shot 3D Shape Measurement with a Dual-Branch Network for Structured Light Projection Profilometry [14.749887303860717]
  我々は、異なる構造光(SL)変調を処理するために、デュアルブランチ畳み込みニューラルネットワーク(CNN)-トランスフォーマーネットワーク(PDCNet)を提案する。 PDCNet内では、Transformerブランチを使用してフリンジイメージのグローバルな認識をキャプチャし、CNNブランチはスペックルイメージのローカル詳細を収集するように設計されている。 提案手法は, 自己生成データセット上で高精度な結果が得られる一方で, フランジオーダーの曖昧さを低減できる。
  論文  参考訳（メタデータ） (2024-07-19T10:49:26Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Towards Interpretable Deep Local Learning with Successive Gradient Reconciliation [70.43845294145714]
  グローバルバックプロパゲーション(BP)に対するニューラルネットワークトレーニングの信頼性の回復が、注目すべき研究トピックとして浮上している。 本稿では,隣接モジュール間の勾配調整を連続的に調整する局所的学習戦略を提案する。 提案手法はローカルBPとBPフリー設定の両方に統合できる。
  論文  参考訳（メタデータ） (2024-06-07T19:10:31Z)
• Adaptive Global-Local Representation Learning and Selection for Cross-Domain Facial Expression Recognition [54.334773598942775]
  ドメインシフトは、クロスドメイン顔表情認識(CD-FER)において重要な課題となる 適応的グローバルローカル表現学習・選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-20T02:21:41Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Locally Supervised Learning with Periodic Global Guidance [19.41730292017383]
  ニューラルネットワークの局所的ロスに基づくトレーニングにおいて,グローバルな目的を反復的に再現するために,周期的ガイド付き局所学習(PGL)を提案する。 本稿では,メモリフットプリントが低い場合に,簡単な周期的ガイダンス方式によって大幅な性能向上が期待できることを示す。
  論文  参考訳（メタデータ） (2022-08-01T13:06:26Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• An Entropy-guided Reinforced Partial Convolutional Network for Zero-Shot Learning [77.72330187258498]
  エントロピー誘導強化部分畳み込みネットワーク(ERPCNet)を提案する。 ERPCNetは、人間のアノテーションのない意味的関連性と視覚的相関に基づいて、局所性を抽出し、集約する。 グローバルな協力的局所性を動的に発見するだけでなく、ポリシー勾配最適化のためにより高速に収束する。
  論文  参考訳（メタデータ） (2021-11-03T11:13:13Z)
• Biologically Plausible Training Mechanisms for Self-Supervised Learning in Deep Networks [14.685237010856953]
  我々は,深層ネットワークにおける自己教師付き学習(SSL)のための生物学的に妥当なトレーニング機構を開発する。 バックパゲーションの2つの選択肢のうちの1つを用いて学習を行うことができることを示す。
  論文  参考訳（メタデータ） (2021-09-30T12:56:57Z)
• Probabilistic partition of unity networks: clustering based deep approximation [0.0]
  ユニタリネットワーク(POU-Nets)の分割は、回帰とPDEの解に対する代数収束率を実現することができる。 ガウス雑音モデルを用いてPOU-Netを拡張し、最大可算損失の勾配に基づく一般化を導出できる確率的一般化を得る。 本研究では,高次元・低次元での性能を定量化するためのベンチマークを行い,高次元空間内のデータの潜在次元にのみ依存することを示す。
  論文  参考訳（メタデータ） (2021-07-07T08:02:00Z)
• Interlocking Backpropagation: Improving depthwise model-parallelism [28.97488430121607]
  地域学習とグローバル学習の中間戦略のクラスを紹介する。 これらの戦略は局所最適化の計算効率の利点の多くを保存している。 当社の戦略は,タスクパフォーマンスという点では地域学習を一貫して上回り,訓練効率では世界学習を上回ります。
  論文  参考訳（メタデータ） (2020-10-08T16:53:50Z)
• Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
  シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。 本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。 我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
  論文  参考訳（メタデータ） (2020-04-08T10:08:20Z)
• Dense Residual Network: Enhancing Global Dense Feature Flow for Character Recognition [75.4027660840568]
  本稿では,すべての畳み込み層から階層的特徴をフルに活用することにより,局所的・大域的特徴フローを改善する方法について検討する。 技術的には、テキスト認識のための効率的で効果的なCNNフレームワークであるFDRN(Fast Dense Residual Network)を提案する。
  論文  参考訳（メタデータ） (2020-01-23T06:55:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。