論文の概要: DiffusionBlocks: Blockwise Training for Generative Models via Score-Based Diffusion

• arxiv url: http://arxiv.org/abs/2506.14202v1
• Date: Tue, 17 Jun 2025 05:44:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.34422
• Title: DiffusionBlocks: Blockwise Training for Generative Models via Score-Based Diffusion
• Title（参考訳）: DiffusionBlocks: スコアベース拡散による生成モデルのブロックワイズトレーニング
• Authors: Makoto Shing, Takuya Akiba,
• Abstract要約: エンドツーエンドのバックプロパゲーションによる大規模なニューラルネットワークのトレーニングは、大きなメモリボトルネックを生み出します。 本稿では,ニューラルネットワークブロックを連続的拡散プロセスにおける復調操作の実行として解釈する新しいトレーニングフレームワークである$itDiffusionBlocks$を提案する。
• 参考スコア（独自算出の注目度）: 2.455468619225742
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training large neural networks with end-to-end backpropagation creates significant memory bottlenecks, limiting accessibility to state-of-the-art AI research. We propose $\textit{DiffusionBlocks}$, a novel training framework that interprets neural network blocks as performing denoising operations in a continuous-time diffusion process. By partitioning the network into independently trainable blocks and optimizing noise level assignments based on equal cumulative probability mass, our approach achieves significant memory efficiency while maintaining competitive performance compared to traditional backpropagation in generative tasks. Experiments on image generation and language modeling tasks demonstrate memory reduction proportional to the number of blocks while achieving superior performance. DiffusionBlocks provides a promising pathway for democratizing access to large-scale neural network training with limited computational resources.
• Abstract（参考訳）: エンドツーエンドのバックプロパゲーションを備えた大規模ニューラルネットワークのトレーニングは、最先端のAI研究へのアクセシビリティを制限し、大きなメモリボトルネックを生み出す。 我々は,ニューラルネットワークブロックを連続的な拡散過程におけるデノゲーション操作の実行として解釈する新しいトレーニングフレームワークである$\textit{DiffusionBlocks}$を提案する。 ネットワークを独立に訓練可能なブロックに分割し、等累積確率質量に基づく雑音レベル割り当てを最適化することにより、生成タスクにおける従来のバックプロパゲーションと比較して競合性能を維持しつつ、メモリ効率を著しく向上させる。 画像生成および言語モデリングタスクの実験では、ブロック数に比例したメモリ削減を示しながら、優れた性能を実現している。 DiffusionBlocksは、計算リソースが限られている大規模ニューラルネットワークトレーニングへのアクセスを民主化する、有望なパスを提供する。

関連論文リスト

• An NMF-Based Building Block for Interpretable Neural Networks With Continual Learning [0.8158530638728501]
  既存の学習方法は、解釈可能性と予測性能のバランスをとるのに苦労することが多い。 我々のアプローチは、NMFに基づくビルディングブロックを使用することで、これらの2つの側面のバランスを改善することを目的としています。
  論文  参考訳（メタデータ） (2023-11-20T02:00:33Z)
• Lightweight Diffusion Models with Distillation-Based Block Neural Architecture Search [55.41583104734349]
  拡散蒸留に基づくブロックワイドニューラルネットワークサーチ(NAS)により拡散モデルの構造的冗長性を自動的に除去することを提案する。 事前訓練を受けた教師がより多い場合、DiffNASを利用して、教師よりもパフォーマンスが良い最小限のアーキテクチャを探索する。 従来のブロックワイズNAS法とは異なり、DiffNASはブロックワイズ局所探索戦略と、関節ダイナミックロスを伴う再訓練戦略を含んでいる。
  論文  参考訳（メタデータ） (2023-11-08T12:56:59Z)
• Learning Discrete Weights and Activations Using the Local Reparameterization Trick [21.563618480463067]
  コンピュータビジョンと機械学習では、ニューラルネットワーク推論の計算とメモリ要求を減らすことが重要な課題である。 ネットワークの重みとアクティベーションをバイナライズすることで、計算の複雑さを大幅に減らすことができる。 これにより、低リソースデバイスにデプロイ可能な、より効率的なニューラルネットワーク推論が可能になる。
  論文  参考訳（メタデータ） (2023-07-04T12:27:10Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Latent Iterative Refinement for Modular Source Separation [44.78689915209527]
  従来のソース分離アプローチは、すべてのデータを一度に利用できるように、ディープニューラルネットワークモデルをエンドツーエンドにトレーニングする。 我々は、トレーニングと推論の段階において、リソース効率を著しく向上させることができると論じる。
  論文  参考訳（メタデータ） (2022-11-22T00:02:57Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• FFNB: Forgetting-Free Neural Blocks for Deep Continual Visual Learning [14.924672048447338]
  我々は、新しい忘れのないニューラルブロック(FFNB)に基づく連続学習のための動的ネットワークアーキテクチャを考案する。 FFNB機能を新しいタスクでトレーニングするには、以前のタスクのnull-スペースのパラメータを制約する新しいプロシージャを使用する。
  論文  参考訳（メタデータ） (2021-11-22T17:23:34Z)
• BLOOM-Net: Blockwise Optimization for Masking Networks Toward Scalable and Efficient Speech Enhancement [26.39206098000297]
  本稿では,スケーラブルな音声強調ネットワークを学習するためのマスキングネットワーク(BLOOM-Net)のブロックワイズ最適化手法を提案する。 音声強調実験により,提案手法のブロックワイド最適化は,学習したエンド・ツー・エンドモデルと比較して,若干の性能劣化を伴って所望のスケーラビリティを実現することを示した。
  論文  参考訳（メタデータ） (2021-11-17T20:11:07Z)
• Attentive Gaussian processes for probabilistic time-series generation [4.94950858749529]
  本稿では,ガウス過程の回帰と組み合わせて実数値列を生成する,計算効率のよいアテンションベースネットワークを提案する。 我々は,GPがフルバッチを用いて訓練されている間,ネットワークのミニバッチトレーニングを可能にするブロックワイズトレーニングアルゴリズムを開発した。 アルゴリズムは収束することが証明され、より良くなくても、見いだされた解の品質に匹敵することを示す。
  論文  参考訳（メタデータ） (2021-02-10T01:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。