論文の概要: Tensor-Compressed Back-Propagation-Free Training for (Physics-Informed) Neural Networks

• arxiv url: http://arxiv.org/abs/2308.09858v2
• Date: Mon, 9 Oct 2023 18:00:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 04:40:45.487094
• Title: Tensor-Compressed Back-Propagation-Free Training for (Physics-Informed) Neural Networks
• Title（参考訳）: ニューラルネットワークのためのテンソル圧縮バックプロパゲーションフリートレーニング
• Authors: Yequan Zhao, Xinling Yu, Zhixiong Chen, Ziyue Liu, Sijia Liu and Zheng Zhang
• Abstract要約: 後方伝播(BP)は、ニューラルネットワークトレーニングの勾配を計算するために広く使われている。 自動微分をサポートするハードウェアやソフトウェアリソースが不足しているため、エッジデバイス上でBPを実装するのは難しい。 本稿では,現実的なニューラルネットワークを学習するためには,前方伝播のみを必要とする,完全にBPフリーなフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 15.188785164091987
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Backward propagation (BP) is widely used to compute the gradients in neural network training. However, it is hard to implement BP on edge devices due to the lack of hardware and software resources to support automatic differentiation. This has tremendously increased the design complexity and time-to-market of on-device training accelerators. This paper presents a completely BP-free framework that only requires forward propagation to train realistic neural networks. Our technical contributions are three-fold. Firstly, we present a tensor-compressed variance reduction approach to greatly improve the scalability of zeroth-order (ZO) optimization, making it feasible to handle a network size that is beyond the capability of previous ZO approaches. Secondly, we present a hybrid gradient evaluation approach to improve the efficiency of ZO training. Finally, we extend our BP-free training framework to physics-informed neural networks (PINNs) by proposing a sparse-grid approach to estimate the derivatives in the loss function without using BP. Our BP-free training only loses little accuracy on the MNIST dataset compared with standard first-order training. We also demonstrate successful results in training a PINN for solving a 20-dim Hamiltonian-Jacobi-Bellman PDE. This memory-efficient and BP-free approach may serve as a foundation for the near-future on-device training on many resource-constraint platforms (e.g., FPGA, ASIC, micro-controllers, and photonic chips).
• Abstract（参考訳）: 後方伝播(BP)はニューラルネットワークトレーニングの勾配を計算するために広く用いられている。 しかし,ハードウェアやソフトウェアリソースが不足しているため,エッジデバイス上でbpを実装することは困難である。 これは、オンデバイストレーニングアクセラレータの設計の複雑さと市場投入時間を大幅に増加させた。 本稿では,現実的なニューラルネットワークを学習するためには,前方伝播のみを必要とする完全BPフリーフレームワークを提案する。 私たちの技術貢献は3倍です。 まず,ゼロ次最適化(zo)のスケーラビリティを大幅に向上させるために,テンソル圧縮分散低減手法を提案する。 次に,ZO訓練の効率化を目的としたハイブリッド勾配評価手法を提案する。 最後に、BPを用いずに損失関数の導関数を推定するスパースグリッドアプローチを提案することにより、BPフリートレーニングフレームワークを物理学情報ニューラルネットワーク(PINN)に拡張する。 BPフリートレーニングは、標準の1次トレーニングと比較して、MNISTデータセットではほとんど精度が低下しない。 また,20dim Hamiltonian-Jacobi-Bellman PDEを解くためにPINNのトレーニングに成功した。 このメモリ効率とBPフリーのアプローチは、多くのリソース制約のあるプラットフォーム(FPGA、ASIC、マイクロコントローラ、フォトニックチップなど)における、近い将来のオンデバイストレーニングの基礎となる。

関連論文リスト

• Poor Man's Training on MCUs: A Memory-Efficient Quantized Back-Propagation-Free Approach [9.199493064055586]
  バックプロパゲーション(BP)は、ニューラルネットワークトレーニングにおける勾配計算のデフォルトのソリューションである。 FPGA、マイクロコントローラ(MCU)、アナログコンピューティングプラットフォームなど、さまざまなエッジデバイス上でBPベースのトレーニングを実装することは、さまざまな課題に直面している。 本稿では、エッジトレーニングハードウェア設計を推論ハードウェア設計と同じくらい簡単にする、シンプルなBPフリートレーニングスキームをMCU上で提案する。
  論文  参考訳（メタデータ） (2024-11-07T22:42:57Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• One Forward is Enough for Neural Network Training via Likelihood Ratio Method [47.013384887197454]
  バックプロパゲーション(BP)は、ニューラルネットワークトレーニングにおける勾配計算の主流のアプローチである。 本手法は,1つの前方伝播による推定のための統一可能性比 (ULR) 法を提案する。
  論文  参考訳（メタデータ） (2023-05-15T19:02:46Z)
• Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
  グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。 我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。 提案するフレームワークは,合理的な性能で高い効率性を示す。
  論文  参考訳（メタデータ） (2023-04-20T07:21:32Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• DNN Training Acceleration via Exploring GPGPU Friendly Sparsity [16.406482603838157]
  本稿では、従来のランダムなニューロンやシナプスのドロップアウトを、通常のオンラインの行ベースもしくはタイルベースのドロップアウトパターンに置き換える近似ランダムドロップアウトを提案する。 次に,SGDに基づく探索アルゴリズムを開発し,行ベースあるいはタイルベースのドロップアウトパターンの分布を生成し,潜在的な精度損失を補う。 また,入力特徴図をその感度に基づいて動的にドロップアウトし,前向きおよび後向きのトレーニングアクセラレーションを実現するための感度対応ドロップアウト手法を提案する。
  論文  参考訳（メタデータ） (2022-03-11T01:32:03Z)
• Enabling Incremental Training with Forward Pass for Edge Devices [0.0]
  進化戦略(ES)を用いてネットワークを部分的に再トレーニングし,エラー発生後に変更に適応し,回復できるようにする手法を提案する。 この技術は、バックプロパゲーションを必要とせず、最小限のリソースオーバーヘッドで推論専用ハードウェアのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-03-25T17:43:04Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。