Fugu-MT 論文翻訳(概要): FastLRNR and Sparse Physics Informed Backpropagation

論文の概要: FastLRNR and Sparse Physics Informed Backpropagation

arxiv url: http://arxiv.org/abs/2410.04001v1
Date: Sat, 5 Oct 2024 02:19:28 GMT
ステータス: 処理完了
システム内更新日: 2024-11-02 14:50:11.547474
Title: FastLRNR and Sparse Physics Informed Backpropagation
Title（参考訳）: 高速LRNRとスパース物理インフォームドバックプロパゲーション
Authors: Woojin Cho, Kookjin Lee, Noseong Park, Donsub Rim, Gerrit Welper,
Abstract要約: 我々は、低ランクニューラルネットワーク表現(LRNR)と呼ばれる特殊なニューラルネットワークアーキテクチャのバックプロパゲーションを高速化する新しい手法であるSPInPropを紹介する。この手法はLRNR内の低階構造を利用し、より小さなニューラルネットワーク近似を構築する。本稿では,FastLRNRのバックプロパゲーションをLRNRのバックプロパゲーションに置き換えることで,複雑性を大幅に低減できることを示す。
参考スコア（独自算出の注目度）: 20.599318850668837
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce Sparse Physics Informed Backpropagation (SPInProp), a new class of methods for accelerating backpropagation for a specialized neural network architecture called Low Rank Neural Representation (LRNR). The approach exploits the low rank structure within LRNR and constructs a reduced neural network approximation that is much smaller in size. We call the smaller network FastLRNR. We show that backpropagation of FastLRNR can be substituted for that of LRNR, enabling a significant reduction in complexity. We apply SPInProp to a physics informed neural networks framework and demonstrate how the solution of parametrized partial differential equations is accelerated.
Abstract（参考訳）: Sparse Physics Informed Backpropagation (SPInProp) は、低ランクニューラルネットワーク表現(LRNR)と呼ばれる特殊なニューラルネットワークアーキテクチャのバックプロパゲーションを高速化する新しい手法である。この手法はLRNR内の低階構造を利用し、より小さなニューラルネットワーク近似を構築する。我々はFastLRNRと呼ぶ。本稿では,FastLRNRのバックプロパゲーションをLRNRのバックプロパゲーションに置き換えることで,複雑性を大幅に低減できることを示す。本研究では,SPInPropを物理情報ニューラルネットワークフレームワークに適用し,パラメータ化偏微分方程式の解がいかに加速されるかを実証する。

関連論文リスト

Residual resampling-based physics-informed neural network for neutron diffusion equations [7.105073499157097]
中性子拡散方程式は原子炉の解析において重要な役割を果たす。従来のPINNアプローチでは、完全に接続されたネットワーク(FCN)アーキテクチャを利用することが多い。 R2-PINNは、現在の方法に固有の制限を効果的に克服し、中性子拡散方程式のより正確で堅牢な解を提供する。
論文参考訳（メタデータ） (2024-06-23T13:49:31Z)
Capturing Shock Waves by Relaxation Neural Networks [2.9766880302917804]
緩和ニューラルネットワーク(RelaxNN)は、物理インフォームドニューラルネットワーク(PINN)のシンプルでスケーラブルな拡張である後に、典型的なPINNフレームワークは、双曲系の解に生じる衝撃波を扱うのに苦労していることが示されている。緩和システムに基づいて、RelaxNNフレームワークは、PINNフレームワークのトレーニングプロセスにおける損失の衝突を軽減する。
論文参考訳（メタデータ） (2024-04-01T15:13:46Z)
Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文参考訳（メタデータ） (2023-03-05T17:57:33Z)
A predictive physics-aware hybrid reduced order model for reacting flows [65.73506571113623]
反応流問題の解法として,新しいハイブリッド型予測次数モデル (ROM) を提案する。自由度は、数千の時間的点から、対応する時間的係数を持ついくつかのPODモードへと減少する。時間係数を予測するために、2つの異なるディープラーニングアーキテクチャがテストされている。
論文参考訳（メタデータ） (2023-01-24T08:39:20Z)
Reliable and Fast Recurrent Neural Network Architecture Optimization [7.287830861862003]
本稿では、リカレントニューラルネットワークアーキテクチャを最適化する新しい自動手法であるRandom Error Smpling-based Neuroevolution(RESN)を紹介する。その結果,RESNは計算時間を半分減らしながら,最先端のエラー性能を実現することがわかった。
論文参考訳（メタデータ） (2021-06-29T12:16:19Z)
Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
論文参考訳（メタデータ） (2021-02-08T05:55:47Z)
Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and (gradient) stable architecture for learning long time dependencies [15.2292571922932]
本稿では,リカレントニューラルネットワークのための新しいアーキテクチャを提案する。提案するRNNは, 2次常微分方程式系の時間分解に基づく。実験の結果,提案したRNNは,様々なベンチマークによる最先端技術に匹敵する性能を示した。
論文参考訳（メタデータ） (2020-10-02T12:35:04Z)
A Deep-Unfolded Reference-Based RPCA Network For Video Foreground-Background Separation [86.35434065681925]
本稿では,ロバスト主成分分析(RPCA)問題に対するディープアンフォールディングに基づくネットワーク設計を提案する。既存の設計とは異なり,本手法は連続するビデオフレームのスパース表現間の時間的相関をモデル化することに焦点を当てている。移動MNISTデータセットを用いた実験により、提案したネットワークは、ビデオフォアグラウンドとバックグラウンドの分離作業において、最近提案された最先端のRPCAネットワークより優れていることが示された。
論文参考訳（メタデータ） (2020-10-02T11:40:09Z)
Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文参考訳（メタデータ） (2020-07-03T01:37:16Z)
Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文参考訳（メタデータ） (2020-03-26T11:13:07Z)
Interpretable Deep Recurrent Neural Networks via Unfolding Reweighted $\ell_1$-$\ell_1$ Minimization: Architecture Design and Generalization Analysis [19.706363403596196]
本稿では、再重み付き最小化アルゴリズムの展開により、新しいディープリカレントニューラルネットワーク(coined reweighted-RNN)を開発する。我々の知る限りでは、これは再重み付け最小化を探求する最初の深層展開法である。移動MNISTデータセットの実験結果から,提案した深度再重み付きRNNは既存のRNNモデルよりも大幅に優れていた。
論文参考訳（メタデータ） (2020-03-18T17:02:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。