論文の概要: Dynamic Error-Bounded Hierarchical Matrices in Neural Network Compression
- arxiv url: http://arxiv.org/abs/2409.07028v1
- Date: Wed, 11 Sep 2024 05:55:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 15:36:35.531611
- Title: Dynamic Error-Bounded Hierarchical Matrices in Neural Network Compression
- Title(参考訳): ニューラルネットワーク圧縮における動的誤差境界階層行列
- Authors: John Mango, Ronald Katende,
- Abstract要約: 本稿では,階層行列(H-行列)圧縮手法を物理情報ニューラルネットワーク(PINN)の構造と訓練に統合する革新的なフレームワークを提案する。
提案手法は,行列サブブロックの低ランク特性を活用することにより,計算複雑性とストレージ要求を,精度を損なうことなく大幅に低減する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents an innovative framework that integrates hierarchical matrix (H-matrix) compression techniques into the structure and training of Physics-Informed Neural Networks (PINNs). By leveraging the low-rank properties of matrix sub-blocks, the proposed dynamic, error-bounded H-matrix compression method significantly reduces computational complexity and storage requirements without compromising accuracy. This approach is rigorously compared to traditional compression techniques, such as Singular Value Decomposition (SVD), pruning, and quantization, demonstrating superior performance, particularly in maintaining the Neural Tangent Kernel (NTK) properties critical for the stability and convergence of neural networks. The findings reveal that H-matrix compression not only enhances training efficiency but also ensures the scalability and robustness of PINNs for complex, large-scale applications in physics-based modeling. This work offers a substantial contribution to the optimization of deep learning models, paving the way for more efficient and practical implementations of PINNs in real-world scenarios.
- Abstract(参考訳): 本稿では,階層行列(H-行列)圧縮技術を物理情報ニューラルネットワーク(PINN)の構造と訓練に組み込む,革新的なフレームワークを提案する。
提案手法は,行列サブブロックの低ランク特性を活用することにより,計算複雑性とストレージ要求を,精度を損なうことなく大幅に低減する。
このアプローチは、SVD(Singular Value Decomposition)やプルーニング(pruning)、量子化(quantization)といった従来の圧縮技術と比較して、特にニューラルネットワークの安定性と収束に不可欠なニューラルタンジェントカーネル(NTK)特性を維持する上で、優れたパフォーマンスを示す。
その結果,H行列圧縮はトレーニング効率を高めるだけでなく,物理学に基づくモデリングにおける複雑で大規模な応用のためのPINNのスケーラビリティと堅牢性も確保できることがわかった。
この研究はディープラーニングモデルの最適化に大きく貢献し、現実世界のシナリオにおけるPINNのより効率的で実践的な実装の道を開いた。
関連論文リスト
- Stable Weight Updating: A Key to Reliable PDE Solutions Using Deep Learning [0.0]
本稿では,物理インフォームドニューラルネットワーク(PINN)の安定性と精度の向上を目的とした,新しい残差ベースアーキテクチャを提案する。
このアーキテクチャは、残りの接続を組み込むことで従来のニューラルネットワークを強化し、よりスムーズなウェイト更新を可能にし、バックプロパゲーション効率を向上させる。
特にSquared Residual Networkは、従来のニューラルネットワークと比較して安定性と精度の向上を実現し、堅牢なパフォーマンスを示している。
論文 参考訳(メタデータ) (2024-07-10T05:20:43Z) - Q-SNNs: Quantized Spiking Neural Networks [12.719590949933105]
スパイキングニューラルネットワーク(SNN)はスパーススパイクを利用して情報を表現し、イベント駆動方式で処理する。
シナプス重みと膜電位の両方に量子化を適用する軽量でハードウェアフレンドリな量子化SNNを提案する。
本稿では,情報エントロピー理論にインスパイアされた新しいウェイトスパイクデュアルレギュレーション(WS-DR)法を提案する。
論文 参考訳(メタデータ) (2024-06-19T16:23:26Z) - Towards Efficient Deep Spiking Neural Networks Construction with Spiking Activity based Pruning [17.454100169491497]
本稿では,Spking Channel Activity-based (SCA) network pruning frameworkという,畳み込みカーネルの動作レベルに基づく構造化プルーニング手法を提案する。
本手法は, 学習中の畳み込みカーネルの切断・再生によりネットワーク構造を動的に調整し, 現在の目標タスクへの適応性を高める。
論文 参考訳(メタデータ) (2024-06-03T07:44:37Z) - "Lossless" Compression of Deep Neural Networks: A High-dimensional
Neural Tangent Kernel Approach [49.744093838327615]
広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。
提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
論文 参考訳(メタデータ) (2024-03-01T03:46:28Z) - Efficient Compression of Overparameterized Deep Models through
Low-Dimensional Learning Dynamics [10.673414267895355]
本稿ではパラメータ化モデルを用いた新しい圧縮手法を提案する。
本アルゴリズムは, 一般化を損なうことなく, トレーニング効率を2倍以上に向上させる。
論文 参考訳(メタデータ) (2023-11-08T23:57:03Z) - STN: Scalable Tensorizing Networks via Structure-Aware Training and
Adaptive Compression [10.067082377396586]
本稿では,モデルサイズと分解構造を適応的に調整するスケーラビリティネットワーク(STN)を提案する。
STNは任意のネットワークアーキテクチャと互換性があり、他のテンソル化バージョンよりも高い圧縮性能と柔軟性を実現する。
論文 参考訳(メタデータ) (2022-05-30T15:50:48Z) - Neural Operator with Regularity Structure for Modeling Dynamics Driven
by SPDEs [70.51212431290611]
偏微分方程式 (SPDE) は、大気科学や物理学を含む多くの分野において、力学をモデル化するための重要なツールである。
本研究では,SPDEによって駆動されるダイナミクスをモデル化するための特徴ベクトルを組み込んだニューラル演算子(NORS)を提案する。
動的Phi41モデルと2d Navier-Stokes方程式を含む様々なSPDE実験を行った。
論文 参考訳(メタデータ) (2022-04-13T08:53:41Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳(メタデータ) (2021-08-28T20:39:54Z) - Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。
異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。
深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
論文 参考訳(メタデータ) (2021-06-24T12:23:05Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳(メタデータ) (2021-06-15T17:22:59Z) - Structured Sparsification with Joint Optimization of Group Convolution
and Channel Shuffle [117.95823660228537]
本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。
提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。
また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
論文 参考訳(メタデータ) (2020-02-19T12:03:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。