論文の概要: Dynamic Error-Bounded Hierarchical Matrices in Neural Network Compression

• arxiv url: http://arxiv.org/abs/2409.07028v1
• Date: Wed, 11 Sep 2024 05:55:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-12 15:36:35.531611
• Title: Dynamic Error-Bounded Hierarchical Matrices in Neural Network Compression
• Title（参考訳）: ニューラルネットワーク圧縮における動的誤差境界階層行列
• Authors: John Mango, Ronald Katende,
• Abstract要約: 本稿では,階層行列(H-行列)圧縮手法を物理情報ニューラルネットワーク(PINN)の構造と訓練に統合する革新的なフレームワークを提案する。 提案手法は,行列サブブロックの低ランク特性を活用することにより,計算複雑性とストレージ要求を,精度を損なうことなく大幅に低減する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents an innovative framework that integrates hierarchical matrix (H-matrix) compression techniques into the structure and training of Physics-Informed Neural Networks (PINNs). By leveraging the low-rank properties of matrix sub-blocks, the proposed dynamic, error-bounded H-matrix compression method significantly reduces computational complexity and storage requirements without compromising accuracy. This approach is rigorously compared to traditional compression techniques, such as Singular Value Decomposition (SVD), pruning, and quantization, demonstrating superior performance, particularly in maintaining the Neural Tangent Kernel (NTK) properties critical for the stability and convergence of neural networks. The findings reveal that H-matrix compression not only enhances training efficiency but also ensures the scalability and robustness of PINNs for complex, large-scale applications in physics-based modeling. This work offers a substantial contribution to the optimization of deep learning models, paving the way for more efficient and practical implementations of PINNs in real-world scenarios.
• Abstract（参考訳）: 本稿では,階層行列(H-行列)圧縮技術を物理情報ニューラルネットワーク(PINN)の構造と訓練に組み込む,革新的なフレームワークを提案する。 提案手法は,行列サブブロックの低ランク特性を活用することにより,計算複雑性とストレージ要求を,精度を損なうことなく大幅に低減する。 このアプローチは、SVD(Singular Value Decomposition)やプルーニング(pruning)、量子化(quantization)といった従来の圧縮技術と比較して、特にニューラルネットワークの安定性と収束に不可欠なニューラルタンジェントカーネル(NTK)特性を維持する上で、優れたパフォーマンスを示す。 その結果,H行列圧縮はトレーニング効率を高めるだけでなく,物理学に基づくモデリングにおける複雑で大規模な応用のためのPINNのスケーラビリティと堅牢性も確保できることがわかった。 この研究はディープラーニングモデルの最適化に大きく貢献し、現実世界のシナリオにおけるPINNのより効率的で実践的な実装の道を開いた。

関連論文リスト

• Deep Learning-Enhanced Preconditioning for Efficient Conjugate Gradient Solvers in Large-Scale PDE Systems [11.712093849918123]
  本稿では,グラフニューラルネットワーク(GNN)と従来のICを統合する新しい手法を提案する。 実験の結果、ICと比較してイテレーションの回数が平均24.8%減少した。 このアプローチは、スケールにわたる堅牢な一般化能力を実証する。
  論文  参考訳（メタデータ） (2024-12-10T02:34:13Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Weight Conditioning for Smooth Optimization of Neural Networks [28.243353447978837]
  本稿では,ニューラルネットワークの重み行列に対する新しい正規化手法を提案する。 このアプローチは、ウェイト行列の最小値と最大の特異値の間のギャップを狭くすることを目的としており、より良い条件付き行列をもたらす。 以上の結果から,本手法は競争力だけでなく,文献の既往の重み正規化手法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-09-05T11:10:34Z)
• SymbolNet: Neural Symbolic Regression with Adaptive Dynamic Pruning for Compression [1.0356366043809717]
  モデル圧縮技術として特別に設計された記号回帰に対するニューラルネットワークアプローチである$ttSymbolNet$を提案する。 このフレームワークは、単一のトレーニングプロセスにおいてモデルウェイト、入力特徴、数学的演算子の動的プルーニングを可能にする。
  論文  参考訳（メタデータ） (2024-01-18T12:51:38Z)
• Dynamically configured physics-informed neural network in topology optimization applications [4.403140515138818]
  物理インフォームドニューラルネットワーク(PINN)は、前方問題を解決する際に大量のデータを生成するのを避けることができる。 動的に構成された PINN-based Topology Optimization (DCPINN-TO) 法を提案する。 変位予測と最適化結果の精度は,DCPINN-TO法が効率的かつ効率的であることを示している。
  論文  参考訳（メタデータ） (2023-12-12T05:35:30Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Dynamic Kernel-Based Adaptive Spatial Aggregation for Learned Image Compression [63.56922682378755]
  本稿では,空間アグリゲーション機能の拡張に焦点をあて,動的カーネルベースの変換符号化を提案する。 提案したアダプティブアグリゲーションはカーネルオフセットを生成し、コンテント条件付き範囲の有効な情報をキャプチャして変換を支援する。 実験により,本手法は,最先端の学習手法と比較して,3つのベンチマークにおいて高い速度歪み性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-08-17T01:34:51Z)
• Quantization Aware Factorization for Deep Neural Network Compression [20.04951101799232]
  畳み込み層と完全連結層の分解は、ニューラルネットワークにおけるパラメータとFLOPを減らす効果的な方法である。 従来のトレーニング後量子化手法は重み付きネットワークに適用され、精度が低下する。 これは、分解された近似を量子化因子で直接発見するアルゴリズムを開発する動機となった。
  論文  参考訳（メタデータ） (2023-08-08T21:38:02Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
  エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。 異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。 深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
  論文  参考訳（メタデータ） (2021-06-24T12:23:05Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。