論文の概要: A priori compression of convolutional neural networks for wave
simulators
- arxiv url: http://arxiv.org/abs/2304.04964v2
- Date: Wed, 12 Apr 2023 01:19:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-13 10:52:21.992214
- Title: A priori compression of convolutional neural networks for wave
simulators
- Title（参考訳）: 波動シミュレータのための畳み込みニューラルネットワークの事前圧縮
- Authors: Hamza Boukraichi, Nissrine Akkari, Fabien Casenave, David Ryckelynck
- Abstract要約: 現在のニューラルネットワークの設計には数百万のパラメータが含まれており、メモリに制限のあるデバイスにそのような複雑なモデルをインストールすることは困難である。
本稿では,ニューラルネットワークのトレーニングに先立って,畳み込み層を圧縮したテンソル形式,先行処理を提案する。
提案手法は,訓練可能なパラメータが少なく,メモリフットプリントも少ない古典的畳み込み層として同等の性能を発揮することを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Convolutional neural networks are now seeing widespread use in a variety of
fields, including image classification, facial and object recognition, medical
imaging analysis, and many more. In addition, there are applications such as
physics-informed simulators in which accurate forecasts in real time with a
minimal lag are required. The present neural network designs include millions
of parameters, which makes it difficult to install such complex models on
devices that have limited memory. Compression techniques might be able to
resolve these issues by decreasing the size of CNN models that are created by
reducing the number of parameters that contribute to the complexity of the
models. We propose a compressed tensor format of convolutional layer, a priori,
before the training of the neural network. 3-way kernels or 2-way kernels in
convolutional layers are replaced by one-way fiters. The overfitting phenomena
will be reduced also. The time needed to make predictions or time required for
training using the original Convolutional Neural Networks model would be cut
significantly if there were fewer parameters to deal with. In this paper we
present a method of a priori compressing convolutional neural networks for
finite element (FE) predictions of physical data. Afterwards we validate our a
priori compressed models on physical data from a FE model solving a 2D wave
equation. We show that the proposed convolutinal compression technique achieves
equivalent performance as classical convolutional layers with fewer trainable
parameters and lower memory footprint.
- Abstract（参考訳）: 畳み込みニューラルネットワークは、画像分類、顔と物体の認識、医療画像解析など、さまざまな分野で広く利用されている。
さらに、物理インフォームドシミュレータのようなアプリケーションでは、最小遅延でリアルタイムに正確な予測を行う必要がある。
現在のニューラルネットワークの設計には数百万のパラメータが含まれており、メモリに制限のあるデバイスにそのような複雑なモデルをインストールすることは困難である。
圧縮技術は、モデルの複雑さに寄与するパラメータの数を減らすことによって生成されるCNNモデルのサイズを小さくすることで、これらの問題を解決することができるかもしれない。
本稿では,ニューラルネットワークのトレーニングに先立って,畳み込み層を圧縮したテンソル形式,先行処理を提案する。
畳み込み層内の3方向カーネルまたは2方向カーネルは片方向適合器に置き換えられる。
過度に適合する現象も減少する。
オリジナルの畳み込みニューラルネットワークモデルを使用してトレーニングを行うのに必要な時間や時間は、処理すべきパラメータが少なければ大幅に削減される。
本稿では,物理データの有限要素(fe)予測のための先行圧縮畳み込みニューラルネットワークの手法を提案する。
その後、2次元波動方程式を解くFEモデルから物理データに対する事前圧縮モデルを検証した。
提案する畳み込み圧縮手法は,学習可能なパラメータが少なくメモリフットプリントの少ない古典畳み込み層と同等の性能を実現する。
関連論文リスト
- Variational autoencoder-based neural network model compression [4.992476489874941]
変分オートエンコーダ(VAE)は、深部生成モデルの一種であり、近年広く使われている。
本稿では,VAEに基づくニューラルネットワークモデル圧縮手法について検討する。
論文 参考訳（メタデータ） (2024-08-25T09:06:22Z) - "Lossless" Compression of Deep Neural Networks: A High-dimensional
Neural Tangent Kernel Approach [49.744093838327615]
広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。
提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
論文 参考訳（メタデータ） (2024-03-01T03:46:28Z) - Spike-and-slab shrinkage priors for structurally sparse Bayesian neural networks [0.16385815610837165]
スパースディープラーニングは、基礎となるターゲット関数のスパース表現を復元することで、課題に対処する。
構造化された空間によって圧縮されたディープニューラルアーキテクチャは、低レイテンシ推論、データスループットの向上、エネルギー消費の削減を提供する。
本研究では, (i) Spike-and-Slab Group Lasso (SS-GL) と (ii) Spike-and-Slab Group Horseshoe (SS-GHS) を併用した過剰ノードを誘発する構造的疎いベイズニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-08-17T17:14:18Z) - Tensor Decomposition for Model Reduction in Neural Networks: A Review [13.96938227911258]
現代のニューラルネットワークはコンピュータビジョン(CV)と自然言語処理(NLP)の分野に革命をもたらした
複雑なCVタスクや画像分類、画像生成、機械翻訳といったNLPタスクの解決に広く用いられている。
本稿では,6つのテンソル分解法を概説し,モデルパラメータの圧縮能力について述べる。
論文 参考訳（メタデータ） (2023-04-26T13:12:00Z) - A predictive physics-aware hybrid reduced order model for reacting flows [65.73506571113623]
反応流問題の解法として,新しいハイブリッド型予測次数モデル (ROM) を提案する。
自由度は、数千の時間的点から、対応する時間的係数を持ついくつかのPODモードへと減少する。
時間係数を予測するために、2つの異なるディープラーニングアーキテクチャがテストされている。
論文 参考訳（メタデータ） (2023-01-24T08:39:20Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳（メタデータ） (2022-06-15T17:58:34Z) - An advanced spatio-temporal convolutional recurrent neural network for
storm surge predictions [73.4962254843935]
本研究では, 人工ニューラルネットワークモデルを用いて, 嵐の軌跡/規模/強度履歴に基づいて, 強風をエミュレートする能力について検討する。
本研究では, 人工嵐シミュレーションのデータベースを用いて, 強風を予測できるニューラルネットワークモデルを提案する。
論文 参考訳（メタデータ） (2022-04-18T23:42:18Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - Tensor-Train Networks for Learning Predictive Modeling of
Multidimensional Data [0.0]
有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。
本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。
TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
論文 参考訳（メタデータ） (2021-01-22T16:14:38Z) - Convolutional neural networks compression with low rank and sparse
tensor decompositions [0.0]
畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて顕著な結果を示す。
現実のアプリケーションでは、エッジシステムやモバイルデバイス上で走るのに十分高速で軽量なモデルを開発することが不可欠である。
本研究では,テンソル分解に基づくニューラルネットワーク圧縮手法を提案する。
論文 参考訳（メタデータ） (2020-06-11T13:53:18Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。