論文の概要: A Structured Sparse Neural Network and Its Matrix Calculations Algorithm
- arxiv url: http://arxiv.org/abs/2207.00903v1
- Date: Sat, 2 Jul 2022 19:38:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-07 08:24:22.558601
- Title: A Structured Sparse Neural Network and Its Matrix Calculations Algorithm
- Title（参考訳）: 構造化スパースニューラルネットワークとその行列計算アルゴリズム
- Authors: Seyyed Mostafa Mousavi Janbeh Sarayi and Mansour Nikkhah Bahrami
- Abstract要約: 非対称な三対角行列を導入し, 対角方向のスパース成分とオフセット部分および超対角線を導入した。
行列逆が存在しない場合には、最小二乗型擬逆が提供される。
その結果,行列のサイズが大きくなると計算コストが著しく向上することがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gradient descent optimizations and backpropagation are the most common
methods for training neural networks, but they are computationally expensive
for real time applications, need high memory resources, and are difficult to
converge for many networks and large datasets. [Pseudo]inverse models for
training neural network have emerged as powerful tools to overcome these
issues. In order to effectively implement these methods, structured pruning
maybe be applied to produce sparse neural networks. Although sparse neural
networks are efficient in memory usage, most of their algorithms use the same
fully loaded matrix calculation methods which are not efficient for sparse
matrices. Tridiagonal matrices are one of the frequently used candidates for
structuring neural networks, but they are not flexible enough to handle
underfitting and overfitting problems as well as generalization properties. In
this paper, we introduce a nonsymmetric, tridiagonal matrix with offdiagonal
sparse entries and offset sub and super-diagonals as well algorithms for its
[pseudo]inverse and determinant calculations. Traditional algorithms for matrix
calculations, specifically inversion and determinant, of these forms are not
efficient specially for large matrices, e.g. larger datasets or deeper
networks. A decomposition for lower triangular matrices is developed and the
original matrix is factorized into a set of matrices where their inverse
matrices are calculated. For the cases where the matrix inverse does not exist,
a least square type pseudoinverse is provided. The present method is a direct
routine, i.e., executes in a predictable number of operations which is tested
for randomly generated matrices with varying size. The results show significant
improvement in computational costs specially when the size of matrix increases.
- Abstract（参考訳）: 勾配降下最適化とバックプロパゲーションはニューラルネットワークのトレーニングの最も一般的な方法であるが、リアルタイムアプリケーションでは計算コストが高く、高メモリリソースを必要とし、多くのネットワークや大規模データセットでは収束が難しい。
ニューラルネットワークのトレーニングのための逆モデルが,これらの問題を克服するための強力なツールとして登場した。
これらの手法を効果的に実装するために、構造化プルーニングを用いてスパースニューラルネットワークを生成する。
スパースニューラルネットワークはメモリ使用量では効率的だが、ほとんどのアルゴリズムはスパース行列では効率的ではない完全にロードされた行列計算手法を使用している。
三対角行列はニューラルネットワークの構造化によく用いられる候補の一つであるが、不適合問題や過剰フィッティング問題、一般化特性を扱うには柔軟ではない。
本稿では,非対称な三対角行列について,オフセット部分および超対角行列と,その[pseudo]逆行列および行列行列計算のアルゴリズムを紹介する。
行列計算の伝統的なアルゴリズム、特に逆転式と行列式は、大きなデータセットやより深いネットワークのような大きな行列に対して特に効率的ではない。
下方三角形行列の分解を開発し、元の行列を逆行列を計算した行列の集合に分解する。
行列逆が存在しない場合には、最小二乗型擬逆が提供される。
本手法は,ランダムに生成した行列に対して様々な大きさの予測可能な演算を実行するための直接ルーチンである。
その結果,行列のサイズが大きくなると計算コストが大きく向上することがわかった。
関連論文リスト
- Graph Neural Networks and Applied Linear Algebra [1.8749305679160366]
グラフニューラルネットワーク(GNN)は、スパース行列計算に適したアプローチである。
本稿では,数値線形代数オーディエンスのためのGNNを紹介する。
具体例は、GNNを用いて、どれだけの共通線型代数タスクを達成できるかを示すものである。
論文 参考訳（メタデータ） (2023-10-21T18:37:56Z) - Multiresolution kernel matrix algebra [0.0]
本研究では, あるS形式において, 最適スパース行列を生成するサンプルレットを用いて, カーネル行列の圧縮を示す。
カーネル行列の逆数(もし存在するなら)は S-形式でも圧縮可能である。
行列代数は擬微分計算によって数学的に正当化される。
論文 参考訳（メタデータ） (2022-11-21T17:50:22Z) - High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
共分散行列の明示的な構成を避ける新しい推論手法を提案する。
本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。
いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
論文 参考訳（メタデータ） (2022-02-25T16:35:26Z) - Sparse Factorization of Large Square Matrices [10.94053598642913]
本稿では,大面積の正方行列とスパースフルランク行列の積を近似する。
近似では、我々の手法は$Ntimes N$ full matrix に対して$N(log N)2$ non-zero number しか必要としない。
近似行列がスパースかつハイランクである場合,本手法により近似精度が向上することを示す。
論文 参考訳（メタデータ） (2021-09-16T18:42:21Z) - Robust 1-bit Compressive Sensing with Partial Gaussian Circulant
Matrices and Generative Priors [54.936314353063494]
我々は,ロバストな1ビット圧縮センシングのための相関に基づく最適化アルゴリズムのリカバリ保証を提供する。
我々は,実用的な反復アルゴリズムを用いて,画像データセットの数値実験を行い,結果の相関付けを行う。
論文 参考訳（メタデータ） (2021-08-08T05:28:06Z) - Meta-learning for Matrix Factorization without Shared Rows or Columns [39.56814839510978]
提案手法は,行列を入力とするニューラルネットワークを用いて,行列の分解行列の事前分布を生成する。
ニューラルネットワークは、期待される計算誤差を最小限に抑えるようにメタ学習される。
3つのユーザ・イテム評価データセットを用いた実験により,提案手法は未知の行列における限られた数の観測結果から,欠落した値をインプットできることを示した。
論文 参考訳（メタデータ） (2021-06-29T07:40:20Z) - Non-PSD Matrix Sketching with Applications to Regression and
Optimization [56.730993511802865]
非PSDおよび2乗根行列の次元削減法を提案する。
複数のダウンストリームタスクにこれらのテクニックをどのように使用できるかを示す。
論文 参考訳（メタデータ） (2021-06-16T04:07:48Z) - Fast and Accurate Pseudoinverse with Sparse Matrix Reordering and
Incremental Approach [4.710916891482697]
擬逆は行列逆の一般化であり、機械学習で広く利用されている。
FastPIはスパース行列に対する新たなインクリメンタル特異値分解法(SVD)である。
我々は,FastPIが精度を損なうことなく,他の近似手法よりも高速に擬似逆計算を行うことを示す。
論文 参考訳（メタデータ） (2020-11-09T07:47:10Z) - What if Neural Networks had SVDs? [66.91160214071088]
様々なニューラルネットワークでは、行列反転のような時間を要する行列演算を採用している。
本稿では,行列演算を高速化するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-09-29T12:58:52Z) - Sketching Transformed Matrices with Applications to Natural Language
Processing [76.6222695417524]
本稿では, 変換行列を用いて, 与えられた小さな行列の積を計算するための空間効率のよいスケッチアルゴリズムを提案する。
提案手法は誤差が小さく,空間と時間の両方で効率がよいことを示す。
論文 参考訳（メタデータ） (2020-02-23T03:07:31Z) - Optimal Iterative Sketching with the Subsampled Randomized Hadamard
Transform [64.90148466525754]
最小二乗問題に対する反復スケッチの性能について検討する。
本研究では、Haar行列とランダム化されたHadamard行列の収束速度が同一であることを示し、ランダムなプロジェクションを経時的に改善することを示した。
これらの手法は、ランダム化次元還元を用いた他のアルゴリズムにも適用することができる。
論文 参考訳（メタデータ） (2020-02-03T16:17:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。