Fugu-MT 論文翻訳(概要): Fast and Low-Memory Deep Neural Networks Using Binary Matrix Factorization

論文の概要: Fast and Low-Memory Deep Neural Networks Using Binary Matrix Factorization

arxiv url: http://arxiv.org/abs/2210.13468v1
Date: Mon, 24 Oct 2022 13:36:30 GMT
ステータス: 処理完了
システム内更新日: 2022-10-26 15:52:19.757003
Title: Fast and Low-Memory Deep Neural Networks Using Binary Matrix Factorization
Title（参考訳）: 二元行列分解を用いた高速・低メモリディープニューラルネットワーク
Authors: Alireza Bordbar, Mohammad Hossein Kahaei
Abstract要約: ディープニューラルネットワークは計算的に広く、大量のメモリを必要とする。行列分解は異なるネットワークで有効であることが示されている。事実上、この手法はそのようなネットワークの実装に繋がる可能性がある。
参考スコア（独自算出の注目度）: 2.132096006921048
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Despite the outstanding performance of deep neural networks in different applications, they are still computationally extensive and require a great number of memories. This motivates more research on reducing the resources required for implementing such networks. An efficient approach addressed for this purpose is matrix factorization, which has been shown to be effective on different networks. In this paper, we utilize binary matrix factorization and show its great efficiency in reducing the required number of resources in deep neural networks. In effect, this technique can lead to the practical implementation of such networks.
Abstract（参考訳）: 異なるアプリケーションにおけるディープニューラルネットワークの卓越した性能にもかかわらず、それらはまだ計算的に広く、大量のメモリを必要とする。これにより、そのようなネットワークを実装するのに必要なリソースを減らす研究が促進される。この目的のために効果的なアプローチは行列分解であり、異なるネットワークで有効であることが示されている。本稿では,二元行列の分解を応用し,深層ニューラルネットワークにおける資源量の削減に優れた効率性を示す。実際、この技術はそのようなネットワークの実用的な実装に繋がる可能性がある。

関連論文リスト

Learning Discrete Weights and Activations Using the Local Reparameterization Trick [21.563618480463067]
コンピュータビジョンと機械学習では、ニューラルネットワーク推論の計算とメモリ要求を減らすことが重要な課題である。ネットワークの重みとアクティベーションをバイナライズすることで、計算の複雑さを大幅に減らすことができる。これにより、低リソースデバイスにデプロイ可能な、より効率的なニューラルネットワーク推論が可能になる。
論文参考訳（メタデータ） (2023-07-04T12:27:10Z)
Adaptive Neural Networks Using Residual Fitting [2.546014024559691]
本稿では,ネットワークの残差における説明可能なエラーを探索し,十分なエラーが検出された場合,ネットワークを拡大するネットワーク成長手法を提案する。これらのタスクの中で、成長するネットワークは、成長しない小さなネットワークよりも優れたパフォーマンスを達成することができる。
論文参考訳（メタデータ） (2023-01-13T19:52:30Z)
Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-06T13:04:45Z)
Dimensionality Reduction in Deep Learning via Kronecker Multi-layer Architectures [4.836352379142503]
Kronecker積分解の高速行列乗算に基づく新しいディープラーニングアーキテクチャを提案する。このアーキテクチャにより、ニューラルネットワークのトレーニングと実装が可能になり、計算時間とリソースが大幅に削減されることを示す。
論文参考訳（メタデータ） (2022-04-08T19:54:52Z)
Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文参考訳（メタデータ） (2021-06-18T03:11:15Z)
Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks [78.47459801017959]
Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
論文参考訳（メタデータ） (2021-01-31T22:48:50Z)
ALF: Autoencoder-based Low-rank Filter-sharing for Efficient Convolutional Neural Networks [63.91384986073851]
オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。 ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
論文参考訳（メタデータ） (2020-07-27T09:01:22Z)
Binary Neural Networks: A Survey [126.67799882857656]
バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
論文参考訳（メタデータ） (2020-03-31T16:47:20Z)
Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文参考訳（メタデータ） (2020-02-10T16:20:02Z)
Lossless Compression of Deep Neural Networks [17.753357839478575]
ディープニューラルネットワークは、画像や言語認識など、多くの予測モデリングタスクで成功している。モバイルデバイスのような限られた計算資源の下でこれらのネットワークをデプロイすることは困難である。生成した出力を変更せずに、ニューラルネットワークの単位と層を除去するアルゴリズムを導入する。
論文参考訳（メタデータ） (2020-01-01T15:04:43Z)
Differentiable Sparsification for Deep Neural Networks [0.0]
本稿では,ディープニューラルネットワークのための完全微分可能なスペーシフィケーション手法を提案する。提案手法は,ネットワークのスパース化構造と重み付けの両方をエンドツーエンドに学習することができる。私たちの知る限りでは、これが最初の完全に差別化可能なスパーシフィケーション手法である。
論文参考訳（メタデータ） (2019-10-08T03:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。