論文の概要: Ternary Singular Value Decomposition as a Better Parameterized Form in
Linear Mapping
- arxiv url: http://arxiv.org/abs/2308.07641v1
- Date: Tue, 15 Aug 2023 08:46:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-16 13:29:02.417561
- Title: Ternary Singular Value Decomposition as a Better Parameterized Form in
Linear Mapping
- Title(参考訳): 線形写像におけるより良いパラメータ化形式としての三元特異値分解
- Authors: Boyu Chen, Hanxuan Chen, Jiao He, Fengyu Sun, Shangling Jui
- Abstract要約: ネットワーク圧縮性能を向上するために, 単純だが新しいパラメータ化形式の線形写像を提案する: 仮想SVD (TSVD) と呼ばれる擬似SVD。
バニラSVDとは異なり、SVDの$U$と$V$の行列は、pm 1, 0$の3次行列に制限される。
- 参考スコア(独自算出の注目度): 13.83733098509726
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a simple yet novel parameterized form of linear mapping to
achieves remarkable network compression performance: a pseudo SVD called
Ternary SVD (TSVD).
Unlike vanilla SVD, TSVD limits the $U$ and $V$ matrices in SVD to ternary
matrices form in $\{\pm 1, 0\}$. This means that instead of using the expensive
multiplication instructions, TSVD only requires addition instructions when
computing $U(\cdot)$ and $V(\cdot)$.
We provide direct and training transition algorithms for TSVD like Post
Training Quantization and Quantization Aware Training respectively.
Additionally, we analyze the convergence of the direct transition algorithms in
theory.
In experiments, we demonstrate that TSVD can achieve state-of-the-art network
compression performance in various types of networks and tasks, including
current baseline models such as ConvNext, Swim, BERT, and large language model
like OPT.
- Abstract(参考訳): 本稿では,ネットワーク圧縮性能を飛躍的に向上させるために,単純かつ新しいパラメータ化された線形写像形式を提案する。
バニラ SVD とは異なり、SVD の $U$ と $V$ の行列は $\{\pm 1, 0\}$ の 3次行列に制限される。
つまり、高価な乗算命令を使う代わりに、TSVDは$U(\cdot)$と$V(\cdot)$を計算する際にのみ追加命令を必要とする。
ポストトレーニング量子化および量子化アウェアトレーニングのようなTSVDのための直接および訓練遷移アルゴリズムを提供する。
さらに,理論における直接遷移アルゴリズムの収束を解析する。
実験では,既存のベースラインモデルであるConvNext, Swim, BERT, OPTなどの大規模言語モデルなど,様々な種類のネットワークやタスクにおいて,TSVDが最先端のネットワーク圧縮性能を達成できることを実証した。
関連論文リスト
- GIVT: Generative Infinite-Vocabulary Transformers [18.55070896912795]
実数値エントリを持つベクトル列を生成する生成無限語彙変換器(GIVT)を導入する。
VQ-GANとMaskGITの画像生成パラダイムにインスパイアされた私たちは、GIVTを使って、$beta$-VAEの未定量実数値列をモデル化する。
クラス条件画像生成におけるGIVTは、VQ-GANやMaskGITよりも優れ、近年の潜伏拡散モデルと競合する性能を実現する。
論文 参考訳(メタデータ) (2023-12-04T18:48:02Z) - Implicit SVD for Graph Representation Learning [33.761179632722]
控えめなハードウェアを持つ人には、グラフ表現学習をより計算的に学習しやすいものにします。
我々はSOTAモデルの線形近似を導出し、入出力を計算せずに$mathbfM$のSVDを介して閉形式でモデルを訓練する。
我々のモデルは、様々なグラフ上での競合実証試験性能を示す。
論文 参考訳(メタデータ) (2021-11-11T16:58:17Z) - An Empirical Study of Training End-to-End Vision-and-Language
Transformers [50.23532518166621]
我々はMETER(textbfMultimodal textbfEnd-to-end textbfTransformtextbfER)を提案する。
具体的には、視覚エンコーダ(例えば、CLIP-ViT、Swin変換器)、テキストエンコーダ(例えば、RoBERTa、DeBERTa)、マルチモーダルフュージョン(例えば、マージアテンション対共振器)である。
論文 参考訳(メタデータ) (2021-11-03T17:55:36Z) - Why Approximate Matrix Square Root Outperforms Accurate SVD in Global
Covariance Pooling? [59.820507600960745]
本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。
提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2021-05-06T08:03:45Z) - Compressing 1D Time-Channel Separable Convolutions using Sparse Random
Ternary Matrices [65.4388266814055]
1次元時間チャネル分離可能な畳み込みの1x1-畳み込みを、定数でスパースな乱数三元行列で-1,0,+1$の重みで置き換える。
Google Speech Commands v1のコマンド認識のために、最新の精度を同じネットワークサイズで97.21%$から97.41%$に改善します。
librispeech上での音声認識では、トレーニングすべき重みの数は半分になり、浮動小数点ベースラインの単語誤り率の約1%を犠牲にします。
論文 参考訳(メタデータ) (2021-03-31T15:09:20Z) - What if Neural Networks had SVDs? [66.91160214071088]
様々なニューラルネットワークでは、行列反転のような時間を要する行列演算を採用している。
本稿では,行列演算を高速化するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-09-29T12:58:52Z) - An Analysis of SVD for Deep Rotation Estimation [63.97835949897361]
SVDが回転群に射影する自然な選択であることを示す理論的解析を提案する。
解析の結果,既存の表現をSVDの直交化手順に置き換えれば,多くのディープラーニングアプリケーションにおいて,技術性能の状態を得られることがわかった。
論文 参考訳(メタデータ) (2020-06-25T17:58:28Z) - Dynamic Tensor Rematerialization [11.204761128308542]
チェックポイントにより、制限されたメモリ予算下でのディープラーニングモデルのトレーニングが可能になる。
現在のチェックポイント技術は、これらの再計算をオフラインで静的に計画し、静的グラフを仮定する。
我々は、動的リマテリアル化(DTR)を導入することで、簡単なオンラインアルゴリズムが同等のパフォーマンスを達成できることを実証した。
論文 参考訳(メタデータ) (2020-06-17T02:49:59Z) - Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality
Regularization and Singular Value Sparsification [53.50708351813565]
各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。
SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
論文 参考訳(メタデータ) (2020-04-20T02:40:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。