論文の概要: Ternary Singular Value Decomposition as a Better Parameterized Form in Linear Mapping

• arxiv url: http://arxiv.org/abs/2308.07641v1
• Date: Tue, 15 Aug 2023 08:46:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-16 13:29:02.417561
• Title: Ternary Singular Value Decomposition as a Better Parameterized Form in Linear Mapping
• Title（参考訳）: 線形写像におけるより良いパラメータ化形式としての三元特異値分解
• Authors: Boyu Chen, Hanxuan Chen, Jiao He, Fengyu Sun, Shangling Jui
• Abstract要約: ネットワーク圧縮性能を向上するために, 単純だが新しいパラメータ化形式の線形写像を提案する: 仮想SVD (TSVD) と呼ばれる擬似SVD。 バニラSVDとは異なり、SVDの$U$と$V$の行列は、pm 1, 0$の3次行列に制限される。
• 参考スコア（独自算出の注目度）: 13.83733098509726
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a simple yet novel parameterized form of linear mapping to achieves remarkable network compression performance: a pseudo SVD called Ternary SVD (TSVD). Unlike vanilla SVD, TSVD limits the $U$ and $V$ matrices in SVD to ternary matrices form in $\{\pm 1, 0\}$. This means that instead of using the expensive multiplication instructions, TSVD only requires addition instructions when computing $U(\cdot)$ and $V(\cdot)$. We provide direct and training transition algorithms for TSVD like Post Training Quantization and Quantization Aware Training respectively. Additionally, we analyze the convergence of the direct transition algorithms in theory. In experiments, we demonstrate that TSVD can achieve state-of-the-art network compression performance in various types of networks and tasks, including current baseline models such as ConvNext, Swim, BERT, and large language model like OPT.
• Abstract（参考訳）: 本稿では,ネットワーク圧縮性能を飛躍的に向上させるために,単純かつ新しいパラメータ化された線形写像形式を提案する。 バニラ SVD とは異なり、SVD の $U$ と $V$ の行列は $\{\pm 1, 0\}$ の 3次行列に制限される。 つまり、高価な乗算命令を使う代わりに、TSVDは$U(\cdot)$と$V(\cdot)$を計算する際にのみ追加命令を必要とする。 ポストトレーニング量子化および量子化アウェアトレーニングのようなTSVDのための直接および訓練遷移アルゴリズムを提供する。 さらに,理論における直接遷移アルゴリズムの収束を解析する。 実験では,既存のベースラインモデルであるConvNext, Swim, BERT, OPTなどの大規模言語モデルなど,様々な種類のネットワークやタスクにおいて,TSVDが最先端のネットワーク圧縮性能を達成できることを実証した。

関連論文リスト

• Efficient Adaptation of Pre-trained Vision Transformer via Householder Transformation [53.88562288388169]
  一般的な戦略である。 事前訓練された視覚変換器(ViT)のPEFT(Efficient Fine-Tuning)は、下流タスクにモデルを適応させる。 適応行列を表現するために,Singular Value Decomposition (SVD) にインスパイアされた新しいPEFT手法を提案する。 SVDは行列を左ユニタリ行列、スケーリング値の対角行列、右ユニタリ行列の積に分解する。
  論文  参考訳（メタデータ） (2024-10-30T12:08:30Z)
• Compute Better Spent: Replacing Dense Layers with Structured Matrices [77.61728033234233]
  画像領域における畳み込みネットワークの成功が示すように、高密度行列に対するより効率的な代替手段を同定する。 異なる構造は、しばしばパフォーマンスに不可欠な、非常に異なる初期化尺度と学習率を必要とする。 本稿では,モナール行列を含む新しい行列族Block-Trainを提案する。
  論文  参考訳（メタデータ） (2024-06-10T13:25:43Z)
• ASVD: Activation-aware Singular Value Decomposition for Compressing Large Language Models [28.231997641388343]
  大規模言語モデル(LLM)のための新しい訓練後圧縮パラダイムを提案する。 この課題は, LLM活性化の分散分散と, 各種層間の感度差に起因する。 我々は、アクティベーション対応特異値分解(ASVD)と呼ばれるトレーニング不要の手法を提案する。
  論文  参考訳（メタデータ） (2023-12-10T08:41:24Z)
• Implicit SVD for Graph Representation Learning [33.761179632722]
  控えめなハードウェアを持つ人には、グラフ表現学習をより計算的に学習しやすいものにします。 我々はSOTAモデルの線形近似を導出し、入出力を計算せずに$mathbfM$のSVDを介して閉形式でモデルを訓練する。 我々のモデルは、様々なグラフ上での競合実証試験性能を示す。
  論文  参考訳（メタデータ） (2021-11-11T16:58:17Z)
• Why Approximate Matrix Square Root Outperforms Accurate SVD in Global Covariance Pooling? [59.820507600960745]
  本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。 提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-05-06T08:03:45Z)
• What if Neural Networks had SVDs? [66.91160214071088]
  様々なニューラルネットワークでは、行列反転のような時間を要する行列演算を採用している。 本稿では,行列演算を高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-29T12:58:52Z)
• An Analysis of SVD for Deep Rotation Estimation [63.97835949897361]
  SVDが回転群に射影する自然な選択であることを示す理論的解析を提案する。 解析の結果,既存の表現をSVDの直交化手順に置き換えれば,多くのディープラーニングアプリケーションにおいて,技術性能の状態を得られることがわかった。
  論文  参考訳（メタデータ） (2020-06-25T17:58:28Z)
• Dynamic Tensor Rematerialization [11.204761128308542]
  チェックポイントにより、制限されたメモリ予算下でのディープラーニングモデルのトレーニングが可能になる。 現在のチェックポイント技術は、これらの再計算をオフラインで静的に計画し、静的グラフを仮定する。 我々は、動的リマテリアル化(DTR)を導入することで、簡単なオンラインアルゴリズムが同等のパフォーマンスを達成できることを実証した。
  論文  参考訳（メタデータ） (2020-06-17T02:49:59Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。