論文の概要: Vision Transformer Pruning Via Matrix Decomposition

• arxiv url: http://arxiv.org/abs/2308.10839v1
• Date: Mon, 21 Aug 2023 16:40:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 12:39:47.026316
• Title: Vision Transformer Pruning Via Matrix Decomposition
• Title（参考訳）: マトリックス分解によるビジョントランスプルーニング
• Authors: Tianyi Sun
• Abstract要約: ビジョン・トランスフォーマー・プルーニングの目的は、データセットの線形射影の次元を、それらの関連する重要度スコアを学習することによって推定することである。 本稿では,行列分解法の実装と比較により,線形射影の次元と複雑さをさらに削減する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This is a further development of Vision Transformer Pruning via matrix decomposition. The purpose of the Vision Transformer Pruning is to prune the dimension of the linear projection of the dataset by learning their associated importance score in order to reduce the storage, run-time memory, and computational demands. In this paper we further reduce dimension and complexity of the linear projection by implementing and comparing several matrix decomposition methods while preserving the generated important features. We end up selected the Singular Value Decomposition as the method to achieve our goal by comparing the original accuracy scores in the original Github repository and the accuracy scores of using those matrix decomposition methods, including Singular Value Decomposition, four versions of QR Decomposition, and LU factorization.
• Abstract（参考訳）: これはマトリックス分解による視覚トランスフォーマーのさらなる発展である。 vision transformer pruningの目的は、ストレージ、ランタイムメモリ、計算要求を減らすために、関連する重要度スコアを学習することにより、データセットの線形投影の次元を損ねることである。 本稿では,生成した重要な特徴を維持しつつ,複数の行列分解法を実装し比較することにより,線形射影の次元と複雑さをさらに削減する。 その結果,元々のgithubリポジトリにおける元の精度スコアと,特異値分解,qr分解の4つのバージョン,lu分解などの行列分解手法を用いた精度スコアを比較して,目標を達成するための特異値分解を選択した。

関連論文リスト

• Efficient Adaptation of Pre-trained Vision Transformer via Householder Transformation [53.88562288388169]
  一般的な戦略である。 事前訓練された視覚変換器(ViT)のPEFT(Efficient Fine-Tuning)は、下流タスクにモデルを適応させる。 適応行列を表現するために,Singular Value Decomposition (SVD) にインスパイアされた新しいPEFT手法を提案する。 SVDは行列を左ユニタリ行列、スケーリング値の対角行列、右ユニタリ行列の積に分解する。
  論文  参考訳（メタデータ） (2024-10-30T12:08:30Z)
• An Alternative Graphical Lasso Algorithm for Precision Matrices [0.0]
  本稿では,スパース精度行列を推定するためのDP-GLassoアルゴリズムを提案する。 正規化された正規対数型は自然に凸関数を最小化しやすい2つの和に分解するが、そのうちの1つはラッソ回帰問題である。 提案アルゴリズムは,最適化対象とする精度行列を最初から備えており,DP-GLassoアルゴリズムの良好な特性をすべて保持している。
  論文  参考訳（メタデータ） (2024-03-19T02:01:01Z)
• Learning Unorthogonalized Matrices for Rotation Estimation [83.94986875750455]
  3次元の回転を推定することは、3次元コンピュータビジョンの一般的な手順である。 回転行列という表現の1つの形式は、その連続性のために人気がある。 非直交擬似擬似回転行列(PRoM)を提案する。
  論文  参考訳（メタデータ） (2023-12-01T09:56:29Z)
• Optimal Projections for Discriminative Dictionary Learning using the JL-lemma [0.5461938536945723]
  次元減少に基づく辞書学習法は、しばしば反復的ランダムプロジェクションを用いている。 本稿では、ジョンソン-リンデンシュトラウス補題を用いて、投影行列をデランドマイズする構成的手法を提案する。
  論文  参考訳（メタデータ） (2023-08-27T02:59:59Z)
• Numerical Optimizations for Weighted Low-rank Estimation on Language Model [73.12941276331316]
  Singular value decomposition (SVD) は、より小さい行列でターゲット行列を近似する最も一般的な圧縮手法の1つである。 標準SVDは行列内のパラメータを同じ重要性で扱うが、これは単純だが非現実的な仮定である。 本手法は,ニューラルベース言語モデルにおいて,現在のSOTA法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-02T00:58:02Z)
• A Validation Approach to Over-parameterized Matrix and Image Recovery [29.29430943998287]
  複数のランダムな線形測定から低ランク行列を復元する問題を考察する。 提案手法は,より深いネットワークを持つ画像である画像に有効であることを示す。
  論文  参考訳（メタデータ） (2022-09-21T22:01:23Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences [52.6022911513076]
  トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。 我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。 理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
  論文  参考訳（メタデータ） (2021-12-10T06:58:05Z)
• Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection [138.97647716793333]
  再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。 提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
  論文  参考訳（メタデータ） (2020-12-29T04:08:38Z)
• The flare Package for High Dimensional Linear Regression and Precision Matrix Estimation in R [45.24529956312764]
  本稿では,新しい高次元回帰手法のファミリーを実装したフレアというRパッケージについて述べる。 パッケージフレアは二重精度Cで符号化され、ユーザフレンドリーなインターフェースによってRから呼び出される。 実験により、フレアは効率的で、大きな問題にスケールアップできることが示された。
  論文  参考訳（メタデータ） (2020-06-27T18:01:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。