論文の概要: An Empirical Investigation of Matrix Factorization Methods for Pre-trained Transformers

• arxiv url: http://arxiv.org/abs/2406.11307v1
• Date: Mon, 17 Jun 2024 08:14:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 15:50:52.734108
• Title: An Empirical Investigation of Matrix Factorization Methods for Pre-trained Transformers
• Title（参考訳）: 事前学習型変圧器の行列分解法に関する実証的検討
• Authors: Ashim Gupta, Sina Mahdipour Saravani, P. Sadayappan, Vivek Srikumar,
• Abstract要約: 本稿では,因子化に基づくモデル圧縮手法の包括的解析を行う。 直感的な低ランクの分解と最近導入されたMonarchの分解を比較することに重点を置いている。 我々の実験は、単純な低ランク因数分解がモナーキ因数分解を一貫して上回るという驚くべき結論を導いた。
• 参考スコア（独自算出の注目度）: 32.33602229853615
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing size of transformer-based models in NLP makes the question of compressing them important. In this work, we present a comprehensive analysis of factorization based model compression techniques. Specifically, we focus on comparing straightforward low-rank factorization against the recently introduced Monarch factorization, which exhibits impressive performance preservation on the GLUE benchmark. To mitigate stability issues associated with low-rank factorization of the matrices in pre-trained transformers, we introduce a staged factorization approach wherein layers are factorized one by one instead of being factorized simultaneously. Through this strategy we significantly enhance the stability and reliability of the compression process. Further, we introduce a simple block-wise low-rank factorization method, which has a close relationship to Monarch factorization. Our experiments lead to the surprising conclusion that straightforward low-rank factorization consistently outperforms Monarch factorization across both different compression ratios and six different text classification tasks.
• Abstract（参考訳）: NLPにおける変圧器モデルのサイズは増大しており、圧縮することが重要である。 本研究では,因子化に基づくモデル圧縮手法の包括的解析を行う。 具体的には、GLUEベンチマークで顕著な性能保存を示す、最近導入されたMonarch Factorizationと、単純な低ランクの分解の比較に焦点をあてる。 既訓練変圧器における行列の低ランク分解に伴う安定性問題を軽減するため, 同時に分解されるのではなく, 層を1つずつ分解する段階的分解法を提案する。 この戦略により、圧縮プロセスの安定性と信頼性が著しく向上する。 さらに,モナーキ因数分解と密接な関係を持つブロック単位の低ランク因数分解法を提案する。 我々の実験は、単純な低ランク因数分解が、異なる圧縮比と6つの異なるテキスト分類タスクの両方で、モナール因数分解を一貫して上回っているという驚くべき結論を導いた。

関連論文リスト

• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Quantization of Large Language Models with an Overdetermined Basis [73.79368761182998]
  本稿では,嘉心表現の原理に基づくデータ量子化アルゴリズムを提案する。 以上の結果から, カシ量子化はモデル性能の競争力や優れた品質を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-15T12:38:46Z)
• Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
  この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。 本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。 学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
  論文  参考訳（メタデータ） (2024-01-10T02:38:21Z)
• DSFormer: Effective Compression of Text-Transformers by Dense-Sparse Weight Factorization [12.277820111814691]
  DSFormerは、ターゲットの重み行列を小さな密度と半構造化されたスパース行列の積として表現する単純な代替因数分解スキームである。 我々のアプローチは、主流圧縮機にも当てはまり、一般的な蒸留、層共有および量子化変換器に追加される場合、最大50%の圧縮を提供する。
  論文  参考訳（メタデータ） (2023-12-20T17:27:25Z)
• Low-Rank Prune-And-Factorize for Language Model Compression [18.088550230146247]
  マトリックスの分解は、中程度から高い圧縮速度で良好な性能を維持することができない。 スパシティ対応SVDとミックスランクファインチューニングの2つの手法を提案する。
  論文  参考訳（メタデータ） (2023-06-25T07:38:43Z)
• Geometry-aware training of factorized layers in tensor Tucker format [6.701651480567394]
  重みテンソルのタッカー分解の要因を学習するための新しい手法を提案する。 トレーニングの提案は, 元の非リファクタリング力学を局所的に近似する上で最適であることが証明された。 本稿では,アルゴリズムの理論解析を行い,収束,近似,局所降下保証を示す。
  論文  参考訳（メタデータ） (2023-05-30T14:20:51Z)
• HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression [69.36555801766762]
  本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。 ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T05:31:45Z)
• Identifiability in Exact Multilayer Sparse Matrix Factorization [0.0]
  我々は、L因子の積である任意の行列が、まさにバタフライサポートであることを証明し、L因子への特異なスパース因子化を認める。 これは特にアダマール行列や2Lの離散フーリエ変換行列に適用できる。
  論文  参考訳（メタデータ） (2021-10-04T07:50:51Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Provable Online CP/PARAFAC Decomposition of a Structured Tensor via Dictionary Learning [18.464203215845373]
  構造化3変量テンソルをその構成的ポリアディック(CP)因子に分解する問題を考察する。 我々は、構造化テンソル因子分解のための証明可能なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-06-30T00:31:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。