論文の概要: Numerical Pruning for Efficient Autoregressive Models

• arxiv url: http://arxiv.org/abs/2412.12441v1
• Date: Tue, 17 Dec 2024 01:09:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 14:01:00.847091
• Title: Numerical Pruning for Efficient Autoregressive Models
• Title（参考訳）: 効率的な自己回帰モデルのための数値計算法
• Authors: Xuan Shen, Zhao Song, Yufa Zhou, Bo Chen, Jing Liu, Ruiyi Zhang, Ryan A. Rossi, Hao Tan, Tong Yu, Xiang Chen, Yufan Zhou, Tong Sun, Pu Zhao, Yanzhi Wang, Jiuxiang Gu,
• Abstract要約: 本稿では,デコーダのみを用いた変圧器を用いた自己回帰モデルの圧縮に着目する。 具体的には,ニュートン法とモジュールの数値スコアをそれぞれ計算する学習自由プルーニング法を提案する。 提案手法の有効性を検証するため,理論的支援と広範囲な実験を行った。
• 参考スコア（独自算出の注目度）: 87.56342118369123
• License:
• Abstract: Transformers have emerged as the leading architecture in deep learning, proving to be versatile and highly effective across diverse domains beyond language and image processing. However, their impressive performance often incurs high computational costs due to their substantial model size. This paper focuses on compressing decoder-only transformer-based autoregressive models through structural weight pruning to improve the model efficiency while preserving performance for both language and image generation tasks. Specifically, we propose a training-free pruning method that calculates a numerical score with Newton's method for the Attention and MLP modules, respectively. Besides, we further propose another compensation algorithm to recover the pruned model for better performance. To verify the effectiveness of our method, we provide both theoretical support and extensive experiments. Our experiments show that our method achieves state-of-the-art performance with reduced memory usage and faster generation speeds on GPUs.
• Abstract（参考訳）: トランスフォーマーはディープラーニングにおける主要なアーキテクチャとして登場し、言語や画像処理以外の様々な領域で多用され、非常に効果的であることが証明されている。 しかし、その顕著な性能は、かなりのモデルサイズのため、しばしば高い計算コストを発生させる。 本稿では,デコーダのみをベースとした自己回帰モデルの圧縮に着目し,言語および画像生成タスクの性能を保ちながら,モデル効率の向上を図る。 具体的には,Newton 法と MLP モジュールの数値スコアをそれぞれ計算する学習自由プルーニング法を提案する。 さらに, 性能向上のために, プルーンドモデルを復元する別の補償アルゴリズムを提案する。 提案手法の有効性を検証するため,理論的支援と広範囲な実験を行った。 実験により,GPU上でのメモリ使用量の削減と生成速度の向上により,最先端の性能を実現することができた。

関連論文リスト

• Efficient Transformer for High Resolution Image Motion Deblurring [0.0]
  本稿では,高分解能イメージモーションデブロアに対するRestormerアーキテクチャの総合的研究と改良について述べる。 モデル複雑性を18.4%削減し、最適化された注意機構によって性能を維持または改善するアーキテクチャ変更を導入する。 以上の結果から, 思考的アーキテクチャの単純化と学習戦略の強化が組み合わさって, より効率的かつ等しく機能的な作業モデルが得られることが示唆された。
  論文  参考訳（メタデータ） (2025-01-30T14:58:33Z)
• Distillation of Diffusion Features for Semantic Correspondence [23.54555663670558]
  本稿では,効率の低下を克服する新しい知識蒸留手法を提案する。 本稿では,2つの大きな視覚基盤モデルを用いて,これらの補足モデルの性能を,計算コストの低減で高精度に維持する1つの小さなモデルに蒸留する方法を示す。 実験結果から,3次元データ拡張による蒸留モデルにより,計算負荷を大幅に削減し,セマンティックビデオ対応などの実世界のアプリケーションの実現性を向上させるとともに,現在の最先端手法よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-12-04T17:55:33Z)
• Efficient Degradation-aware Any Image Restoration [83.92870105933679]
  我々は,低ランク体制下での学習者(DaLe)を用いた効率的なオールインワン画像復元システムである textitDaAIR を提案する。 モデルキャパシティを入力劣化に動的に割り当てることにより、総合学習と特定の学習を統合した効率的な復調器を実現する。
  論文  参考訳（メタデータ） (2024-05-24T11:53:27Z)
• Majority Kernels: An Approach to Leverage Big Model Dynamics for Efficient Small Model Training [32.154166415680066]
  蒸留、圧縮、量子化といった手法は、高性能な大きなモデルを利用してより小さな性能のモデルを誘導するのに役立つ。 本稿では、単一トレーニングランが同時に、より大きなパフォーマンスモデルをトレーニングし、より小さなデプロイメントモデルを導出できるという仮説を考察する。
  論文  参考訳（メタデータ） (2024-02-07T17:07:41Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• Towards Compute-Optimal Transfer Learning [82.88829463290041]
  我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。 その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2023-04-25T21:49:09Z)
• Top-KAST: Top-K Always Sparse Training [50.05611544535801]
  トレーニングを通して一定間隔を保存するTop-KASTを提案する。 確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。 ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
  論文  参考訳（メタデータ） (2021-06-07T11:13:05Z)
• Towards Practical Lipreading with Distilled and Efficient Models [57.41253104365274]
  ニューラルネットワークの復活により、リリーディングは多くの進歩を目の当たりにした。 最近の研究は、最適なアーキテクチャを見つけるか、一般化を改善することで、パフォーマンスを改善するといった側面に重点を置いている。 現在の方法論と、実践的なシナリオにおける効果的なリップリーディングのデプロイ要件との間には、依然として大きなギャップがあります。 まず, LRW と LRW-1000 をそれぞれ 88.5% と 46.6% に比例して, 最先端の性能を高めることを提案する。
  論文  参考訳（メタデータ） (2020-07-13T16:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。