Fugu-MT 論文翻訳(概要): RWKV-Lite: Deeply Compressed RWKV for Resource-Constrained Devices

論文の概要: RWKV-Lite: Deeply Compressed RWKV for Resource-Constrained Devices

arxiv url: http://arxiv.org/abs/2412.10856v3
Date: Fri, 31 Jan 2025 06:34:12 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-03 13:58:21.345484
Title: RWKV-Lite: Deeply Compressed RWKV for Resource-Constrained Devices
Title（参考訳）: RWKV-Lite:資源制約デバイスのための深く圧縮されたRWKV
Authors: Wonkyo Choe, Yangfeng Ji, Felix Xiaozhu Lin,
Abstract要約: モデルアーキテクチャの最適化から,RWKVアーキテクチャに合わせたポストトレーニング圧縮まで,一連の圧縮手法を提案する。我々の手法は、RWKVモデルのメモリフットプリントを3.4倍 -- 5倍減らし、精度は無視できる程度に低下させる。
参考スコア（独自算出の注目度）: 15.969537866628517
License:
Abstract: To deploy LLMs on resource-contained platforms such as mobile robots and smartphones, non-transformers LLMs have achieved major breakthroughs. Recently, a novel RNN-based LLM family, Repentance Weighted Key Value (RWKV) has shown strong computational efficiency; nevertheless, RWKV models still have high parameter counts which limited their deployment. In this paper, we propose a suite of compression techniques, ranging from model architecture optimizations to post-training compression, tailored to the RWKV architecture. Combined, our techniques reduce the memory footprint of RWKV models by 3.4x -- 5x with only negligible degradation in accuracy; compared to transformer LLMs with similar accuracy, our models require 4x less memory footprint.
Abstract（参考訳）: LLMをモバイルロボットやスマートフォンなどのリソースを含むプラットフォームにデプロイするために、非トランスフォーマーLSMは大きなブレークスルーを達成している。近年,新しいRNNベースのLLMファミリーであるRepentance Weighted Key Value (RWKV) は,高い計算効率を示した。本稿では,モデルアーキテクチャの最適化から,RWKVアーキテクチャに適した後処理圧縮まで,一連の圧縮手法を提案する。この手法を組み合わせることで、RWKVモデルのメモリフットプリントを3.4倍 -- 5倍の精度で削減できる。

関連論文リスト

Low Resource Video Super-resolution using Memory and Residual Deformable Convolutions [3.018928786249079]
トランスフォーマーベースのビデオスーパーレゾリューション(VSR)モデルは近年、新しいベンチマークを設定しているが、その相当な計算要求により、リソースに制約のあるデバイスへの展開には適さないものが多い。本稿では,VSRのための軽量・パラメータ効率の深い残留変形可能な畳み込みネットワークを提案する。パラメータはわずか230万であり、REDS4データセット上での最先端のSSIMは0.9175である。
論文参考訳（メタデータ） (2025-02-03T20:46:15Z)
FlexiGPT: Pruning and Extending Large Language Models with Low-Rank Weight Sharing [59.12511498024836]
本稿では,重み付けスコアに基づいてモデルブロックを選択的にプルーする大規模言語モデル(LLM)をプルーする手法を提案する。重み共有機構を用いて各刈り込みブロックを置換する原理的計量を提案する。経験的評価は、既存の方法よりも大幅にパフォーマンスが向上したことを示している。
論文参考訳（メタデータ） (2025-01-24T18:46:37Z)
EoRA: Training-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation [79.56709262189953]
EoRAは、圧縮されたLLaMA2/3モデルの様々なタスクにおけるエラーを補償する従来の手法より一貫して優れている。 EoRAは、圧縮エラーを補うスケーラブルでトレーニング不要なソリューションを提供する。
論文参考訳（メタデータ） (2024-10-28T17:59:03Z)
LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
論文参考訳（メタデータ） (2024-10-04T03:10:53Z)
From GaLore to WeLore: How Low-Rank Weights Non-uniformly Emerge from Low-Rank Gradients [86.40635601953446]
現代大規模言語モデルの様々な層にまたがる低ランク構造の出現について検討する。 WeLore(Weight Low-Rank Projection)を提案する。
論文参考訳（メタデータ） (2024-07-15T21:05:20Z)
Effectively Compress KV Heads for LLM [28.0801697946958]
キーバリュー(KV)キャッシュを圧縮する新しい手法を提案する。提案手法は,従来のLLMに匹敵する性能を維持しつつ,KVヘッドの4分の1以上を圧縮することができる。
論文参考訳（メタデータ） (2024-06-11T08:37:33Z)
LiteVAE: Lightweight and Efficient Variational Autoencoders for Latent Diffusion Models [27.795088366122297]
潜在拡散モデル(LDM)のための新しいオートエンコーダ設計である LiteVAE を導入する。 LiteVAEは2次元離散ウェーブレット変換を使用して、標準変分オートエンコーダ(VAE)よりもスケーラビリティと計算効率を向上させる。
論文参考訳（メタデータ） (2024-05-23T12:06:00Z)
SVD-LLM: Truncation-aware Singular Value Decomposition for Large Language Model Compression [14.818355326032538]
大規模言語モデル(LLM)のための新しいSVDベースの圧縮手法であるSVD-LLMを提案する。 SVD-LLMは、特異値と圧縮損失の直接マッピングを保証するために、トラクション対応のデータホワイトニング戦略を組み込んでいる。以上の結果から, SVD-LLMは最先端技術, 特に高モデル圧縮比よりも優れていることが示された。
論文参考訳（メタデータ） (2024-03-12T07:31:18Z)
Vision-RWKV: Efficient and Scalable Visual Perception with RWKV-Like Architectures [99.20299078655376]
本稿では、NLPフィールドで使用されるRWKVモデルから適応したVision-RWKVを紹介する。我々のモデルは、スパース入力を効率的に処理し、ロバストなグローバル処理能力を実証するために設計されている。評価の結果,VRWKVは画像分類におけるViTの性能を超え,高速化とメモリ使用量の削減を図っている。
論文参考訳（メタデータ） (2024-03-04T18:46:20Z)
SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression [76.73007709690306]
Sparse-Quantized Representation (SpQR) は,新しい圧縮フォーマットと量子化技術である。 SpQRは、高精度なLLaMAとFalcon LLMのパープレキシティにおいて、1%未満の相対的精度の損失を達成している。これにより、1台の24GBのコンシューマGPU上で33BパラメータのLSMを実行でき、15%のスピードアップでパフォーマンスの劣化は発生しない。
論文参考訳（メタデータ） (2023-06-05T17:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。