論文の概要: Compressing What Matters: Neuron Importance Meets Data-Aware Low Rank Approximation for Language Model Compression
- arxiv url: http://arxiv.org/abs/2607.18284v1
- Date: Tue, 30 Jun 2026 09:16:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:13.106637
- Title: Compressing What Matters: Neuron Importance Meets Data-Aware Low Rank Approximation for Language Model Compression
- Title（参考訳）: 重要なことを圧縮する: 言語モデル圧縮のためのデータ認識低ランク近似とニューロンの重要性
- Abstract要約: 本稿では,動的圧縮率割当のための拡張的で効率的なアルゴリズムを提案する。
実験結果は,従来の最先端技術よりも同等あるいは実質的に優れている提案手法の有効性を裏付けるものである。
- 参考スコア（独自算出の注目度）: 39.47298454012977
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To excel at their domain large language models are comprised of billions of parameters. Yet this comes at the cost of huge memory requirements restricting their applicability in resource-constrained environments. To address the problem of neural network (NN) compression Singular Value Decomposition (SVD) has played a key role as a fundamental component for matrix compression through decomposition. To minimize compression error and to maximize the efficacy of the compressed model on the downstream tasks previous works focused on low-rank approximation of the NN's weight matrices either from the perspective of parameter importance or per-layer functional equivalence. While previous works studied the aforementioned perspectives in isolation in this work we are investigating the effectiveness of an approach that combines ideas from these two perspectives in a single objective. In parallel to this an important aspect that affects the compression quality is the distribution of the compression rate across layers and NN parameters. Earlier works mostly considered distributing the compression rate uniformly across layers and network weights or relied on computationally expensive heuristic search. Contrary to them in this work we propose an enhanced and computationally efficient algorithm for dynamic compression rate allocation. Experimental results support the efficacy of the proposed approach which performs on par or substantially better than the previous state-of-the-art especially under high compression ratios.
- Abstract（参考訳）: ドメインで最適化するために、大きな言語モデルは数十億のパラメータで構成されています。
しかしこれは、リソース制約のある環境での適用性を制限する巨大なメモリ要件のコストが伴う。
ニューラルネットワーク(NN)圧縮の問題に対処するため、Singular Value Decomposition(SVD)は、分解による行列圧縮の基本的なコンポーネントとして重要な役割を果たしてきた。
NNの重み行列の低ランク近似に着目した従来の下流タスクにおける圧縮モデルの圧縮誤差を最小限に抑え、かつ、パラメータの重要性や層間関数同値性の観点から圧縮モデルの有効性を最大化する。
この研究において、先述した視点を分離して研究する一方で、これらの2つの視点のアイデアを1つの目的に組み合わせたアプローチの有効性について検討している。
これと並行して、圧縮品質に影響を与える重要な側面は、層とNNパラメータ間の圧縮速度の分散である。
初期の研究は、圧縮速度を層やネットワークの重みに均一に分散するか、計算に高価なヒューリスティック検索に頼っていた。
本研究では, 動的圧縮率割当のための拡張的, 計算効率のよいアルゴリズムを提案する。
実験結果から, 従来の最先端技術よりも高い圧縮率で同等あるいは実質的に優れた性能を示す提案手法の有効性が示唆された。
関連論文リスト
- Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。
ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。
MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。
ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
論文 参考訳（メタデータ） (2026-02-12T02:38:57Z) - Integrating Pruning with Quantization for Efficient Deep Neural Networks Compression [0.0]
プルーニングと量子化は、モデルのサイズを減らし、処理速度を向上させるために広く使われている圧縮技術である。
本稿では,類似性に基づくフィルタプルーニングとアダプティブ・パワー・オブ・ツー(APoT)量子化を統合し,高い圧縮効率を実現する2つの手法を提案する。
実験により,提案手法は精度の低下を最小限に抑え,効率的なモデル圧縮を実現することを示す。
論文 参考訳（メタデータ） (2025-09-04T14:17:28Z) - MGAA: Multi-Granular Adaptive Allocation fof Low-Rank Compression of LLMs [9.244526043014098]
MGAA (Multi-Granular Adaptive Allocation) 法は, 圧縮過程においてタスク固有の評価を伴わずに, サブレイヤ内およびサブレイヤ間のパラメータを適応的に割り当てることができる。
複数のLLMのバックボーンモデルとベンチマークデータセットによるMGAAの総合評価は、その優れた性能を示している。
論文 参考訳（メタデータ） (2025-07-04T04:54:01Z) - Optimizing Singular Spectrum for Large Language Model Compression [95.7621116637755]
SVDの分解したコンポーネントをデータ駆動で再スケールする新しい圧縮フレームワークであるSoCoを紹介する。
学習可能な特異スペクトルのおかげで、SoCoは重要度スコアに応じて成分を適応的にプーンする。
複数のLLMおよびベンチマークでの実験的な評価は、SoCoがモデル圧縮における最先端の手法を超越していることを示している。
論文 参考訳（メタデータ） (2025-02-20T23:18:39Z) - Choose Your Model Size: Any Compression of Large Language Models Without Re-Computation [10.376875638696504]
本研究は, 圧縮性能トレードオフを決定するアルゴリズム手法であるACIP (Any Compression via Iterative Pruning) を提案する。
線形層をSVDで再パラメータ化し,その特異値をスペーサ性誘導ペナルティで反復的にプルーする。
本稿では,ACIPが共通量子化に基づく圧縮手法をシームレスに補完することを示す。
論文 参考訳（メタデータ） (2025-02-03T18:40:58Z) - Holistic Adversarially Robust Pruning [15.760568867982903]
我々は、各層に固有のパラメータ(圧縮率)とどのパラメータ(装飾接続)を個別にプーンするかを最適化するグローバル圧縮戦略を学習する。
本手法は,異なる目的のバランスをとる段階的な漸進関数に従って,動的正則化を伴う既存モデルを微調整する。
学習した圧縮戦略により、トレーニング済みのモデルの自然な精度と、ネットワーク元のサイズの99%削減のための対角的ロバスト性を維持することができる。
論文 参考訳（メタデータ） (2024-12-19T10:25:21Z) - Lightweight Attribute Localizing Models for Pedestrian Attribute Recognition [13.480231032159834]
本稿では,圧縮モデルの勾配方向が元のモデルと密接に一致していることを保証するため,低ランク層の最適ランクを決定する新しい手法を提案する。
これは、圧縮されたモデルはフルモデルの更新方向を効果的に保存し、歩行者属性認識タスクのより効率的な圧縮を可能にすることを意味する。
論文 参考訳（メタデータ） (2023-06-16T13:07:13Z) - Implicit Neural Representations for Image Compression [103.78615661013623]
Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。
量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。
我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
論文 参考訳（メタデータ） (2021-12-08T13:02:53Z) - Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。
52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文 参考訳（メタデータ） (2021-05-24T12:07:38Z) - Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。
原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。
underline Decentralized with compression, LEAD。
論文 参考訳（メタデータ） (2020-07-01T04:35:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。