論文の概要: Per-Matrix Optimality Is Not Enough: Three-Level Optimization for Low-Rank LLM Compression
- arxiv url: http://arxiv.org/abs/2609.15838v1
- Date: Mon, 14 Sep 2026 16:36:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.51323
- Title: Per-Matrix Optimality Is Not Enough: Three-Level Optimization for Low-Rank LLM Compression
- Title（参考訳）: 行列ごとの最適性は十分ではない:低ランクLLM圧縮のための3レベル最適化
- Abstract要約: 本稿では,各行列からトランスフォーマーブロックへ最適化範囲を広げる3レベルチェーンを提案する。
LLaMA-7Bの60%圧縮では、WikiText-2の難易度は42.1から19.1から11.4に減少する。
ブロックレベルのステージをスキップすると、オフラインの計算-データトレードオフが明らかになる。
- 参考スコア（独自算出の注目度）: 8.890261387138215
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Per-matrix singular value decomposition (SVD) truncation is Eckart-Young optimal in the whitened Frobenius norm, but errors from independently compressed matrices compound through the block's nonlinear forward pass. Inspired in part by hierarchical variational optimization in quantum many-body methods, we introduce a three-level chain that widens optimization scope from individual matrices to Transformer blocks to the full model: whitened SVD~(L1), block-level joint optimization~(L2), and end-to-end language-modeling loss refinement~(L3), all from 256 calibration sequences, with no instruction or recovery data. On LLaMA-7B at 60% compression, the chain reduces WikiText-2 perplexity from 42.1 to 19.1 to 11.4. The block-level stage acts as a regularizer: skipping it worsens Penn Treebank (PTB) perplexity by 24 points, a gap that additional end-to-end training did not close in our experiments. Perplexity gains hold across 20-80% compression, five architectures up to 13B parameters, and both in-distribution and out-of-distribution benchmarks, though the cross-architecture rows use architecture-specific configurations and the ratio sweep was not run under one common protocol. With more calibration data, skipping the block-level stage becomes competitive, revealing an offline compute--data trade-off. We therefore claim improvements only in perplexity and compression fidelity; downstream accuracy remains well below the dense model.
- Abstract（参考訳）: 局所行列特異値分解 (SVD) は、白色のフロベニウスノルムにおいてエッカート・ヤングが最適であるが、ブロックの非線形フォワードパスを介して、独立に圧縮された行列からの誤差がある。
量子多体法における階層的変動最適化に着想を得て,各行列からトランスフォーマーブロックへの最適化範囲を全モデルに拡大する3レベルチェーンを導入する。
LLaMA-7Bの60%圧縮では、WikiText-2の難易度は42.1から19.1から11.4に減少する。
ブロックレベルのステージはレギュラーライザとして機能し、Penn Treebank(PTB)の難易度を24ポイント向上させました。
パープレキシティは、20～80%の圧縮、最大13Bパラメータの5つのアーキテクチャ、分散とアウト・オブ・ディストリビューションのベンチマークで保持されるが、クロスアーキテクチャの行はアーキテクチャ固有の構成を使用しており、スイープの比率は1つの共通プロトコルで実行されなかった。
キャリブレーションデータが増えると、ブロックレベルのステージをスキップすることで、オフラインの計算データトレードオフが明らかになる。
したがって, 直流精度は高密度モデルよりかなり低いが, パープレキシティと圧縮忠実度のみの改善を主張する。
関連論文リスト
- On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - SHIFT-LLM: Distribution Shift Correction in Depth-Pruned LLMs [18.494055578192015]
本稿では,各プルーニングサイトに線形残差アダプタを挿入するトレーニング不要なポストプルーニング修正フレームワークShift-LLMを紹介する。
各LRAは元の残基の同一性経路を保持し、軽量なアフィン残基補正を追加する。
5つのモデルファミリ,6つの層選択基準,および7つのゼロショットベンチマーク実験により,ShiFT-LLMは深絞りによって失われる精度を常に回復することを示した。
論文 参考訳（メタデータ） (2026-08-25T19:01:58Z) - Layer-Parallel Inference Reduces Encrypted Nonlinear Depth in Transformers [25.98504186362678]
本研究では, SNLP(Structured Layerism)により, この層間構造がFHEに親しみやすくなったか検討する。
SNLPは、階層的に非線形な深さをLステージから少数のソルバと線形構造補正に還元する。
すべてのテストモデルにおいて、SNLPは逐次イテレーションよりも増幅率が低い。
論文 参考訳（メタデータ） (2026-07-06T08:51:22Z) - Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。
2次元空間伝搬伝搬に基づくC-GSPNを提案する。
論文 参考訳（メタデータ） (2026-05-30T14:29:43Z) - DIVE: Embedding Compression via Self-Limiting Gradient Updates [0.9179857807576733]
大規模言語モデルからの高次元埋め込みは、ベクトル探索システムにかなりのストレージと計算コストを課す。
最近の組込み圧縮法であるMatryoshka-Adaptor (EMNLP 2024) は, 軽量残像アダプタによる寸法の低減を実現するが, ラベル付きデータが少ない場合, トレーニング目的が過度に過度なオーバーフィッティングを引き起こす。
textbfImplicit textbfView textbfEnsembles を用いたtextscDIVE (textbf dimensionity reduction with textbfImplicit textbfView textbfEnsembles) を提案する。
論文 参考訳（メタデータ） (2026-05-20T04:35:28Z) - BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。
本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。
実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
論文 参考訳（メタデータ） (2026-04-05T04:25:07Z) - BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。
BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
論文 参考訳（メタデータ） (2026-02-04T02:54:37Z) - Low-Rank Compression of Language Models via Differentiable Rank Selection [22.99526059495007]
本研究では,勾配に基づく学習手法であるLearning to Low-Rank Compress (LLRC)を提案する。
提案手法は, 圧縮後微調整を必要とせず, 様々な圧縮速度で, 共通センス推論やオープンドメイン質問応答タスクにおいて, 競合するランク付け手法よりも優れる。
論文 参考訳（メタデータ） (2025-12-14T07:20:57Z) - ARMOR: High-Performance Semi-Structured Pruning via Adaptive Matrix Factorization [99.96330641363396]
ARMOR: (Adaptive Representation with Matrix-factorization) は、新しい1ショットのポストトレーニングプルーニングアルゴリズムである。
ARMORは重量を直接刈る代わりに、各重量行列を2:4のスパースコアに分解する。
ARMORは、幅広いダウンストリームタスクとパープレキシティ評価において、最先端の2:4プルーニング手法よりも一貫して、はるかに優れています。
論文 参考訳（メタデータ） (2025-10-07T02:39:20Z) - MoDeGPT: Modular Decomposition for Large Language Model Compression [59.361006801465344]
本稿では,新しい構造化圧縮フレームワークである textbfModular bfDecomposition (MoDeGPT) を紹介する。
MoDeGPTはTransformerブロックを行列対からなるモジュールに分割し、隠れた次元を減らす。
本実験では, 後方伝播を伴わないMoDeGPTが, 従来の圧縮手法と一致するか, あるいは超えていることを示す。
論文 参考訳（メタデータ） (2024-08-19T01:30:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。