論文の概要: Learning Functional Subspaces for Neural Network Compression

• arxiv url: http://arxiv.org/abs/2609.40127v1
• Date: Wed, 30 Sep 2026 16:47:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:28.105438
• Title: Learning Functional Subspaces for Neural Network Compression
• Title（参考訳）: ニューラルネットワーク圧縮のための機能部分空間の学習
• Abstract要約: Learnable Subspace Projections (LSP) は、エンドツーエンドを捨てるためにサブスペースを学習する。 LSPは、小さなバッチサイズで高密度モデルよりも1.6倍高速にデコードする。
• 参考スコア（独自算出の注目度）: 79.78451551969097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern transformers pair impressive capabilities with substantial memory and compute demands. Low-rank weight factorization reduces both while keeping the matrices dense, and thus efficient on standard hardware. Existing methods, however, choose the subspace to remove from each weight matrix with local closed-form criteria: activation energy, layer-wise reconstruction error, or a quadratic approximation of the loss. These criteria ignore how errors propagate through the network, so at high compression the errors compound with depth and performance collapses. We introduce Learnable Subspace Projections (LSP), which instead learns the subspaces to discard end-to-end. Each linear layer, or tied group of layers that read the same activations, is assigned an orthogonal projector. All projectors are optimized jointly against a global objective--the KL divergence to the dense model's output distribution or the model's original training loss--while the pretrained weights remain frozen. Projectors are initialized from a whitened SVD truncation, and ranks are allocated by the output KL each projector induces per parameter saved. After training, the projectors merge into standard low-rank factors, with each tied group sharing one factor. In attention, this also lets the model cache one narrow latent in place of full keys and values. Across LLMs (OPT-125M/1.3B, Qwen3-4B, Llama-2-7B) and ViT-B/16, LSP outperforms baselines, and its advantage widens as compression increases. At -70% compression, LSP brings Llama-2-7B to 10.9 WikiText-2 perplexity and 42.2% mean zero-shot accuracy, versus 13.3 and 36.0% for the strongest baseline. The factorized model decodes up to 1.6x faster than the dense model at small batch sizes, and aching the shared latent shrinks the combined memory of weights and KV cache by 13.5x at a 128k-token context, versus at most 6.5x for untied baseline factorizations.
• Abstract（参考訳）: 現代のトランスフォーマーは、相当量のメモリと計算要求を組み合わせている。 低ランクの重み係数化は、行列を密に保ちながら両者を減らし、標準ハードウェア上で効率を良くする。 しかし、既存の方法では、各重み行列から活性化エネルギー、層次再構成誤差、損失の二次近似といった局所閉形式基準で除去する部分空間を選択する。 これらの基準は、エラーがネットワークを介してどのように伝播するかを無視するので、高い圧縮でエラーは深さと性能の低下で複雑になる。 我々はLearnerable Subspace Projections (LSP)を導入し、代わりに、エンドツーエンドを捨てるためにサブスペースを学習する。 それぞれの線形層、または同じアクティベーションを読み取る階層群は直交プロジェクターに割り当てられる。 すべてのプロジェクタは、高密度モデルの出力分布やモデルの元々のトレーニング損失へのKLの偏差という、大域的な目標に対して共同で最適化されるが、事前訓練された重量は凍結されている。 プロジェクタは白色のSVDトランケーションから初期化され、出力KLによってランクが割り当てられ、各プロジェクタはパラメータ毎に保存される。 訓練後、プロジェクターは標準の低ランクの要素にマージされ、それぞれが1つの要素を共有する。 これにより、完全なキーと値の代わりに、モデルキャッシュを1つ狭くすることができる。 LLM(OPT-125M/1.3B、Qwen3-4B、Llama-2-7B)とViT-B/16をまたいで、LSPはベースラインを上回り、圧縮が増加するにつれてその優位性は拡大する。 LSP は Llama-2-7B を 10.9 WikiText-2 に圧縮し、42.2% はゼロショットの精度を、最強のベースラインでは 13.3 と 36.0 % と表している。 因子化モデルは、小さなバッチサイズで高密度モデルよりも1.6倍高速にデコードされ、共有潜水器は128kのコンテキストで重みとKVキャッシュの組み合わせメモリを13.5倍縮小する。

関連論文リスト

• Per-Matrix Optimality Is Not Enough: Three-Level Optimization for Low-Rank LLM Compression [8.890261387138215]
  本稿では,各行列からトランスフォーマーブロックへ最適化範囲を広げる3レベルチェーンを提案する。 LLaMA-7Bの60%圧縮では、WikiText-2の難易度は42.1から19.1から11.4に減少する。 ブロックレベルのステージをスキップすると、オフラインの計算-データトレードオフが明らかになる。
  論文  参考訳（メタデータ） (2026-09-14T16:36:46Z)
• A JoLT for the KV Cache: Near-Lossless KV Cache Compression via Joint Tucker and JL-Residual Allocation for LLMs [0.0]
  キー値(KV)キャッシュは、トランスフォーマー推論の主要なメモリコストとなっている。 低ランク法はキャッシュの2次元スライス、またはヘッド当たり行列またはクロス層特徴ブロックを分解し、量子化法は各エントリのビット幅を下げる。 提案手法は,トークンと特徴軸のみを圧縮し,頭部と層軸をそのまま残す部分的タッカー分解法である。 ランダム化されたSVDの派生型であるFlashJoLTは、1024のコンテキストで5-13倍の圧縮時間のスピードアップと品質の一致を提供する。
  論文  参考訳（メタデータ） (2026-07-14T09:23:20Z)
• Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
  ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。 2次元空間伝搬伝搬に基づくC-GSPNを提案する。
  論文  参考訳（メタデータ） (2026-05-30T14:29:43Z)
• Compressing Transformer Language Models via Matrix Product Operator Decomposition: A Case Study on PicoGPT [0.0]
  トランスフォーマーベースの言語モデルは、NLPタスク間で強力なパフォーマンスを実現するが、その2次パラメータスケーリングは、リソース制約のあるハードウェアへのデプロイを高くする。 変圧器の原理圧縮法として行列積演算子分解について検討する。 MPOは、重み行列を低ランクコアの鎖に分解し、近似品質は結合次元chiによって制御される。
  論文  参考訳（メタデータ） (2026-03-30T14:57:47Z)
• Kernelized Sparse Fine-Tuning with Bi-level Parameter Competition for Vision Models [80.50996301430108]
  スパースチューニングは、下流タスクに最も関係のある重みだけを調整することで、顕著なパフォーマンスを達成する。 上述の制限を克服する一段法SNELLAを提案する。 SNELLAは低メモリ使用量でSOTA性能を達成する。
  論文  参考訳（メタデータ） (2025-10-28T03:39:18Z)
• Lillama: Large Language Models Compression via Low-Rank Feature Distillation [8.090496457850852]
  ライラマ(英: Lillama)は、低ランク重量で活性化を蒸留する圧縮法である。 1つのA100 GPUでMixtral-8x7Bを数分で圧縮し、100億のパラメータを削除し、元のパフォーマンスの95%以上を保持した。 非トランスフォーマーアーキテクチャを一般化し、99%のパフォーマンスを維持しながら、Mamba-3Bを20%圧縮する。
  論文  参考訳（メタデータ） (2024-12-21T18:04:01Z)
• EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation [84.70637613266835]
  EoRAは、圧縮されたLarge Language Modelを低ランク行列で拡張する微調整不要な手法である。 EoRAは、圧縮LDMの精度を回復するために、トレーニングなしの低ランク法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-10-28T17:59:03Z)
• ESPACE: Dimensionality Reduction of Activations for Model Compression [4.98131272298465]
  本研究では, アクティベーションの次元的低減に基づくLLM圧縮技術であるESPACEを提案する。 ESPACEでは、GPT3、Llama2、Nemotron4モデルの50%の圧縮が可能で、精度は低い。 ESPACEはGEMMの実行時間を短縮し、既存のハードウェアで推論遅延をプリフィルする。
  論文  参考訳（メタデータ） (2024-10-07T18:59:22Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• BiLLM: Pushing the Limit of Post-Training Quantization for LLMs [53.31402059062365]
  BiLLMは、事前訓練された大規模言語モデルに適した1ビット後のトレーニング後の量子化スキームである。 LLaMA2-70Bの8.41パープレキシティは、様々なLLMファミリーで1.08ビットの重みしか持たない。
  論文  参考訳（メタデータ） (2024-02-06T09:26:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。