論文の概要: PRAC: Principal-Random Subspace for LLM Activation Compression and Memory-Efficient Training

• arxiv url: http://arxiv.org/abs/2602.23111v1
• Date: Thu, 26 Feb 2026 15:23:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.748461
• Title: PRAC: Principal-Random Subspace for LLM Activation Compression and Memory-Efficient Training
• Title（参考訳）: PRAC: LLM Activation Compression と Memory-Efficient Training のための主領域部分空間
• Abstract要約: LLM Activation Compression (PRAC) のためのプライマリランサム部分空間を提案する。 PRACはアクティベーションを2つのコンポーネントに分解する: SVDで取得した主部分空間は支配的な情報を保持するために、そして直交補体からサンプリングされたランダム部分空間は尾部を近似する。 事前トレーニングおよび微調整タスクの実験により、PRACは、無視できる性能劣化と最小計算コストで最大36%のメモリ削減を達成した。
• 参考スコア（独自算出の注目度）: 5.275001711555517
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activations have become the primary memory bottleneck in large-batch LLM training. However, existing compression methods fail to exploit the spectral structure of activations, resulting in slow convergence or limited compression. To address this, we bridge the relationship between the algorithm's fast convergence and the requirements for subspace projection, and show that an effective compression should yield an unbiased estimate of the original activation with low variance. We propose Principal-Random Subspace for LLM Activation Compression (PRAC), which novelly decomposes activations into two components: a principal subspace captured via SVD to retain dominant information, and a random subspace sampled from the orthogonal complement to approximate the tail. By introducing a precise scaling factor, we prove that PRAC yields an unbiased gradient estimator with minimum variance under certain conditions. Extensive experiments on pre-training and fine-tuning tasks demonstrate that PRAC achieves up to 36% total memory reduction with negligible performance degradation and minimal computational cost.
• Abstract（参考訳）: 大規模なLDMトレーニングでは、アクティベーションが主要なメモリボトルネックとなっている。 しかし、既存の圧縮法では、アクティベーションのスペクトル構造を利用することができず、収束が遅く、圧縮が制限される。 これを解決するために,アルゴリズムの高速収束と部分空間射影要件の関係を橋渡しし,実効圧縮が低分散で元のアクティベーションの偏りのない推定値を与えることを示す。 本稿では, LLM Activation Compression (PRAC) のためのプライマリ・ランサム・サブスペースを提案する。 正確なスケーリング係数を導入することで、PRACが一定の条件下で最小分散の非バイアス勾配推定器を生成することを証明できる。 事前学習および微調整タスクに関する大規模な実験により、PRACは、無視できる性能劣化と最小計算コストで最大36%のメモリ削減を達成した。

関連論文リスト

• ZO-Act: Efficient Zeroth-Order Fine-Tuning via One-Shot Activation-Informed Low-Rank Subspaces [8.08601759467653]
  Zeroth-order (ZO) 最適化により、バックプロパゲーションが利用できない場合やメモリ制限の場合に、大きな言語モデルを微調整できる。 本稿では, アクティベーションインフォームドZOファインチューニング手法であるZO-Actを提案し, 摂動を固定された低ランク部分空間に制限する。 我々は、ZO-Actを制限係数空間上のゼロ階最適化として解析し、低次元係数の摂動がZO推定器の分散依存収束項と有限差分誤差の両方を減少させることを示す。
  論文  参考訳（メタデータ） (2026-07-01T16:12:50Z)
• Reducing Learner Redundancy in Boosting via Residual Orthogonalization [18.700465769971434]
  我々のフレームワークは、スペクトル残留射影(SRP)と共分散規則重み付け(CRW)の2つの相補的なメカニズムを通して冗長性に取り組む。 10のベンチマークデータセットに対する実験は、SCBoostが強力なアウトオブボックスパフォーマンスを提供することを示している。 この研究は、幾何レンズによるブースティングを再解釈し、明示的な冗長性制御がより効率的なアンサンブルアーキテクチャに向けた原則的で必要なステップであることを示唆している。
  論文  参考訳（メタデータ） (2026-06-16T06:13:59Z)
• TWLA: Achieving Ternary Weights and Low-Bit Activations for LLMs via Post-Training Quantization [15.401450705732232]
  ターナライゼーションは有望な圧縮技術として登場した。 既存の方法は重み付き活性化分布に苦しむ。 我々は1.58ビットの重み圧縮と4ビットのアクティベーション量子化を実現するフレームワークであるTWLAを提案する。
  論文  参考訳（メタデータ） (2026-06-11T08:37:20Z)
• Rethinking the Role of Tensor Decompositions in Post-Training LLM Compression [68.1291440835878]
  分解は有望な方向として現れ、トランスフォーマーの重み構造に適したコンパクトなパラメータ化を提供する。 既存の研究では、これらの手法を狭い環境で評価しており、大規模展開においてテンソル化が有効かどうかは不明である。 我々は高密度およびMoEのテンソル圧縮を体系的に評価し、経験的解析と理論的解析の両方に基礎を置いた性能トレードオフを確立する。
  論文  参考訳（メタデータ） (2026-06-02T10:45:21Z)
• Activation Compression in LLMs: Theoretical Analysis and Efficient Algorithm [14.047719477464854]
  本稿では, アクティベーション圧縮が非バイアスである場合, グラデーション演算子に対して安全であることを示す理論的枠組みを開発する。 余分な計算や追加の勾配誤差を伴わずに、低ランクな活性化因子を再利用して線形層勾配を圧縮する活性化段階の共圧縮法を提案する。
  論文  参考訳（メタデータ） (2026-05-02T05:27:11Z)
• Gradually Compacting Large Language Models for Reasoning Like a Boiling Frog [72.4168434368873]
  大きな言語モデル(LLM)は印象的な推論能力を示しているが、その相当なサイズは、しばしばかなりの計算資源を必要とする。 圧縮過程を細かな繰り返しに分割する段階的圧縮法を提案する。 この「沸騰するカエル」効果の反復的なアプローチは、急激な性能損失を伴わずに、モデルを段階的に圧縮することができる。
  論文  参考訳（メタデータ） (2026-02-04T06:56:52Z)
• LANCE: Low Rank Activation Compression for Efficient On-Device Continual Learning [9.009523608709117]
  オンデバイス学習は、リソース制約のある環境におけるパーソナライズ、プライバシ、長期適応に不可欠である。 既存のアクティベーション圧縮手法は、このコストを削減するが、繰り返し低ランクの分解に依存し、計算オーバーヘッドを発生させる。 アクティベーションプロジェクションのための再利用可能な低ランク部分空間を得るために,一ショット高次特異値分解(SVD)を行うフレームワークであるLANCEを提案する。
  論文  参考訳（メタデータ） (2025-09-25T21:33:40Z)
• FLAT-LLM: Fine-grained Low-rank Activation Space Transformation for Large Language Model Compression [15.784158079414235]
  FLAT-LLMは、アクティベーション空間の微細な低ランク変換に基づく、トレーニング不要な構造圧縮手法である。 回復微調整なしで効率よく効果的な重量圧縮を実現し、数分でキャリブレーションを完了できる。
  論文  参考訳（メタデータ） (2025-05-29T19:42:35Z)
• R-Sparse: Rank-Aware Activation Sparsity for Efficient LLM Inference [77.47238561728459]
  R-スパース(R-Sparse)は、高度なLCMにおいて高い疎度を達成できる訓練不要なアクティベーション・スパシティ・アプローチである。 10種類のタスクにわたるLlama-2/3およびMistralモデルの実験は、R-Sparseが50%のモデルレベルの間隔で同等のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-04-28T03:30:32Z)
• Optimizing Singular Spectrum for Large Language Model Compression [95.7621116637755]
  SVDの分解したコンポーネントをデータ駆動で再スケールする新しい圧縮フレームワークであるSoCoを紹介する。 学習可能な特異スペクトルのおかげで、SoCoは重要度スコアに応じて成分を適応的にプーンする。 複数のLLMおよびベンチマークでの実験的な評価は、SoCoがモデル圧縮における最先端の手法を超越していることを示している。
  論文  参考訳（メタデータ） (2025-02-20T23:18:39Z)
• TeZO: Empowering the Low-Rankness on the Temporal Dimension in the Zeroth-Order Optimization for Fine-tuning LLMs [58.19080159470868]
  モデルと時間次元の両方にわたって低ランク度をキャプチャする新しい低ランクZO推定器TeZOを提案する。 具体的には、時間次元に沿ったZO摂動を3次元テンソルとして表現し、Canonical Polyadic Decomposition (CPD)を用いて各低ランク2次元行列を抽出する。
  論文  参考訳（メタデータ） (2025-01-31T11:34:03Z)
• EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation [84.70637613266835]
  EoRAは、圧縮されたLarge Language Modelを低ランク行列で拡張する微調整不要な手法である。 EoRAは、圧縮LDMの精度を回復するために、トレーニングなしの低ランク法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-10-28T17:59:03Z)
• Enhancing Zeroth-order Fine-tuning for Language Models with Low-rank Structures [21.18741772731095]
  ゼロ階数(ZO)アルゴリズムは、関数値の有限差を用いて勾配を近似することで、有望な代替手段を提供する。 既存のZO法は、LLM微調整で一般的な低ランク勾配構造を捉えるのに苦労し、準最適性能をもたらす。 本稿では,LLMにおけるこの構造を効果的に捕捉する低ランクZOアルゴリズム(LOZO)を提案する。
  論文  参考訳（メタデータ） (2024-10-10T08:10:53Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• STBLLM: Breaking the 1-Bit Barrier with Structured Binary LLMs [28.70239743254508]
  LLM圧縮のための最初の構造双対化法を1ビット未満の精度で提案する。 バイナライズされたLLMの重みは、性能劣化を伴わずにランダムに反転することができる。 本手法は他の圧縮バイナライズ手法よりも優れた性能を示しながら,メモリ要求を大幅に低減する。
  論文  参考訳（メタデータ） (2024-08-03T15:07:44Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。