論文の概要: Activation-Aware Weight Tensorization: A Calibration-Time Preconditioner for Tensor-Network LLM Compression

• arxiv url: http://arxiv.org/abs/2610.10085v1
• Date: Wed, 07 Oct 2026 13:48:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.940976
• Title: Activation-Aware Weight Tensorization: A Calibration-Time Preconditioner for Tensor-Network LLM Compression
• Title（参考訳）: アクティベーション・アウェアウェイトテンソル化:テンソルネットワークLEM圧縮のための校正時間プレコンディショナー
• Abstract要約: トレーニング後のテンソルネットワーク圧縮は、Transformer線形層をTrain (TT) または Tree Network (TTN) オペレータに置き換える。 標準分解は、層の活性化分布の下での関数誤差よりも、重み空間のフロベニウス誤差を最小化する。 本稿では,各重み行列を対角的アクティベーション・ワイドスケールでプリコンディションするアクティベーション・アウェア・エレメント化(AWT)を提案する。
• 参考スコア（独自算出の注目度）: 56.13339704668584
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Post-training tensor-network compression replaces Transformer linear layers with Tensor Train (TT) or Tree Tensor Network (TTN) operators, but standard decompositions minimize weight-space Frobenius error rather than functional error under the layer's activation distribution. We propose Activation-aware Weight Tensorization (AWT), a training-free calibration wrapper that preconditions each weight matrix with a diagonal activation-derived scale before an unchanged TT/TTN solver and deploys the result with only an input-side elementwise rescaling. Across Llama 3.1 8B, Ministral 8B, and Qwen2.5 7B, AWT consistently improves vanilla TT/TTN tensorization at 2-6 times compression: under single-operator replacement, AWT closes 12-35% of the WikiText perplexity gap to the dense baseline across the three model families and 2-6 times compression settings; while under multi-operator Llama suffix replacement it closes 27-60% across attention-group and all-seven-matrix settings. The gains also transfer to downstream HellaSwag and ARC-Challenge evaluations. We further show that diagonal preconditioning is a robustness-modularity tradeoff rather than a diagonal-covariance assumption: a dense full-covariance oracle wins its own weighted objective in 80/81 cases, yet diagonal AWT gives better held-out functional fidelity in 53/81 cases. Together, these results position AWT as a principled, modular preconditioner for improving functional fidelity in fixed TT/TTN compression pipelines without modifying the decomposition solver.
• Abstract（参考訳）: トレーニング後のテンソルネットワーク圧縮は、Transformer線形層を Tensor Train (TT) または Tree Tensor Network (TTN) 演算子に置き換えるが、標準的な分解は、レイヤーのアクティベーション分布の下での関数エラーよりも、重み空間のフロベニウス誤差を最小化する。 本稿では,TT/TTNソルバが変更される前に,各重み行列を対角的アクティベーション由来のスケールでプリコンディションし,入力側でのみ再スケーリングするトレーニングフリーキャリブレーションラッパーであるアクティベーション・アウェア・ウェイト・テンソライゼーション(AWT)を提案する。 Llama 3.1 8B、Ministral 8B、Qwen2.5 7Bにまたがって、AWTはバニラTT/TTNのテンソル化を2-6倍の圧縮で継続的に改善している。 ゲインは、下流のHellaSwagとARC-Challengeの評価にも転送される。 さらに, 対角的プレコンディショニングは, 対角的共分散の仮定よりも頑健性-モジュラリティのトレードオフであり, 80/81のケースでは高密度全共分散オラクルが自身の重み付け目標を勝ち取るが, 53/81のケースでは対角的AWTの方が機能的忠実度が良好であることを示す。 これらの結果から, AWT は, 分解解法を変更することなく, 固定TT/TTN 圧縮パイプラインの関数忠実度を向上させるための, 原理的, モジュール型プレコンディショナーとして位置づけられた。

関連論文リスト

• Learning Functional Subspaces for Neural Network Compression [79.78451551969097]
  Learnable Subspace Projections (LSP) は、エンドツーエンドを捨てるためにサブスペースを学習する。 LSPは、小さなバッチサイズで高密度モデルよりも1.6倍高速にデコードする。
  論文  参考訳（メタデータ） (2026-09-30T16:47:35Z)
• Low-Rank Ternary Adaptation for Fine-Tuning Transformers [54.3230438745856]
  3次変換器は、極端なメモリと計算効率を提供する。 既存のロービットのLoRAベースの手法では、3次重みを直接微調整することはできない。 3次重みの離散的な更新を表す3次乗法適応を提案する。
  論文  参考訳（メタデータ） (2026-08-25T12:15:56Z)
• TWLA: Achieving Ternary Weights and Low-Bit Activations for LLMs via Post-Training Quantization [15.401450705732232]
  ターナライゼーションは有望な圧縮技術として登場した。 既存の方法は重み付き活性化分布に苦しむ。 我々は1.58ビットの重み圧縮と4ビットのアクティベーション量子化を実現するフレームワークであるTWLAを提案する。
  論文  参考訳（メタデータ） (2026-06-11T08:37:20Z)
• A general tensor-structured compression scheme for efficient large language models [8.85443988406591]
  対象とする密度線形層をテンソル作用素の実行可能な混合に置き換える一般的なテンソル構造圧縮スキームを提案する。 MixTはTransformerベースの大規模言語モデル(LLM)や他の高密度ニューラルネットワークにも適用可能である。 LLaMA2-7B遷移境界において、MixTはフルモデルパラメータを47.5%、推論FLOPを37.1%、FLOPを52.1%、ピーク推論メモリを60.4%削減する。
  論文  参考訳（メタデータ） (2026-05-25T02:00:41Z)
• Compressing Transformer Language Models via Matrix Product Operator Decomposition: A Case Study on PicoGPT [0.0]
  トランスフォーマーベースの言語モデルは、NLPタスク間で強力なパフォーマンスを実現するが、その2次パラメータスケーリングは、リソース制約のあるハードウェアへのデプロイを高くする。 変圧器の原理圧縮法として行列積演算子分解について検討する。 MPOは、重み行列を低ランクコアの鎖に分解し、近似品質は結合次元chiによって制御される。
  論文  参考訳（メタデータ） (2026-03-30T14:57:47Z)
• Diffusion Controller: Framework, Algorithms and Parameterization [54.82539154511621]
  本稿では,逆拡散サンプリングを(一般化された)線形解法マルコフ決定過程における状態のみの制御として活用する統一的な制御理論的視点を提案する。 このフレームワークでは、制御はトレーニング済みのリバースタイムのトランジションカーネルを再重み付けし、端末の目的と$f$分割コストのバランスをとる。 安定拡散v1.4の実験では、選好調整の勝利率が一貫した上昇を示し、品質効率のトレードオフを改善した。
  論文  参考訳（メタデータ） (2026-03-07T01:49:59Z)
• Breaking the Compression Ceiling: Data-Free Pipeline for Ultra-Efficient Delta Compression [57.71917274869577]
  UltraDeltaはデータフリーのデルタ圧縮パイプラインで、超高圧縮と強力なパフォーマンスを実現する。 UltraDeltaは、冗長性を最小化し、情報を最大化し、層間、層内、大域的な寸法で性能を安定させるように設計されている。
  論文  参考訳（メタデータ） (2025-05-19T10:37:22Z)
• Pruning Redundant Mappings in Transformer Models via Spectral-Normalized Identity Prior [54.629850694790036]
  スペクトル正規化アイデンティティ事前 (SNIP) は、トランスフォーマーモデルにおける残余モジュール全体をアイデンティティマッピングに向けてペナライズする構造化プルーニング手法である。 5つのGLUEベンチマークタスクでBERTを用いて実験を行い、SNIPが同等の性能を維持しながら効率的な刈り取り結果が得られることを示した。
  論文  参考訳（メタデータ） (2020-10-05T05:40:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。