論文の概要: Sequential Functional Structured Tucker Compression for Large Language Model Attentions

• arxiv url: http://arxiv.org/abs/2610.00717v1
• Date: Wed, 30 Sep 2026 21:06:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.767394
• Title: Sequential Functional Structured Tucker Compression for Large Language Model Attentions
• Title（参考訳）: 大規模言語モデル注意のための逐次機能構造タッカー圧縮
• Abstract要約: 本稿では,その近似を現在の圧縮モデルに適応させる逐次的構造化圧縮フレームワークを提案する。 提案手法では, 比較手法のWikiText-2パープレキシティが, 試験値毎に最も低い値を示した。 改善は下流のタスクに移行し、32Bスケールで相当に維持される。
• 参考スコア（独自算出の注目度）: 8.238680727986884
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training compression of LLM attention is often formulated as independent matrix approximation, ignoring both the shared structure among attention projections and the representation shift introduced by earlier compression. We propose FTC, a sequential structured compression framework that adapts the approximation to the current compressed model while jointly exploiting the native Q/K/V head structure under a fixed storage budget. The output projection is handled separately to account for the changed post-attention representation. FTC requires neither fine-tuning nor gradient-based recovery. Across seven decoder-only LLMs from 6B to 32B parameters, FTC achieves the lowest WikiText-2 perplexity among the compared methods at every tested keep ratio on five modern GQA models, with the largest gains under aggressive compression. The improvements transfer to downstream tasks and remain substantial at the 32B scale.
• Abstract（参考訳）: LLMアテンションのトレーニング後の圧縮は、しばしば独立行列近似として定式化され、アテンションプロジェクション間の共有構造と、以前の圧縮によって導入された表現シフトの両方を無視している。 固定ストレージ予算の下でネイティブQ/K/Vヘッド構造を協調的に活用しながら、現在の圧縮モデルに近似を適応させる逐次的構造化圧縮フレームワークであるFTCを提案する。 出力プロジェクションは、変更後の表現を考慮するために別々に処理される。 FTCは微調整も勾配に基づくリカバリも必要としない。 FTCは6Bから32Bパラメータの7つのデコーダのみのLLMに対して、5つの現代的なGQAモデルでテストされた保持率で比較された方法の中で、WikiText-2の難易度が最も低く、攻撃的な圧縮で最大のゲインを得た。 改善は下流のタスクに移行し、32Bスケールで相当に維持される。

関連論文リスト

• CLAD: Efficient Log Anomaly Detection Directly on Compressed Representations [2.487363589269089]
  圧縮バイトストリーム上でLADを直接実行する最初のディープラーニングフレームワークであるCLADを紹介する。 本稿では,拡張畳み込みバイトエンコーダ,ハイブリッドトランスフォーマー--mLSTM,4方向アグリゲーションプールを統合した汎用アーキテクチャを提案する。 CLADは5つのデータセットで評価され、最先端の平均F1スコアは0.9909であり、最高のベースラインを2.72ポイント上回る。
  論文  参考訳（メタデータ） (2026-04-14T17:57:01Z)
• EchoKV: Efficient KV Cache Compression via Similarity-Based Reconstruction [55.026048429595384]
  EchoKVは、標準と圧縮された推論間のオンデマンド移行を可能にする柔軟なKVキャッシュ圧縮スキームである。 高速で低コストなトレーニングを可能にする2段階の微調整戦略を導入する。
  論文  参考訳（メタデータ） (2026-03-24T07:58:42Z)
• AHC: Meta-Learned Adaptive Compression for Continual Object Detection on Memory-Constrained Microcontrollers [0.14504054468850666]
  100KB以下のメモリを持つマイクロコントローラ(MCU)上の連続物体検出には、効率的な特徴圧縮が必要である。 3つの重要なイノベーションを特徴とするメタラーニングフレームワークであるAdaptive Hierarchical Compression (AHC)を紹介する。 AHCは100KBのリプレイ予算内で実用的な連続的な検出を可能にし、平均プール圧縮された特徴リプレイによる競合精度を実現する。
  論文  参考訳（メタデータ） (2026-02-24T07:06:51Z)
• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• Towards Efficient Large Language Reasoning Models via Extreme-Ratio Chain-of-Thought Compression [55.63153956934198]
  Chain-of-Thought (CoT)推論はLarge Language Models (LLMs)の推論能力をうまく向上させる 既存のCoT圧縮法は、しばしば高い圧縮比で論理的忠実度が著しく低下する。 本稿では,Extra-CoTと呼ばれる新しいEXTreme-RAtio Chain-of-Thought Compressionフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-09T06:57:15Z)
• OjaKV: Context-Aware Online Low-Rank KV Cache Compression with Oja's Rule [54.37983890753086]
  我々は,戦略的ハイブリッドストレージポリシとオンラインサブスペース適応を統合したフレームワークであるOjaKVを紹介する。 OjaKVは、重要かつ最新のトークンをフルランクで保存し、注意のために高忠実なアンカーを維持している。 オンライン主成分分析のためのOjaのアルゴリズムを用いて、プロジェクションベースを漸進的に適応させることにより、低ランク圧縮を適用する。
  論文  参考訳（メタデータ） (2025-09-25T21:42:27Z)
• Generative Latent Diffusion for Efficient Spatiotemporal Data Reduction [11.494915987840876]
  複数のデータセットにまたがる実験結果から,本手法はSZ3などの最先端圧縮機よりも最大10倍高い圧縮率を実現し,同じ再構成誤差下での先行学習手法よりも最大63%高い性能を示した。
  論文  参考訳（メタデータ） (2025-07-02T20:27:38Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• MoDeGPT: Modular Decomposition for Large Language Model Compression [59.361006801465344]
  本稿では,新しい構造化圧縮フレームワークである textbfModular bfDecomposition (MoDeGPT) を紹介する。 MoDeGPTはTransformerブロックを行列対からなるモジュールに分割し、隠れた次元を減らす。 本実験では, 後方伝播を伴わないMoDeGPTが, 従来の圧縮手法と一致するか, あるいは超えていることを示す。
  論文  参考訳（メタデータ） (2024-08-19T01:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。