論文の概要: AutoCompress: Critical Layer Isolation for Efficient Transformer Compression

• arxiv url: http://arxiv.org/abs/2604.22786v1
• Date: Sat, 04 Apr 2026 22:14:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 02:32:14.181049
• Title: AutoCompress: Critical Layer Isolation for Efficient Transformer Compression
• Title（参考訳）: AutoCompress: 効率的なトランスフォーマー圧縮のための臨界層分離
• Authors: Archit Thorat,
• Abstract要約: 本稿では,経験的発見を動機とした変圧器圧縮手法を提案する。 小さな変換器では、レイヤ0は不当に高いタスククリティカル情報を運ぶ。 我々は,レイヤ0を全次元で保護する臨界層分離法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present AutoCompress, a transformer compression method motivated by an empirical finding: in small transformers, Layer 0 carries disproportionately high task-critical information, with an NTK-based importance score of 3.6 compared to a maximum of 0.054 for all other layers -- a gap of over 60x. Based on this finding, we propose Critical Layer Isolation (CLI), an architecture that protects Layer 0 at full dimensionality, compresses all intermediate layers through a learned bottleneck, and restores the full dimension at the final layer. Applied to GPT-2 Medium (354.8M parameters), CLI-GPT2 achieves 204.5 perplexity on WikiText-103 with only 143.8M parameters -- a 2.47x compression ratio and 59.5% parameter reduction. Crucially, an ablation study demonstrates that a uniform bottleneck baseline of comparable size achieves only 571.8 perplexity under identical training conditions, confirming that the architectural decision to protect Layer 0 -- rather than simply reducing model size -- is the primary driver of performance. Code and checkpoints are publicly available.
• Abstract（参考訳）: 実験的な発見によって動機付けられた変換器圧縮手法であるAutoCompressについて述べる。小さな変換器では、レイヤ0が不均等に高いタスククリティカル情報を持ち、NTKベースの重要度スコアが3.6であるのに対して、他のすべてのレイヤでは最大0.054であり、60倍以上のギャップがある。 この発見に基づいて、我々は、レイヤ0を全次元で保護し、学習されたボトルネックを通じてすべての中間層を圧縮し、最終層における全次元を復元するアーキテクチャであるクリティカル・レイヤ分離(CLI)を提案する。 GPT-2 Medium (354.8Mパラメータ)に適用されたCLI-GPT2は、WikiText-103上でわずか143.8Mパラメータ(圧縮比2.47倍、パラメータ還元59.5%)で204.5パープレクシリティを達成した。重要な研究として、同じトレーニング条件下では、同等サイズの均一なボトルネックベースラインが571.8パープレクシリティしか達成せず、モデルサイズを単純に削減するのではなく、レイヤ0を保護するというアーキテクチャ上の決定がパフォーマンスの第一の要因であることを実証している。 コードとチェックポイントが公開されている。

関連論文リスト

• Structural Sensitivity in Compressed Transformers: Error Propagation, Lyapunov Stability, and Formally Verified Bounds [0.0]
  GPT-2の468のうち1つのマトリックスは圧縮すると2万倍のパープレキシティを増大させることができる。 リアプノフ安定性理論を用いて, 残留接続の圧縮誤差は, 隠れ状態が誤差よりも高速に大きくなることを示す。
  論文  参考訳（メタデータ） (2026-03-22T00:24:08Z)
• FlattenGPT: Depth Compression for Transformer with Layer Flattening [89.7587433008809]
  textbfFlattenGPTは、深さ方向の冗長性を検出し、減少させる新しい方法である。 実験によると、FlattenGPTはモデル効率を十分なトレードオフで向上させる。
  論文  参考訳（メタデータ） (2026-02-09T16:22:58Z)
• Dimension vs. Precision: A Comparative Analysis of Autoencoders and Quantization for Efficient Vector Retrieval on BEIR SciFact [0.0]
  Int8量子化は最も効果的な「スイートスポット」を提供し、nDCG@10の無視可能な[1-2%]ドロップで4倍の圧縮を達成する。 オートエンコーダは優雅な劣化を示すが、同等の4倍圧縮比でより大きな性能損失を被る。 バイナリ量子化は 破滅的な性能低下のため この作業には適さないことが分かりました
  論文  参考訳（メタデータ） (2025-11-17T07:02:11Z)
• CALR: Corrective Adaptive Low-Rank Decomposition for Efficient Large Language Model Layer Compression [0.0]
  大規模言語モデル(LLM)は、その膨大なサイズと計算要求のために、重大なデプロイメント上の課題を提示する。 本稿では,2成分圧縮手法である補正適応低ランク分解(CALR)を導入する。 CALR はパラメータ数を 26.93% から 51.77% に削減でき、元のモデルの性能の59.45% から 90.42% に維持できることを示した。
  論文  参考訳（メタデータ） (2025-08-21T13:16:02Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• MoDeGPT: Modular Decomposition for Large Language Model Compression [59.361006801465344]
  本稿では,新しい構造化圧縮フレームワークである textbfModular bfDecomposition (MoDeGPT) を紹介する。 MoDeGPTはTransformerブロックを行列対からなるモジュールに分割し、隠れた次元を減らす。 本実験では, 後方伝播を伴わないMoDeGPTが, 従来の圧縮手法と一致するか, あるいは超えていることを示す。
  論文  参考訳（メタデータ） (2024-08-19T01:30:14Z)
• DeepCompress: Efficient Point Cloud Geometry Compression [1.808877001896346]
  本稿では,ポイントクラウド圧縮のためのより効率的なディープラーニングベースのエンコーダアーキテクチャを提案する。 CENIC(Efficient Neural Image Compression)から学習した活性化関数を組み込むことで,効率と性能が劇的に向上することを示す。 提案手法は,BjontegardデルタレートとPSNR値において,ベースラインアプローチよりも小さなマージンで優れていた。
  論文  参考訳（メタデータ） (2021-06-02T23:18:11Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。