論文の概要: Dense Structural Compression of Transformers via Gauge-Correct Channel Removal

• arxiv url: http://arxiv.org/abs/2609.07264v1
• Date: Mon, 07 Sep 2026 09:20:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.4037
• Title: Dense Structural Compression of Transformers via Gauge-Correct Channel Removal
• Title（参考訳）: ゲージ補正チャネル除去による変圧器の高密度構造圧縮
• Abstract要約: トークン当たりの推論エネルギーは、デプロイされたトランスフォーマーのコストと炭素フットプリントを駆動する。 我々は,単位計算当たりの実用性を最大化するために,訓練中に構造的複雑性を適応させる手法を開発した。 チャネルペナルティはテンソルスライス全体をゼロにし、密度とネットワーク機能を保ちながら物理的除去を可能にする。
• 参考スコア（独自算出の注目度）: 11.681900731333926
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inference energy per token drives the cost and carbon footprint of deployed transformers. It is dominated by dense matrix products that incur fused multiply-accumulate (FMA) operations and memory traffic. To reduce these computations while retaining dense tensors for high GPU throughput, we develop a methodology from first principles to adapt structural complexity during training to maximize inference utility per unit compute. Channel penalties drive entire tensor slices to zero to enable physical removal while preserving density and the network function. The natural approach, penalizing the norm of operator components acting through each channel, is provably destabilized by gauge freedom. We resolve this pathology with GaugeLasso: additive symmetric group-lasso penalties that recover a monotone function of product-norms when the network converges to gauge balance. Our equilibrium analysis enables per-channel calibration to correctly suppress slices that under-perform in inference utility per unit compute. Under adaptive pressure, the network reorganizes into depth-dependent structural profiles that can be far smaller than the architecture required to learn the task. On polynomial long division over $\mathbb{F}_{31}$, compute compresses from 148 to 255 times with perfect accuracy. On character-level language modeling, compressed models outperform the hand-designed baseline at equal FMA. On masked autoencoding, a compression trial exposes which axes were over-provisioned and which saturated, guiding a better second design. Compaction also accelerates training monotonically as the model progresses. Post-hoc pruning with the same utility ranking cannot reach these structures, showing that sustained pressure is central to discovery of efficient models. Retraining a discovered architecture recovers baseline quality on our statistical tasks, but fails on our exact algorithmic task.
• Abstract（参考訳）: トークン当たりの推論エネルギーは、デプロイされたトランスフォーマーのコストと炭素フットプリントを駆動する。 FMA(fused multiply-accumulate)操作とメモリトラフィックを発生させる高密度マトリックス製品に支配されている。 高いGPUスループットのために高密度テンソルを保持しながらこれらの計算を削減すべく、トレーニング中に構造的複雑さを適応し、単位計算当たりの推論ユーティリティを最大化するための方法論を第一原理から開発する。 チャネルペナルティはテンソルスライス全体をゼロにし、密度とネットワーク機能を保ちながら物理的除去を可能にする。 各チャネルを介して作用する作用素成分のノルムを罰する自然なアプローチは、ゲージ自由度によって確実に不安定化される。 ネットワークがゲージバランスに収束すると、積ノルムの単調関数を回復する付加対称群-ラッソ罰則である。 我々の平衡解析により、単位演算単位当たりの推論ユーティリティで性能の低いスライスを正しく抑制できる。 適応的な圧力の下で、ネットワークは、タスクを学習するために必要なアーキテクチャよりもはるかに小さい深さ依存の構造プロファイルに再編成される。 多項式長分割が$\mathbb{F}_{31}$の場合、計算圧縮は完全精度で148倍から255倍になる。 文字レベルの言語モデリングでは、圧縮されたモデルは手書きのベースラインを等しくFMAで上回る。 マスク付きオートエンコーディングでは、圧縮試験では、どの軸が過剰にプロビジョンされ、どの軸が飽和し、より良い第2の設計を導くかを明らかにする。 圧縮はまた、モデルが進むにつれて単調なトレーニングを加速する。 同じ実用性ランキングを持つポストホックプルーニングはこれらの構造に到達できず、持続的な圧力が効率的なモデルの発見の中心であることを示している。 発見されたアーキテクチャのリトレーニングは、統計的タスクのベースライン品質を回復するが、正確なアルゴリズムタスクでは失敗する。

関連論文リスト

• Scaling Adaptive Depth with Norm-Agnostic Residual Networks [9.219329760729629]
  NAGは標準に依存しない残差アーキテクチャであり、残差ストリームの方向情報から大きさを分離する。 NAGは無視できる数の追加パラメータしか導入せず、簡単にカーネルで実現可能な単純な操作に依存している。 このアーキテクチャはベースライントランスフォーマーよりも優れており,奥行きが大きくなるにつれて大幅に向上することを示す。
  論文  参考訳（メタデータ） (2026-06-15T02:05:37Z)
• Elastic Spiking Transformers for Efficient Gesture Understanding [6.52225846892392]
  Spiking Neural Networks(SNN)は、医療アプリケーションのためのイベントベースのセンサデータのエネルギー効率の高い処理を提供する。 我々は、スパイキングパラダイムに弾力性をもたらすランタイム適応アーキテクチャであるElastic Spiking Transformerを紹介します。 CIFAR10/100, CIFAR10-DVS, EHWGesture 臨床ジェスチャー理解データセットについて検討した。
  論文  参考訳（メタデータ） (2026-05-04T12:35:52Z)
• Alternating Gradient Flow Utility: A Unified Metric for Structural Pruning and Dynamic Routing in Deep Networks [52.153950303594684]
  交互勾配流(Alternating Gradient Flow, AGF)に着想を得た非結合型運動パラダイムを提案する。 AGFはネットワークの構造的「運動ユーティリティ」を正確にキャプチャする 我々は、AGFに誘導されるオフライン構造探索を、ゼロコストの物理プリミティブを介してオンライン実行から切り離すハイブリッドルーティングフレームワークを設計する。
  論文  参考訳（メタデータ） (2026-03-12T18:19:21Z)
• Subjective Depth and Timescale Transformers: Learning Where and When to Compute [15.164635408299304]
  主観的深度変換器(SDT)と主観的時間スケール変換器(STT)を紹介する。 SDTとSTTはベイジアン・サプライズ信号を利用して動的に計算をルーティングし、デコーダのみのTF内で計算する場所とタイミングを学習する。 提案したアーキテクチャは,効率向上のためのフレキシブルなフレームワークを確立し,各計算スキップ層内で自己注意計算を75%,KVキャッシュ要求を50%削減し,より効率的なモデルのための経路を設定する。
  論文  参考訳（メタデータ） (2025-11-26T14:00:18Z)
• PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
  大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。 その中核は2段精製パイプラインを備えた非対称3次量子化器である。
  論文  参考訳（メタデータ） (2025-09-27T03:01:48Z)
• Convolutional Neural Network Compression Based on Low-Rank Decomposition [3.3295360710329738]
  本稿では,変分ベイズ行列分解を組み込んだモデル圧縮法を提案する。 VBMFは各層における重みテンソルのランクを推定するために用いられる。 その結果, 高圧縮比と低圧縮比では, 圧縮モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-29T06:40:34Z)
• Post-Training Network Compression for 3D Medical Image Segmentation: Reducing Computational Efforts via Tucker Decomposition [2.6820435361998918]
  本稿では,既存のモデルの分解により,セグメント化精度を損なうことなく,計算要求を低減できるタッカー因数分解法を提案する。 提案手法では,推定時に必要となる浮動小数点演算(FLOP)とメモリを削減し,計算効率とセグメンテーション品質のトレードオフを調整可能とした。
  論文  参考訳（メタデータ） (2024-04-15T11:36:31Z)
• Adaptive Fourier Neural Operators: Efficient Token Mixers for Transformers [55.90468016961356]
  本稿では,Fourierドメインのミキシングを学習する効率的なトークンミキサーを提案する。 AFNOは、演算子学習の原則的基礎に基づいている。 65kのシーケンスサイズを処理でき、他の効率的な自己認識機構より優れている。
  論文  参考訳（メタデータ） (2021-11-24T05:44:31Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Learning Efficient GANs for Image Translation via Differentiable Masks and co-Attention Distillation [130.30465659190773]
  Generative Adversarial Networks (GAN) は画像翻訳において広く利用されているが、その高い計算とストレージコストがモバイルデバイスへの展開を妨げる。 DMADと呼ばれる新しいGAN圧縮手法を提案する。 実験の結果、DMADはCycleGANのMultiply Accumulate Operations (MAC)を13倍、Pix2Pixを4倍削減し、フルモデルに匹敵する性能を維持することができた。
  論文  参考訳（メタデータ） (2020-11-17T02:39:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。