論文の概要: Gated Subspace Inference for Transformer Acceleration

• arxiv url: http://arxiv.org/abs/2605.03109v1
• Date: Mon, 04 May 2026 19:48:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.626812
• Title: Gated Subspace Inference for Transformer Acceleration
• Title（参考訳）: 変圧器加速のためのゲート付き部分空間推論
• Authors: Stephen J. Thomas,
• Abstract要約: 変圧器言語モデルにおける推論の高速化のための方法が提示される。 この方法は、各アクティベーションベクトルをサブスペース成分と残留成分に分解する。 サブスペースコンポーネント上の線形層出力をキャッシュされた低ランク重み画像を介してメモリ帯域幅を小さくする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A method is presented for accelerating inference in transformer language models by exploiting the low effective rank of the token activation manifold at each layer. The method decomposes each activation vector into a subspace component and a residual, computes the linear-layer output on the subspace component via a cached low-rank weight image at reduced memory bandwidth, and applies a per-token gate that determines whether the residual correction is computed or skipped. The gate ensures that the output distribution is preserved to within a controllable tolerance. Validation on three model families (GPT-2 124M, GPT-J 6B, OPT 6.7B) on AMD MI300X demonstrates effective speedups of 3.0x to 10.5x on linear-layer weight reads with perplexity ratios below 1.00 and top-1 token agreement above 98%. The method requires no retraining, no architectural modification, and no approximation of the attention mechanism. At the operating point (k = 256, ε = 0.05) on GPT-J 14 6B, the accelerated model produces character-for-character identical output to the baseline.
• Abstract（参考訳）: 各層におけるトークンアクティベーション多様体の低効率ランクを利用してトランスフォーマー言語モデルの推論を高速化する手法を提案する。 この方法は、各アクティベーションベクトルをサブスペース成分と残差成分に分解し、キャッシュされた低ランク重量画像を介してサブスペース成分の線形層出力をメモリ帯域幅の縮小で演算し、残差補正が演算されたかスキップされたかを判定するトーケンゲートを適用する。 ゲートは、出力分布が制御可能な許容範囲内に保持されることを保証する。 AMD MI300X上の3つのモデルファミリー(GPT-2 124M, GPT-J 6B, OPT 6.7B)の検証は、1.00未満のパープレキシティ比を持つ線形層読み込みにおいて3.0xから10.5xの効果的なスピードアップを示し、トップ1トークン合意は98%以上である。 この方法は、再訓練も、アーキテクチャの変更も、アテンション機構の近似も不要である。 GPT-J 14 6B上の操作点(k = 256, ε = 0.05)では、加速されたモデルがベースラインと同一の出力を生成する。

関連論文リスト

• Variance Is Not Importance: Structural Analysis of Transformer Compressibility Across Model Scales [0.0]
  スペクトル圧縮,ブロックレベル関数置換,回転ベース量子化,アクティベーション幾何,適応早期出口について検討した。 圧縮に関連する5つの構造特性を同定する。
  論文  参考訳（メタデータ） (2026-04-22T15:31:46Z)
• Compressing Transformer Language Models via Matrix Product Operator Decomposition: A Case Study on PicoGPT [0.0]
  トランスフォーマーベースの言語モデルは、NLPタスク間で強力なパフォーマンスを実現するが、その2次パラメータスケーリングは、リソース制約のあるハードウェアへのデプロイを高くする。 変圧器の原理圧縮法として行列積演算子分解について検討する。 MPOは、重み行列を低ランクコアの鎖に分解し、近似品質は結合次元chiによって制御される。
  論文  参考訳（メタデータ） (2026-03-30T14:57:47Z)
• Latent attention on masked patches for flow reconstruction [8.69419238669827]
  本稿では,マスクフロー再構成のためのレグレッションベースの修正視覚変換器であるLAMPモデルについて紹介する。 その結果,LAMPは10dBから30dBの信号対雑音比で90%の入力から全流れ場を正確に再構成することがわかった。
  論文  参考訳（メタデータ） (2026-03-02T16:12:40Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• Simultaneous Optimization of Efficiency and Degradation in Tunable HTL-Free Perovskite Solar Cells with MWCNT-Integrated Back Contact Using a Machine Learning-Derived Polynomial Regressor [0.8739101659113155]
  孔輸送層(HTL)を持たないペロブスカイト太陽電池(PSC)は、従来のアーキテクチャに代わるコスト効率が高く安定した代替手段を提供する。 本研究では,HTLフリーPSCの効率性と安定性を最適化する機械学習(ML)駆動のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-24T13:37:48Z)
• On Disentangled Training for Nonlinear Transform in Learned Image Compression [59.66885464492666]
  学習画像圧縮(lic)は,従来のコーデックに比べて高いレート歪み(R-D)性能を示した。 既存のlic法は、非線形変換の学習において、エネルギーのコンパクト化によって生じる緩やかな収束を見落としている。 非線形変換の訓練において, エネルギーの縮退を両立させる線形補助変換(AuxT)を提案する。
  論文  参考訳（メタデータ） (2025-01-23T15:32:06Z)
• ESPACE: Dimensionality Reduction of Activations for Model Compression [4.98131272298465]
  本研究では, アクティベーションの次元的低減に基づくLLM圧縮技術であるESPACEを提案する。 ESPACEでは、GPT3、Llama2、Nemotron4モデルの50%の圧縮が可能で、精度は低い。 ESPACEはGEMMの実行時間を短縮し、既存のハードウェアで推論遅延をプリフィルする。
  論文  参考訳（メタデータ） (2024-10-07T18:59:22Z)
• Adaptive Multi-step Refinement Network for Robust Point Cloud Registration [82.64560249066734]
  ポイントクラウド登録は、同じシーンの2つのポイントクラウド間の相対的な厳密な変換を推定する。 本稿では,前ステップからの情報を活用することで,各ステップの登録品質を向上する適応型多段階改良ネットワークを提案する。 本手法は3DMatch/3DLoMatchベンチマークとKITTIベンチマークの両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-05T18:59:41Z)
• Pruning Redundant Mappings in Transformer Models via Spectral-Normalized Identity Prior [54.629850694790036]
  スペクトル正規化アイデンティティ事前 (SNIP) は、トランスフォーマーモデルにおける残余モジュール全体をアイデンティティマッピングに向けてペナライズする構造化プルーニング手法である。 5つのGLUEベンチマークタスクでBERTを用いて実験を行い、SNIPが同等の性能を維持しながら効率的な刈り取り結果が得られることを示した。
  論文  参考訳（メタデータ） (2020-10-05T05:40:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。