論文の概要: Gated Subspace Inference for Transformer Acceleration

• arxiv url: http://arxiv.org/abs/2605.03109v1
• Date: Mon, 04 May 2026 19:48:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.626812
• Title: Gated Subspace Inference for Transformer Acceleration
• Title（参考訳）: 変圧器加速のためのゲート付き部分空間推論
• Abstract要約: 変圧器言語モデルにおける推論の高速化のための方法が提示される。 この方法は、各アクティベーションベクトルをサブスペース成分と残留成分に分解する。 サブスペースコンポーネント上の線形層出力をキャッシュされた低ランク重み画像を介してメモリ帯域幅を小さくする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A method is presented for accelerating inference in transformer language models by exploiting the low effective rank of the token activation manifold at each layer. The method decomposes each activation vector into a subspace component and a residual, computes the linear-layer output on the subspace component via a cached low-rank weight image at reduced memory bandwidth, and applies a per-token gate that determines whether the residual correction is computed or skipped. The gate ensures that the output distribution is preserved to within a controllable tolerance. Validation on three model families (GPT-2 124M, GPT-J 6B, OPT 6.7B) on AMD MI300X demonstrates effective speedups of 3.0x to 10.5x on linear-layer weight reads with perplexity ratios below 1.00 and top-1 token agreement above 98%. The method requires no retraining, no architectural modification, and no approximation of the attention mechanism. At the operating point (k = 256, ε = 0.05) on GPT-J 14 6B, the accelerated model produces character-for-character identical output to the baseline.
• Abstract（参考訳）: 各層におけるトークンアクティベーション多様体の低効率ランクを利用してトランスフォーマー言語モデルの推論を高速化する手法を提案する。 この方法は、各アクティベーションベクトルをサブスペース成分と残差成分に分解し、キャッシュされた低ランク重量画像を介してサブスペース成分の線形層出力をメモリ帯域幅の縮小で演算し、残差補正が演算されたかスキップされたかを判定するトーケンゲートを適用する。 ゲートは、出力分布が制御可能な許容範囲内に保持されることを保証する。 AMD MI300X上の3つのモデルファミリー(GPT-2 124M, GPT-J 6B, OPT 6.7B)の検証は、1.00未満のパープレキシティ比を持つ線形層読み込みにおいて3.0xから10.5xの効果的なスピードアップを示し、トップ1トークン合意は98%以上である。 この方法は、再訓練も、アーキテクチャの変更も、アテンション機構の近似も不要である。 GPT-J 14 6B上の操作点(k = 256, ε = 0.05)では、加速されたモデルがベースラインと同一の出力を生成する。

関連論文リスト

• Accelerating Diffusion Transformers with Gaussian Process Rectified Feature Cache [17.39547918764814]
  拡散変換器は、生成AIにおいて支配的なパラダイムとなっているが、その高い計算コストはリアルタイム応用を妨げる。 予測に基づく特徴キャッシングは拡散変圧器の高速化に広く用いられているが、ステップ数が増えるにつれて、その予測と参照完全軌道の偏差は徐々に増大する。 直感的なアイデアは、オンライン回帰モデルを使ってこの偏差を動的に補正することだが、加速プロセス中にラベルデータが利用できないという問題に直面している。 本稿では,キャッシュ手法と参照フルコンプットトラジェクトリによる全計算ステップの特徴間の残差が局所的に現れるという統計的観察を提案する。
  論文  参考訳（メタデータ） (2026-09-05T08:54:54Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Low-Rank Ternary Adaptation for Fine-Tuning Transformers [54.3230438745856]
  3次変換器は、極端なメモリと計算効率を提供する。 既存のロービットのLoRAベースの手法では、3次重みを直接微調整することはできない。 3次重みの離散的な更新を表す3次乗法適応を提案する。
  論文  参考訳（メタデータ） (2026-08-25T12:15:56Z)
• Machine Learning-Based Reconstruction for Resistive Silicon Sensors [53.365453214937496]
  抵抗型シリコンセンサの機械学習による再構成と圧縮について検討した。 相関パッドからのフルウェーブフォーム情報を用いて、再構成を規則化し、空間情報を抽出する。 まず、LSTM層に基づくリカレントニューラルネットワークモデルを紹介し、フルウェーブフォーム再構成のための概念実証実装を提供する。
  論文  参考訳（メタデータ） (2026-07-13T14:03:26Z)
• HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization [48.87937677659571]
  本稿では, HARP (Hadamard-preconditioned Adaptive Rotation Processor) を導入する。 1Bから70Bまでのモデルの2-4ビット設定では、HARPは固定RHTよりもパープレキシティとゼロショット精度を改善している。 HarPはデプロイ効率を保ち、FP16では128トン/秒、61トン/秒に達する。
  論文  参考訳（メタデータ） (2026-05-28T12:24:15Z)
• Diffusion Image Generation with Explicit Modeling of Data Manifold Geometry [64.61931485161833]
  画像生成モデルは、基礎となるデータ多様体からデータポイントをサンプリングすることを目的としている。 データマニフォールド対応画像差分法(MIND)を提案する。 MINDは離散パッチトークン化を連続拡散モデルのスコア関数に統合する。
  論文  参考訳（メタデータ） (2026-05-25T08:43:14Z)
• Variance Is Not Importance: Structural Analysis of Transformer Compressibility Across Model Scales [0.0]
  スペクトル圧縮,ブロックレベル関数置換,回転ベース量子化,アクティベーション幾何,適応早期出口について検討した。 圧縮に関連する5つの構造特性を同定する。
  論文  参考訳（メタデータ） (2026-04-22T15:31:46Z)
• Compressing Transformer Language Models via Matrix Product Operator Decomposition: A Case Study on PicoGPT [0.0]
  トランスフォーマーベースの言語モデルは、NLPタスク間で強力なパフォーマンスを実現するが、その2次パラメータスケーリングは、リソース制約のあるハードウェアへのデプロイを高くする。 変圧器の原理圧縮法として行列積演算子分解について検討する。 MPOは、重み行列を低ランクコアの鎖に分解し、近似品質は結合次元chiによって制御される。
  論文  参考訳（メタデータ） (2026-03-30T14:57:47Z)
• Latent attention on masked patches for flow reconstruction [8.69419238669827]
  本稿では,マスクフロー再構成のためのレグレッションベースの修正視覚変換器であるLAMPモデルについて紹介する。 その結果,LAMPは10dBから30dBの信号対雑音比で90%の入力から全流れ場を正確に再構成することがわかった。
  論文  参考訳（メタデータ） (2026-03-02T16:12:40Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• Simultaneous Optimization of Efficiency and Degradation in Tunable HTL-Free Perovskite Solar Cells with MWCNT-Integrated Back Contact Using a Machine Learning-Derived Polynomial Regressor [0.8739101659113155]
  孔輸送層(HTL)を持たないペロブスカイト太陽電池(PSC)は、従来のアーキテクチャに代わるコスト効率が高く安定した代替手段を提供する。 本研究では,HTLフリーPSCの効率性と安定性を最適化する機械学習(ML)駆動のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-24T13:37:48Z)
• On Disentangled Training for Nonlinear Transform in Learned Image Compression [59.66885464492666]
  学習画像圧縮(lic)は,従来のコーデックに比べて高いレート歪み(R-D)性能を示した。 既存のlic法は、非線形変換の学習において、エネルギーのコンパクト化によって生じる緩やかな収束を見落としている。 非線形変換の訓練において, エネルギーの縮退を両立させる線形補助変換(AuxT)を提案する。
  論文  参考訳（メタデータ） (2025-01-23T15:32:06Z)
• ESPACE: Dimensionality Reduction of Activations for Model Compression [4.98131272298465]
  本研究では, アクティベーションの次元的低減に基づくLLM圧縮技術であるESPACEを提案する。 ESPACEでは、GPT3、Llama2、Nemotron4モデルの50%の圧縮が可能で、精度は低い。 ESPACEはGEMMの実行時間を短縮し、既存のハードウェアで推論遅延をプリフィルする。
  論文  参考訳（メタデータ） (2024-10-07T18:59:22Z)
• Adaptive Multi-step Refinement Network for Robust Point Cloud Registration [82.64560249066734]
  ポイントクラウド登録は、同じシーンの2つのポイントクラウド間の相対的な厳密な変換を推定する。 本稿では,前ステップからの情報を活用することで,各ステップの登録品質を向上する適応型多段階改良ネットワークを提案する。 本手法は3DMatch/3DLoMatchベンチマークとKITTIベンチマークの両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-05T18:59:41Z)
• Pruning Redundant Mappings in Transformer Models via Spectral-Normalized Identity Prior [54.629850694790036]
  スペクトル正規化アイデンティティ事前 (SNIP) は、トランスフォーマーモデルにおける残余モジュール全体をアイデンティティマッピングに向けてペナライズする構造化プルーニング手法である。 5つのGLUEベンチマークタスクでBERTを用いて実験を行い、SNIPが同等の性能を維持しながら効率的な刈り取り結果が得られることを示した。
  論文  参考訳（メタデータ） (2020-10-05T05:40:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。