論文の概要: TRACE: Transformer Residual Activation Codebook Encoding for Communication-efficient Distributed Edge Inference

• arxiv url: http://arxiv.org/abs/2610.22435v1
• Date: Thu, 15 Oct 2026 09:57:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.589487
• Title: TRACE: Transformer Residual Activation Codebook Encoding for Communication-efficient Distributed Edge Inference
• Title（参考訳）: TRACE: 通信効率の良い分散エッジ推論のためのトランスフォーマー残効用コードブックエンコード
• Abstract要約: Transformer Residual Codebook Residual (トレース) Traceは、Vector Quantizerを、コードブックにインデックスされたキー/値表現の後の残余に配置する。 トレースは最大1.89%の精度で、最大1.27倍のエンドツーエンドの推論スピードアップを達成する。
• 参考スコア（独自算出の注目度）: 60.442064966340524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed Transformer inference across co-located edge devices is fundamentally communication-bound, as exchanging activations between sequence-parallel partitions dominates inference latency under commodity edge bandwidths. Existing compression schemes reduce this cost but retain a structural bottleneck: the received data must still undergo key/value projection before attention can proceed, serializing computation behind communication. This paper presents Transformer Residual Activation Codebook Encoding (Trace), a framework that addresses these limitations. Trace places a Vector Quantizer (VQ) at the post-attention residual of every Transformer layer and precomputes codebook-indexed key/value representations. During inference, exchanged activations are encoded into compact codebook indices, allowing receivers to directly recover keys and values through table lookup instead of executing the downstream computations required to derive them. By eliminating the received data downstream computation, Trace enables communication--computation overlap and reduces a key latency bottleneck in distributed Transformer inference. A hierarchical clustering further structures the learned codebook into a multi-resolution hierarchy, enabling runtime adaptation of the communication bitrate without retraining. The framework supports two operating variants: one prioritizing accuracy and the other balancing accuracy and efficiency through buffer-compatible quantization. Experiments on ViT-Base (ImageNet-1K and CIFAR-100) and ViViT-B (UCF-101) show that Trace achieves up to 1.89% higher accuracy and up to 1.27x end-to-end inference speedup compared with the state-of-the-art VQ-based distributed inference framework. Compared with uncompressed sequence-parallel inference, Trace reduces communication overhead by up to 22,624x.
• Abstract（参考訳）: シーケンス並列パーティション間でのアクティベーションの交換は、コモディティエッジ帯域における推論レイテンシを支配しているため、コロケーションエッジデバイス間での分散トランスフォーマー推論は基本的に通信バウンドである。 既存の圧縮スキームは、このコストを削減するが、構造的なボトルネックを維持する:受信したデータは、注意を向ける前にキー/値のプロジェクションを実行し、通信の背後で計算をシリアライズしなければならない。 本稿では,これらの制約に対処するフレームワークであるTransformer Residual Activation Codebook Encoding (Trace)を提案する。 Traceは、Vector Quantizer(VQ)をトランスフォーマーの各レイヤのアテンション後の残余に配置し、コードブックにインデックスされたキー/値表現をプリコンプリートする。 推論中、交換されたアクティベーションはコンパクトなコードブックインデックスにエンコードされるため、受信側はそれらを導出するために必要なダウンストリーム計算を実行する代わりに、テーブルルックアップを通じてキーと値を直接復元することができる。 受信したデータ下流の計算をなくすことで、Traceは通信計算のオーバーラップを可能にし、分散トランスフォーマー推論における重要な遅延ボトルネックを低減する。 階層的クラスタリングは、学習したコードブックをさらにマルチレゾリューション階層に構造化し、再トレーニングせずに通信ビットレートのランタイム適応を可能にする。 1つは精度を優先順位付けし、もう1つはバッファ互換量子化による精度と効率のバランスをとる。 ViT-Base(ImageNet-1KとCIFAR-100)とViViT-B(UCF-101)の実験では、Traceは最先端のVQベースの分散推論フレームワークと比較して最大1.89%高い精度と最大1.27倍のエンドツーエンドの推論速度を実現している。 圧縮されていないシーケンス並列推論と比較すると、Traceは通信オーバーヘッドを最大22,624倍削減する。

関連論文リスト

• Accelerating Unified Multimodal Models with Core-Expansion Routing and Unified Computation Scheduling [61.28599393707943]
  統一マルチモーダルモデルは、理解と生成を共同でサポートするが、トークン、レイヤ、生成タイムステップ間でかなりの冗長な計算を行う。 本稿では,タスク共有型コアスコアラと進行条件付き生成拡張を提案し,生成分解とクロスタスクコアアライメントを最適化した。 2つの代表的UMMアーキテクチャの実験では、両タスク間で一貫した品質改善が示され、98.03%の高密度な理解性能を維持し、エンドツーエンドの推論速度は1.93times$である。
  論文  参考訳（メタデータ） (2026-08-29T14:27:55Z)
• DUET -- Dual User Embedding Transformers for Offsite Conversion Prediction [8.972672149050627]
  計算レコメンデーションシステムにおいて,オフサイト変換率(OCVR)予測は重要なランキング問題である。 このタスクは、クリック信号が豊富で、短い時間的水平線を示すのに対して、変換信号は本質的に疎く、長い遅延があり、しばしば未配布である。 ユーザ行動データを2つのドメインコヒーレントなストリーム – クリックと変換 – に明示的に分割するフレームワークであるDUETを提案する。
  論文  参考訳（メタデータ） (2026-06-08T23:13:58Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• Pooling Attention: Evaluating Pretrained Transformer Embeddings for Deception Classification [0.0]
  BERT埋め込みとロジスティック回帰は、LIARデータセット分割のニューラルネットワークよりも優れている。 この研究は、注意に基づくトークンエンコーダを、正確性タスクのための堅牢でアーキテクチャ中心の基盤として位置付けている。
  論文  参考訳（メタデータ） (2025-11-28T08:32:49Z)
• VQ-DeepISC: Vector Quantized-Enabled Digital Semantic Communication with Channel Adaptive Image Transmission [8.858565507331395]
  意味的特徴の離散化は、意味的コミュニケーションシステムとデジタルコミュニケーションシステムの相互運用を可能にする。 チャネル適応画像伝送を用いたベクトル量子化(VQ)対応ディジタルセマンティック通信システムを提案する。
  論文  参考訳（メタデータ） (2025-08-01T02:35:34Z)
• Task-Oriented Feature Compression for Multimodal Understanding via Device-Edge Co-Inference [54.53508601749513]
  本稿では,マルチモーダル理解のためのタスク指向特徴圧縮(TOFC)手法を提案する。 圧縮効率を向上させるために、視覚特徴の特性に基づいて複数のエントロピーモデルを適応的に選択する。 その結果,TOFCはデータ転送オーバーヘッドを最大52%削減し,システム遅延を最大63%削減できることがわかった。
  論文  参考訳（メタデータ） (2025-03-17T08:37:22Z)
• FiRST: Finetuning Router-Selective Transformers for Input-Adaptive Latency Reduction [16.84400858871298]
  本稿では、層固有のルータを用いて、各入力シーケンスに対して適応的に変換器層のサブセットを選択することでレイテンシを低減するアルゴリズムであるFiRSTを提案する。 FiRSTは品質を認識しながら高速な推論を可能にするKVキャッシュとの互換性を維持する。 私たちのアプローチでは、入力適応性は重要であり、タスクによって異なるタスク固有の中間層が隠れた表現を進化させる上で重要な役割を担っています。
  論文  参考訳（メタデータ） (2024-10-16T12:45:35Z)
• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。