論文の概要: Memory Bandwidth, Not FLOPs: Profiling and Accelerating Query-Based Segmentation Decoders on Edge GPUs
- arxiv url: http://arxiv.org/abs/2610.22377v1
- Date: Tue, 29 Sep 2026 09:08:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-26 00:37:12.116586
- Title: Memory Bandwidth, Not FLOPs: Profiling and Accelerating Query-Based Segmentation Decoders on Edge GPUs
- Title（参考訳）: FLOPではなくメモリ帯域:エッジGPU上のクエリベースのセグメンテーションデコーダのプロファイリングと高速化
- Abstract要約: コンバータデコーダはメモリ帯域幅バウンドであり、標準的なFLOP解析では見えないボトルネックであることを示す。
CompactInstはパラメータフリーのプールを$4times$で使用することで、トランスフォーマーデコーダ内で移動したバイトを減らすことで、このボトルネックに対処する。
2.57ドル以上のデコーダFLOPは、最も帯域制限のあるデバイスで1.74ドルより高速なデコーダである。
- 参考スコア（独自算出の注目度）: 0.6967006044904097
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Query-based segmentation models achieve strong performance even under real-time inference on workstation GPUs. On edge devices, however, we show their transformer decoders are deeply memory-bandwidth-bound, a bottleneck invisible to standard FLOP analysis that worsens with input resolution and limited DRAM bandwidth. An FP16 roofline analysis with tensor-core GEMMs active and hardware DRAM counters shows that the non-tensor-core aggregates of FastInst and Mask2Former reach only $2.5\%$ to $6\%$ of the CUDA-core ridge yet account for $53\%$ to $70\%$ of decoder time and $61\%$ to $71\%$ of decoder bytes. The largest individual kernels sustain up to $90\%$ of nominal peak DRAM bandwidth, effectively saturating the memory bus. The bottleneck is therefore not primarily low GEMM intensity, but cross-kernel activation traffic. CompactInst addresses this bottleneck using parameter-free spatial pooling at $4{\times}$, which reduces the bytes moved within the transformer decoder, while a two-convolution refinement head recovers spatial detail. Under TensorRT FP16 on Jetson Orin Nano, CompactInst delivers decoder speedups from $2.35{\times}$ to $4.74{\times}$ and model speedups from $1.57{\times}$ to $2.62{\times}$ as input resolution grows, while closely matching accuracy ($-0.4$ AP on COCO val2017, $+0.2$ AP on Cityscapes test). A heavier variant with $2.57{\times}$ more decoder FLOPs still runs its decoder $1.74{\times}$ faster on the most bandwidth-constrained device, confirming at the deployment level that decoder bytes, not FLOPs, govern latency.
- Abstract（参考訳）: クエリベースのセグメンテーションモデルは、ワークステーションGPUのリアルタイム推論の下でも、強力なパフォーマンスを達成する。
しかし、エッジデバイスでは、トランスフォーマーデコーダがメモリ帯域幅が深く、入力解像度とDRAM帯域幅の制限により悪化する標準FLOP分析には見えないボトルネックであることを示す。
テンソルコアGEMMとハードウェアDRAMカウンタによるFP16ルーフライン分析によると、FastInstとMask2Formerの非テンソルコア集約は、CUDAコアリッジの2.5 %$から6 %$にしか達していないが、デコーダタイムの53 %$から70 %$とデコーダバイトの61 %$から7 %$に留まっている。
最大の個々のカーネルは、名目上のピークDRAM帯域幅の最大90 %$を保ち、事実上メモリバスを飽和させる。
したがって、ボトルネックは主にGEMM強度が低いのではなく、カーネル間のアクティベーショントラフィックである。
CompactInstはパラメータフリーな空間プーリングを$4{\times}$とすることでこのボトルネックに対処し、トランスフォーマーデコーダ内で移動したバイトを減らす一方、2畳み込みリファインメントヘッドは空間的詳細を回復する。
Jetson Orin NanoのTensorRT FP16の下で、CompactInstはデコーダのスピードアップを$2.35{\times}$から$4.74{\times}$とモデルスピードアップを$1.57{\times}$から$2.62{\times}$に、入力解像度が大きくなるにつれて$は$0.4$の精度で、COCO val2017では$+0.2$の精度で$。
2.57{\times = more decoder FLOPsは、最も帯域制限のあるデバイス上で、デコーダの1.74{\times$を高速に動作させ、FLOPではなくデコーダのバイトがレイテンシを制御していることを確認している。
関連論文リスト
- VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention [47.30761996669105]
トレーニング不要な低ビットアテンションフレームワークであるVC-Attentionを提案する。
V-Smoothは、オンラインの軽量クラスタリングによってバリュートークンを再注文するので、融合ハードウェアブロック内のトークンは、共に量子化される。
ログドメインのスコアを直接E4M3確率符号に1つの融合乗算加算でマッピングし、FP32指数関数とフォーマット変換を排除した。
論文 参考訳（メタデータ） (2026-09-14T16:17:35Z) - Lightweight PCGAE-Net: Parallel CrossGate Attention and Bottleneck AutoEncoder for Efficient 5G Channel Prediction [1.1083289076967893]
本稿では,ポストホック圧縮による効率問題に対処する軽量PCGAE-Netを提案する。
CS3T-UNetベースラインよりも58%少ない8.54,Mパラメータのモデルを生成する。
最大3.26,dBを5km/h、6.0,dBを9km/hで上回る。
論文 参考訳（メタデータ） (2026-06-24T04:55:25Z) - A Controlled Study of Memory Hierarchy Transitions in Quantum Circuit Simulation on Apple M4 Pro Unified Memory Architecture [0.0]
状態ベクトル量子回路シミュレーションはメモリ帯域境界である。
Apple M4 Pro Unified Memory Architectureを使ってこの問題に対処する。
ピークストリーミング帯域幅は、連続しないメモリアクセスパターンのシミュレーションスピードアップを予測できないことを示す。
論文 参考訳（メタデータ） (2026-05-09T08:22:55Z) - Small Vision-Language Models are Smart Compressors for Long Video Understanding [73.65465038390771]
長時間のビデオ理解は、欲求に満ちたコンテキストではなく、意図駆動の効率に頼っている。
本稿では,下流の理解のために長い動画を圧縮する効率的なクエリ認識フレームワークであるTempoを提案する。
テストでは、Tempoが1時間のビデオを理論的限界以下に圧縮し、真のロングフォームビデオ理解が意図駆動の効率に依存することを示した。
論文 参考訳（メタデータ） (2026-04-09T11:40:25Z) - A Persistent-State Dataflow Accelerator for Memory-Bound Linear Attention Decode on FPGA [10.452946241750562]
Gated DeltaNet(GDN)は、成長するKVキャッシュを固定サイズのリカレントステートに置き換える線形アテンションメカニズムである。
このボトルネックはアルゴリズムではなくアーキテクチャであることが示され、全てのサブクワッド列モデルはデコード時に 1 FLOP/B 未満の演算強度を示す。
オンチップBRAMにおいて,フル2MBのリカレント状態を持続的に保持することにより,このボトルネックを解消するFPGAアクセラレータを提案する。
論文 参考訳（メタデータ） (2026-03-06T06:03:38Z) - Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。
トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。
我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
論文 参考訳（メタデータ） (2024-05-28T22:19:30Z) - AI and Memory Wall [81.06494558184049]
メモリ帯域幅がデコーダモデルの主要なボトルネックとなることを示す。
私たちは、このメモリ制限を克服するためのモデルアーキテクチャ、トレーニング、デプロイメント戦略の再設計を主張します。
論文 参考訳（メタデータ） (2024-03-21T04:31:59Z) - SegViTv2: Exploring Efficient and Continual Semantic Segmentation with
Plain Vision Transformers [76.13755422671822]
本稿では,エンコーダ・デコーダ・フレームワークを用いた意味的セグメンテーションのためのプレーンビジョン変換器(ViT)の能力について検討する。
Intention-to-Mask(atm)モジュールを導入し、平易なViTに有効な軽量デコーダを設計する。
我々のデコーダは、様々なViTバックボーンを使用して人気のあるデコーダUPerNetより優れ、計算コストの5%程度しか消費しない。
論文 参考訳（メタデータ） (2023-06-09T22:29:56Z) - FlashAttention: Fast and Memory-Efficient Exact Attention with
IO-Awareness [80.3586155104237]
FlashAttentionは、トランスフォーマーのためのIO対応の正確な注意アルゴリズムである。
これにより、GPU高帯域メモリ(HBM)とGPUオンチップ間のメモリ読み込み/書き込み数を削減できる。
FlashAttentionとブロックスパース FlashAttentionは、トランスフォーマーのコンテキストを長くすることを可能にする。
論文 参考訳（メタデータ） (2022-05-27T17:53:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。