論文の概要: Energy-Efficient LLM Serving via Disaggregated Attention--FFN and Flexible Frequency Scaling

• arxiv url: http://arxiv.org/abs/2608.01891v1
• Date: Mon, 03 Aug 2026 08:32:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.410228
• Title: Energy-Efficient LLM Serving via Disaggregated Attention--FFN and Flexible Frequency Scaling
• Title（参考訳）: 分散注意によるエネルギー効率の高いLDMサービング--FFNとフレキシブル周波数スケーリング
• Abstract要約: 既存のエネルギー管理アプローチは、要求または推論フェーズレベルでのみ適応する。 本稿では、リソースのプロビジョニングとGPUの周波数スケーリングを協調的に最適化するフレームワークであるAFlexについて紹介する。 AFlexは、最先端の非集約サービスで最大49%、周波数スケーリングシステムで48%、トークン当たりのエネルギーを最大49%削減する。
• 参考スコア（独自算出の注目度）: 7.937386108138415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) serving spans diverse applications with stringent service-level objectives (SLOs), often requiring GPUs to run at maximum frequencies and increasing energy consumption. Existing energy-management approaches adapt GPU frequencies only at the request or inference-phase level, overlooking operator-level differences in frequency sensitivity between Attention and feed-forward networks (FFNs). We find that the energy-optimal frequencies of Attention and FFN (A/F) differ and vary with the inference phase, workload, and system configurations. However, runtime variability and independent A/F frequency control create a large search space and high communication overhead. To address these challenges, we present AFlex, a framework that jointly optimizes resource provisioning and GPU frequency scaling for disaggregated A/F serving. AFlex introduces a global scheduler and a local operator-level dynamic voltage and frequency scaling (DVFS) controller to determine A/F resource allocations and frequencies. It further introduces an interleaved A/F pipeline with dynamic microbatch depth and adaptive request batching to reduce pipeline bubbles. We implement AFlex in SGLang and evaluate it on NVIDIA A800 GPUs using Qwen3-32B and Mixtral-8$\times$7B under production Conversation and Coding traces. \AFlex reduces energy per token by up to 49\% over state-of-the-art disaggregated serving and 48\% over frequency-scaling systems while satisfying TTFT and TPOT SLOs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、厳しいサービスレベルの目的(SLO)を持つ多様なアプリケーションにまたがる。 既存のエネルギー管理アプローチは、要求または推論フェーズレベルでのみGPU周波数を適応し、アテンションとフィードフォワードネットワーク(FFN)間の周波数感度の演算子レベル差を見越す。 その結果,Attention と FFN (A/F) のエネルギー-最適周波数は,推定フェーズ,ワークロード,システム構成によって異なることがわかった。 しかし、実行時の可変性と独立したA/F周波数制御は、大きな検索スペースと高い通信オーバーヘッドを生み出す。 これらの課題に対処するために、リソースプロビジョニングとGPU周波数スケーリングを共同で最適化するフレームワークであるAFlexを紹介します。 AFlexはグローバルスケジューラとローカルオペレータレベルのダイナミック電圧および周波数スケーリングコントローラを導入し、A/Fリソースの割り当てと周波数を決定する。 さらに、パイプラインバブルを減らすために、動的マイクロバッチ深さと適応的なリクエストバッチを備えたインターリーブA/Fパイプラインを導入している。 SGLang で AFlex を実装し,Qwen3-32B と Mixtral-8$\times$7B を用いて NVIDIA A800 GPU 上で実運用用 Conversation と Coding トレースで評価した。 AFlexは、TTFTとTPOT SLOを満足しながら、最先端の分散サービスで最大49 %、周波数スケーリングシステムで最大48 %、トークン当たりのエネルギーを削減します。

関連論文リスト

• FreqFormer: Hierarchical Frequency-Domain Attention with Adaptive Spectral Routing for Long-Sequence Video Diffusion Transformers [0.0]
  本稿ではFreqFormerについて紹介する。 トークンの特徴は、異なる演算子を持つスペクトルバンドに分割される。 FreqFormerは、推定アテンションFLOPとKV関連のメモリトラフィックを高密度アテンションに対して大幅に削減する。
  論文  参考訳（メタデータ） (2026-04-14T08:29:10Z)
• SparseDVFS: Sparse-Aware DVFS for Energy-Efficient Edge Inference [24.06892697687466]
  本稿では,エネルギー効率の良いエッジ推論のための細粒度でスパース対応なDVFSフレームワークであるSparseDVFSを提案する。 我々の重要な洞察は、演算子間隔がハードウェア周波数変調の主要な指標であるということである。 SparseDVFSは最先端のソリューションよりも平均78.17%のエネルギー効率向上を実現している。
  論文  参考訳（メタデータ） (2026-03-23T12:29:30Z)
• TIDAL: Temporally Interleaved Diffusion and Action Loop for High-Frequency VLA Control [15.534182843429043]
  大規模なVision-Language-Action(VLA)モデルはセマンティックな一般化を提供するが、高い推論遅延に悩まされる。 本稿では,高頻度動作から意味論的推論を分離する階層型フレームワークであるTIDALを提案する。 TIDALは、二重周波数アーキテクチャを用いて拡散ベースのVLAのためのバックボーンに依存しないモジュールとして動作する。
  論文  参考訳（メタデータ） (2026-01-21T12:43:11Z)
• FADPNet: Frequency-Aware Dual-Path Network for Face Super-Resolution [70.61549422952193]
  計算コストの制限による顔超解像(FSR)は未解決の問題である。 既存のアプローチでは、全ての顔のピクセルを等しく扱い、計算資源を最適以下に割り当てる。 本稿では、低周波成分と高周波成分に顔の特徴を分解する周波数対応デュアルパスネットワークであるFADPNetを提案する。
  論文  参考訳（メタデータ） (2025-06-17T02:33:42Z)
• F2Net: A Frequency-Fused Network for Ultra-High Resolution Remote Sensing Segmentation [10.67983913373955]
  F2Netは、UHR画像を特殊な処理のために高周波数成分と低周波数成分に分解する周波数認識フレームワークである。 ハイブリッド周波数融合モジュールは、2つの新しい目的によって導かれるこれらの観測を統合する。 F2Netは、それぞれ80.22のmIoUと83.39の最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-06-09T15:09:49Z)
• SPECTRE: An FFT-Based Efficient Drop-In Replacement to Self-Attention for Long Contexts [2.200751835496112]
  長文変換器は、自己注意の二次的なコストのため、大幅な効率の課題に直面している。 本稿では,各注目ヘッドを高速な実FFTで置き換えるSPECTREを提案する。 我々は、この効率をPrefix-FFTキャッシュを介して自動回帰生成に拡張し、オプションのウェーブレットモジュールで局所的な特徴表現を強化する。
  論文  参考訳（メタデータ） (2025-02-25T17:43:43Z)
• Frequency-Aware Deepfake Detection: Improving Generalizability through Frequency Space Learning [81.98675881423131]
  この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。 既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。 本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-03-12T01:28:00Z)
• User Assignment and Resource Allocation for Hierarchical Federated Learning over Wireless Networks [20.09415156099031]
  階層FL(Hierarchical FL)は、効率的なリソース割り当てと適切なユーザ割り当てによって、エネルギー消費とレイテンシを低減する。 本稿では,スペクトル資源最適化アルゴリズム(SROA)とHFLのための2段階CPUアルゴリズム(TSIA)を提案する。 実験により,提案したHFLフレームワークは,エネルギーと遅延低減に関する既存の研究よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-09-17T12:10:39Z)
• Adaptive Frequency Filters As Efficient Global Token Mixers [100.27957692579892]
  適応周波数フィルタは効率的なグローバルトークンミキサーとして機能することを示す。 我々は、AFFNetと呼ばれる軽量ニューラルネットワークを構築するために、AFFトークンミキサーを主要なニューラルネットワークとして捉えています。
  論文  参考訳（メタデータ） (2023-07-26T07:42:28Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Hierarchical Over-the-Air FedGradNorm [50.756991828015316]
  MTL(Multi-task Learning)は、単一の共有ネットワークで複数の関連するタスクを同時に学習する学習パラダイムである。 我々は,HOTA-FedGradNormと呼ばれる動的重み付け戦略を用いた階層的オーバー・ザ・エア(HOTA)PFLを提案する。
  論文  参考訳（メタデータ） (2022-12-14T18:54:46Z)
• Bayesian Federated Learning over Wireless Networks [87.37301441859925]
  フェデレーションラーニングは、ローカルデバイスに保存された異種データセットを使用したプライバシー保護と分散トレーニング方法です。 本稿では、スケーラブルBFL (SBFL) と呼ばれる効率的な修正BFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-31T07:32:44Z)
• EdgeBERT: Sentence-Level Energy Optimizations for Latency-Aware Multi-Task NLP Inference [82.1584439276834]
  BERTのようなトランスフォーマーベースの言語モデルでは、自然言語処理(NLP)タスクの精度が大幅に向上する。 We present EdgeBERT, a in-deepth algorithm- hardware co-design for latency-aware energy optimization for multi-task NLP。
  論文  参考訳（メタデータ） (2020-11-28T19:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。