論文の概要: OpWeave: Flexible Operator Disaggregation for Heterogeneous LLM Serving

• arxiv url: http://arxiv.org/abs/2609.14237v1
• Date: Sun, 13 Sep 2026 02:12:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.769016
• Title: OpWeave: Flexible Operator Disaggregation for Heterogeneous LLM Serving
• Title（参考訳）: OpWeave: 不均一なLLM実行のためのフレキシブルな演算子分離
• Abstract要約: LLMサービスシステムは、推論をよりきめ細かい段階に分解する。 異種ODSのためのエンドツーエンドフレームワークであるOpWeaveを紹介します。
• 参考スコア（独自算出の注目度）: 26.097521524158484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM serving systems increasingly disaggregate inference into finer-grained stages, with recent approaches separating attention from FFN or MoE execution during decode. This operator-level disaggregated serving (ODS) can improve hardware matching and enable independent scaling, particularly across heterogeneous devices. However, existing systems fix operator boundaries and lack a unified characterization of when disaggregation reduces serving cost. We present OpWeave, an end-to-end framework for heterogeneous ODS. OpWeave provides an analytical cost model that bounds the gains of homogeneous and heterogeneous ODS over colocated serving. It jointly optimizes operator partitioning and deployment configuration through a regularity-aware planner that keeps the search tractable even for hybrid-attention models. A vLLM-based runtime executes the synthesized plans with flexible operator stages across heterogeneous device groups. In our evaluation, OpWeave reduces serving cost by up to $1.78\times$ on homogeneous and $1.89\times$ on heterogeneous GPU clusters relative to the best feasible baseline, while meeting latency SLOs.
• Abstract（参考訳）: LLMサービスシステムは、より微細なステージに推論を分解し、最近のアプローチでは、デコード中のFFNやMoEの実行から注意を引き離している。 このオペレータレベルの分散サービス(ODS)は、ハードウェアマッチングを改善し、特に異種デバイス間の独立したスケーリングを可能にする。 しかし、既存のシステムは演算子の境界を固定し、分解がサービスコストを削減した時の統一的な特徴を欠いている。 異種ODSのためのエンドツーエンドフレームワークであるOpWeaveを紹介します。 OpWeaveは、均質なODSと異質なODSの利益をコロケーションサービスに束縛する分析的コストモデルを提供する。 これは、ハイブリッドアテンションモデルであっても検索のトラクタを維持できる正規性を考慮したプランナを通じて、オペレータのパーティショニングとデプロイメント設定を共同で最適化する。 vLLMベースのランタイムは、異種デバイスグループ間で柔軟な演算子ステージで合成計画を実行する。 評価において、OpWeaveは、レイテンシSLOを満たしながら、最も有効なベースラインに対して、同質な1.78\times$と異質なGPUクラスタ上での1.89\times$までのサービスコストを削減します。

関連論文リスト

• Towards Serverless Semi-Decentralized Federated Learning with Heterogeneous Optimizers [49.91939413642465]
  分散化連合学習(FL)におけるクラスタの形成、クラスタの数と構成について検討する。 永続的なサーバインフラストラクチャを必要としない手法として,サーバレス半分散FL(SSD-FL)を提案する。 SSD-FLは、グローバルラウンドをクラスタ内およびクラスタ間システムに分割し、グローバルコンセンサスとコンセンサスを確保する。
  論文  参考訳（メタデータ） (2026-06-04T20:05:18Z)
• Adaptive Graph Refinement and Label Propagation with LLMs for Cost-Effective Entity Resolution [16.32872612569802]
  ダーティエンティティ解決(ER)は、1つの散らかったデータセットから同じ現実世界のエンティティを参照するレコードを識別する。 マッチングとクラスタリングのステップを反復的確率的ラベル伝搬プロセスに統合する統合フレームワークであるAlperを提案する。 8つのベンチマークデータセットに対する我々の実験は、Alperが最先端のカスケードパイプラインよりも一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2026-05-25T13:11:33Z)
• Fast Heterogeneous Serving: Scalable Mixed-Scale LLM Allocation for SLO-Constrained Inference [5.05192206167203]
  大きな言語モデル(LLM)を大規模にデプロイするには、ベースモデルを共同で選択し、異種GPUをプロビジョニングし、負荷を厳格なレイテンシ、正確性、予算制約下で分散する必要がある。 本稿では,シングルパスアロケーションのためのGreedy Heuristic (GH) と,マルチスタート構築によるGH向上を実現するAdaptive Greedy Heuristic (AGH) と,リロケーションベースのローカルサーチ,GPU統合という2つの制約認識を提案する。 Azure LLM Trace (2025)を使用したワークロードでは、両方の推論が1秒未満で実現可能なソリューションを生成し、AGHは260倍以上の速度を達成すると同時に、最適なコストに近づいた。
  論文  参考訳（メタデータ） (2026-04-08T18:11:09Z)
• Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs [62.17306142810532]
  ヘテロジニアスLSMクラスタ上で動作するマルチエージェントワークフローの予測スケジューリングシステムであるChimeraを提案する。 Chimeは最高のレイテンシをトレースし、エンドツーエンドのレイテンシを1.2-2.4$times$で削減し、タスクパフォーマンスを平均8.0-9.5ポイント改善する。
  論文  参考訳（メタデータ） (2026-03-23T17:01:42Z)
• Compiler-Assisted Speculative Sampling for Accelerated LLM Inference on Heterogeneous Edge Devices [37.04691997023527]
  リソース制約のあるエッジデバイス上のLLMデプロイメントは、厳しいレイテンシ制約に直面している。 この研究は、不均一なハードウェア構成を探索し、LLMサブグラフの粗粒度パーティショニングをガイドする分析コストモデルを用いている。 このモデルは、投機サンプリングとヘテロジニアス実行が共同で有用であると予測し、ヘキサコアのCortex-A CPUとMali GPUを備えたエッジデバイスで検証する。
  論文  参考訳（メタデータ） (2026-02-08T17:09:51Z)
• Ringleader ASGD: The First Asynchronous SGD with Optimal Time Complexity under Data Heterogeneity [51.56484100374058]
  本稿では,並列計算の理論的下界を実現する最初の非同期アルゴリズムであるリングリーダーASGDを紹介する。 我々の分析により、リングリーダーASGDは任意の勾配と時間変化速度の下で最適であることが明らかとなった。
  論文  参考訳（メタデータ） (2025-09-26T19:19:15Z)
• CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks [57.95170323315603]
  CollaPipeは、コラボレーティブパイプライン並列性とフェデレーションアグリゲーションを統合し、自己進化型ネットワークをサポートする分散学習フレームワークである。 CollaPipeでは、エンコーダ部分は可変サイズのセグメントに適応的に分割され、パイプライン並列トレーニングのためにモバイルデバイスにデプロイされ、デコーダは生成タスクを処理するためにエッジサーバにデプロイされる。 トレーニング効率を向上させるために,モデルセグメント,マイクロバッチ,帯域幅,送信電力を適応的に割り当てる共同最適化問題を定式化する。
  論文  参考訳（メタデータ） (2025-09-24T07:54:01Z)
• UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
  マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。 階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。 我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
  論文  参考訳（メタデータ） (2025-09-19T17:29:25Z)
• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• Efficient Heterogeneous Large Language Model Decoding with Model-Attention Disaggregation [15.35494431928751]
  トランスフォーマーベースの大規模言語モデル(LLM)は、生成タスクにおいて顕著なパフォーマンスを示すと同時に、現実のサービスにおいて大きな課題をもたらす。 LLMデコーディングの効率を高めるために,モデルアテンションデアグリゲーションを導入する。 分散ヘテロジニアスクラスタにモデルアテンションデアグリゲーションを組み込んだLLM推論システムであるLaminaを開発し,展開する。
  論文  参考訳（メタデータ） (2024-05-03T02:15:15Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Aggregation in the Mirror Space (AIMS): Fast, Accurate Distributed Machine Learning in Military Settings [3.9435196236748107]
  AIMSは、DML収束率を最大57%向上させ、接続性の弱いより多くのデバイスに十分スケールすることができる。 AIMSは、DML収束率を最大57%向上させ、接続性の弱いより多くのデバイスに十分スケールすることができる。
  論文  参考訳（メタデータ） (2022-10-28T14:51:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。