論文の概要: Para-Pipe: Exploiting Hierarchical Operator Parallelism of ML Computational Graphs on SoCs

• arxiv url: http://arxiv.org/abs/2609.04168v1
• Date: Thu, 03 Sep 2026 17:53:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:39.193612
• Title: Para-Pipe: Exploiting Hierarchical Operator Parallelism of ML Computational Graphs on SoCs
• Title（参考訳）: Para-Pipe: SoC上のML計算グラフの階層的演算子並列性の爆発
• Abstract要約: Para-Pipeは階層的なマッピングフレームワークで、パイプラインアーキテクチャ内で、ステージ内およびステージ間演算子並列性を統合する。 Para-Pipeは、パイプラインステージ内およびパイプラインステージ間の並列処理レベルを選択的に微調整することで、スループットとレイテンシのトレードオフをナビゲートする。
• 参考スコア（独自算出の注目度）: 22.6523068033902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As edge-based deep learning applications become more complex, optimizing performance on heterogeneous System-on-Chips (SoCs) presents unique challenges. Traditional pipelining techniques distributing the computation across different on-chip processing units, while effective for throughput, do not address the latency demands posed by modern neural networks with complex interdependencies and extensive operator parallelism. There is a potential in leveraging operator parallelism to enable concurrent execution across multiple processing units, thereby reducing inference latency. However, prioritizing pipelining or parallel execution often necessitates a compromise, where optimizing one performance metric adversely impacts the other. This paper introduces Para-Pipe, a hierarchical mapping framework that integrates intra- and inter-stage operator parallelism within a pipelined architecture. Para-Pipe navigates the trade-off between throughput and latency by selectively fine-tuning parallelism levels within and across pipeline stages. This strategy can significantly reduce inter-processor communication overhead, significantly improving energy efficiency. Our evaluation demonstrates that Para-Pipe generates multiple Pareto-optimal configurations, achieving a balance between throughput and latency on an Amlogic SoC equipped with ARM big.LITTLE CPUs and GPU, as well as the Black Sesame Technology SoC featuring a deep learning accelerator and two DSPs. More importantly, throughput-optimized configurations under Para-Pipe on Amlogic SoC show an average energy efficiency improvement of 11.0% over purely pipelined strategies and 23.3% relative to non-pipelined parallel execution.
• Abstract（参考訳）: エッジベースのディープラーニングアプリケーションがより複雑になるにつれて、異種System-on-Chips(SoC)のパフォーマンスを最適化することは、ユニークな課題を提示します。 異なるオンチップ処理ユニットにまたがって計算を分散する従来のパイプライン技術は、スループットに有効であるが、複雑な相互依存性と広範な演算子並列性を持つ現代のニューラルネットワークによって引き起こされるレイテンシ要求には対処しない。 複数の処理ユニット間で並列実行を可能にするために、演算子並列性を活用する可能性があるため、推論レイテンシが減少する。 しかし、パイプライニングや並列実行の優先順位付けは妥協を必要とすることが多く、一方のパフォーマンス指標の最適化が他方に悪影響を及ぼす。 本稿では,パイプライン型アーキテクチャにおいて,段内および段間演算子並列性を統合する階層型マッピングフレームワークであるPara-Pipeを紹介する。 Para-Pipeは、パイプラインステージ内およびパイプラインステージ間の並列処理レベルを選択的に微調整することで、スループットとレイテンシのトレードオフをナビゲートする。 この戦略は、プロセッサ間通信のオーバーヘッドを大幅に削減し、エネルギー効率を大幅に改善することができる。 本評価は,ARM Big.LITTLE CPUとGPUを備えたAmlogic SoCと,ディープラーニングアクセラレータと2つのDSPを備えたBlack Sesame Technology SoCのスループットとレイテンシのバランスを,Para-Pipeが複数のパレート最適構成を生成することを示す。 さらに重要なことは、Amlogic SoC上でのPara-Pipeによるスループット最適化構成は、純粋にパイプライン化された戦略よりも平均エネルギー効率が11.0%向上し、非パイプライン化された並列実行に対して23.3%向上したことを示している。

関連論文リスト

• CTA-Pipelining: A Latency-Oriented Spatial Scaling Method for Multi-GPU Systems [2.870762512009438]
  本稿では,共有メモリマルチGPUシステムを活用するための実行パラダイムであるCTA-pipeliningを紹介する。 遅延指向の空間スケーリング手法として、CTAパイプライニングは協調スレッドアレイレベルを活用する。 その結果、CTAパイプライニングはマイクロバッチに比べてレイテンシを最大31.8%削減することがわかった。
  論文  参考訳（メタデータ） (2026-07-08T18:54:08Z)
• AdaFuse: Accelerating Dynamic Adapter Inference via Token-Level Pre-Gating and Fused Kernel Optimization [84.25316984309725]
  動的スパース構造とパラメータ効率のよいアダプタ(例えばLoRA)の統合は、大規模言語モデル(LLM)を拡張するための強力な技術である。 計算負荷は最小限に抑えられるが、計算のレイテンシが急上昇し、復号速度が2.5倍以上遅くなる。 AdaFuseはアルゴリズムと基盤となるハードウェアシステムとの緊密な協調設計に基づいて構築されたフレームワークで、効率的な動的アダプタ実行を実現する。
  論文  参考訳（メタデータ） (2026-03-12T12:46:42Z)
• Parallelization Strategies for Dense LLM Deployment: Navigating Through Application-Specific Tradeoffs and Bottlenecks [6.447439020088275]
  AIのブレークスルーは、大規模言語モデル(LLM)ベースのアプリケーションの爆発を加速させた。 センスモデルは、その強力な能力、スケーラビリティ、微調整の容易さ、さまざまなタスクにおける汎用性のために、引き続き支配的です。 本稿では,ノード内並列化方式に着目した2つの代表的高密度LLMの負荷について検討する。
  論文  参考訳（メタデータ） (2026-03-05T21:33:24Z)
• Orchestrating Multimodal DNN Workloads in Wireless Neural Processing [57.510786937781866]
  エッジ推論では、無線リソース割り当てとアクセラレータディープ・ニューラル・コンピューティング(DNN)のスケジューリングはまだエンドツーエンドで共最適化されていない。 本稿では,無線伝送とマルチコア実行を一貫したエンドツーエンドパイプラインに統合するパラダイムについて検討する。
  論文  参考訳（メタデータ） (2026-03-02T17:25:43Z)
• GANGR: GAN-Assisted Scalable and Efficient Global Routing Parallelization [0.6117371161379208]
  グローバルルーティングは電子設計自動化(EDA)における重要な段階である 本稿では,より効率的な並列化を実現するために,WGAN(Wasserstein Generative Network)を提案する。 提案アルゴリズムは最新のISPD'24コンテストのベンチマークでテストされ、最先端ルータと比較して、ルーティング品質は0.002%しか低下せず、40%の低下を示した。
  論文  参考訳（メタデータ） (2025-11-21T00:32:33Z)
• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• Vectorized Online POMDP Planning [4.097364225798782]
  POMDPは部分的な可観測性問題の下での計画のためのフレームワークである。 本稿では,新たな並列オンライン解法であるVectorized Online POMDP Planner (VOPP)を提案する。 VOPPは、計画に関連するすべてのデータ構造をテンソルの集合として表現し、全ての計画ステップを完全にベクトル化された計算として実装する。
  論文  参考訳（メタデータ） (2025-10-31T05:21:39Z)
• Intra-DP: A High Performance Collaborative Inference System for Mobile Edge Computing [67.98609858326951]
  Intra-DPはモバイルデバイス上でのディープニューラルネットワーク(DNN)に最適化された高性能な協調推論システムである。 推論毎のレイテンシを最大50%削減し、最先端のベースラインと比較してエネルギー消費量を最大75%削減する。 評価の結果,DP内の遅延は,最先端のベースラインと比較して最大50%,エネルギー消費は最大75%減少することがわかった。
  論文  参考訳（メタデータ） (2025-07-08T09:50:57Z)
• APB: Accelerating Distributed Long-Context Inference by Passing Compressed Context Blocks across GPUs [81.5049387116454]
  我々は、効率的な長文推論フレームワークであるAPBを紹介する。 APBはプリフィル速度を高めるためにマルチホスト近似アテンションを使用する。 APBはFlashAttn、RingAttn、StarAttnと比較して最大9.2x、4.2x、1.6xの速度を実現している。
  論文  参考訳（メタデータ） (2025-02-17T17:59:56Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。