論文の概要: Partition-Aware Scheduling for Mobile Heterogeneous Inference Co-Execution

• arxiv url: http://arxiv.org/abs/2609.14213v1
• Date: Sun, 13 Sep 2026 00:44:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.763792
• Title: Partition-Aware Scheduling for Mobile Heterogeneous Inference Co-Execution
• Title（参考訳）: 移動型不均質推論協調実行のための分割型スケジューリング
• Abstract要約: 移動異種推論における分割対応DAGスケジューリングの問題点を考察する。 本稿では,大規模DAGを段階的に分解し,重要な演算子に焦点をあてるオンライン反復探索フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 1.3356260369011272
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Modern mobile inference runs on heterogeneous platforms combining mobile GPUs with multiple CPU core clusters. Existing optimizations typically exploit either inter-operator parallelism, by assigning entire operators to CPU cores or to the GPU, or intra-operator parallelism, by partitioning each operator for CPU-GPU co-execution. We consider these two forms of parallelism together, to improve inference latency of tasks that can be represented by a static DAG of operators with predefined input/output tensor shapes (e.g., CNNs or vision transformers). We define the problem of partition-aware DAG scheduling for mobile heterogeneous inference, illustrating that the best strategy depends on the structure of the inference DAG, thus motivating a joint formulation capturing operator partition choices, device assignment, and execution order. We propose an online iterative search framework, which decomposes large DAGs into stages, focuses search on critical operators, and uses latency predictors to estimate partitioned execution without exhaustive profiling. Across representative mobile inference workloads, our approach achieves latency close to an offline solution while keeping scheduling overhead to a fraction of the model initialization cost, allowing platform-specific scheduling at deployment time.
• Abstract（参考訳）: 現代のモバイル推論は、モバイルGPUと複数のCPUコアクラスタを組み合わせた異種プラットフォームで動作する。 既存の最適化では、CPUコアに演算子全体を割り当てることや、CPU-GPUの共同実行のために各演算子を分割することで、演算子間の並列性を利用するのが一般的である。 これらの2つの並列性は、予め定義された入力/出力テンソル形状(例えば、CNNや視覚変換器)を持つ演算子の静的DAGで表現できるタスクの推論遅延を改善するために、共に検討する。 移動異種推論のための分割対応DAGスケジューリングの問題を定義し、最良の戦略が推論DAGの構造に依存することを示し、演算子分割選択、デバイス割り当て、実行順序をキャプチャする共同定式化の動機付けを行う。 本稿では,大規模DAGを段階的に分解し,重要な演算子に焦点をあてるオンライン反復探索フレームワークを提案する。 モバイル推論ワークロードの代表的ワークロード全体にわたって、当社のアプローチは、スケジューリングオーバーヘッドをモデル初期化コストのごく一部に抑えながら、オフラインソリューションに近いレイテンシを実現し、デプロイ時にプラットフォーム固有のスケジューリングを可能にする。

関連論文リスト

• Para-Pipe: Exploiting Hierarchical Operator Parallelism of ML Computational Graphs on SoCs [22.6523068033902]
  Para-Pipeは階層的なマッピングフレームワークで、パイプラインアーキテクチャ内で、ステージ内およびステージ間演算子並列性を統合する。 Para-Pipeは、パイプラインステージ内およびパイプラインステージ間の並列処理レベルを選択的に微調整することで、スループットとレイテンシのトレードオフをナビゲートする。
  論文  参考訳（メタデータ） (2026-09-03T17:53:44Z)
• Fine-Grain GPU Parallelization of the Generalized Partition Crossover for Large-Scale Traveling Salesman Problems [1.160208922584163]
  トラベリングセールスマン問題(TSP)はNPハード最適化問題の1つである。 提案手法は,結合したメモリレイアウト,ゴーストノード変換,連結ノード解析を用いて,GPXをグラフ並列問題として再構成する。 提案したGPUは、メモリオーバーヘッドを大幅に削減しつつ、48倍から625倍のスピードアップを実現する。
  論文  参考訳（メタデータ） (2026-08-21T15:42:05Z)
• Event Tensor: A Unified Abstraction for Compiling Dynamic Megakernel [17.931727429220874]
  Event Compiler (ETC) は静的および動的スケジューリングを適用して高性能な永続カーネルを生成する。 ETCは最先端のサービスレイテンシを実現し、ウォームアップオーバーヘッドを大幅に削減する。
  論文  参考訳（メタデータ） (2026-04-14T22:19:51Z)
• Para-B&B: Load-Balanced Deterministic Parallelization of Solving MIP [50.917107318582715]
  MIP(Mixed-integer Programming)は、連続型と整数型の両方の決定変数を組み込むことで線形プログラミングを拡張する。 本稿では,高性能MIPソルバであるHiGHSに対して,決定論的並列分岐結合の完全なオープンソース実装を初めて提案する。 本手法では,ワーカスレッド間で完全なソルバ状態を複製することにより,厳密な決定性を保証する新しいデータ並列アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-02-10T14:17:53Z)
• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• Intra-DP: A High Performance Collaborative Inference System for Mobile Edge Computing [67.98609858326951]
  Intra-DPはモバイルデバイス上でのディープニューラルネットワーク(DNN)に最適化された高性能な協調推論システムである。 推論毎のレイテンシを最大50%削減し、最先端のベースラインと比較してエネルギー消費量を最大75%削減する。 評価の結果,DP内の遅延は,最先端のベースラインと比較して最大50%,エネルギー消費は最大75%減少することがわかった。
  論文  参考訳（メタデータ） (2025-07-08T09:50:57Z)
• Optimizing Multi-DNN Inference on Mobile Devices through Heterogeneous Processor Co-Execution [39.033040759452504]
  Deep Neural Networks(DNN)は、さまざまな産業に展開され、モバイルデバイスのサポートの需要が高まっている。 既存のモバイル推論フレームワークは、ハードウェアの使用を制限し、最適性能とエネルギー効率を引き起こすため、モデルごとにひとつのプロセッサに依存していることが多い。 本稿では,モバイルヘテロジニアスプロセッサ上でのマルチDNN推論を最適化するためのAdvanced Multi-DNN Model Scheduling (ADMS) 戦略を提案する。
  論文  参考訳（メタデータ） (2025-03-27T03:03:09Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)
• Gradient Coding with Dynamic Clustering for Straggler-Tolerant Distributed Learning [55.052517095437]
  勾配降下(GD)は、複数の労働者にデータセットを分散することで学習タスクの並列化に広く用いられている。 分散同期gdにおけるイテレーション完了時間ごとの重要なパフォーマンスボトルネックは$straggling$ workersである。 コード化された分散技術は、最近ストラグラーを緩和し、労働者に冗長な計算を割り当てることでgdイテレーションを高速化するために導入された。 本稿では,従来のトラグリング動作に依存する可能性のあるコードの中から,冗長なデータを労働者に割り当てて選択する動的GC方式を提案する。
  論文  参考訳（メタデータ） (2021-03-01T18:51:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。