論文の概要: H2H: Heterogeneous Model to Heterogeneous System Mapping with Computation and Communication Awareness

• arxiv url: http://arxiv.org/abs/2204.13852v1
• Date: Fri, 29 Apr 2022 02:26:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-02 13:44:40.849489
• Title: H2H: Heterogeneous Model to Heterogeneous System Mapping with Computation and Communication Awareness
• Title（参考訳）: H2H:計算とコミュニケーションの認識による異種システムマッピングの不均一モデル
• Authors: Xinyi Zhang, Cong Hao, Peipei Zhou, Alex Jones, Jingtong Hu
• Abstract要約: 本稿では,計算と通信の双方を意識した新しいマッピングアルゴリズムを提案する。 通信の計算をわずかに交換することで、システム全体のレイテンシとエネルギー消費を大幅に削減することができる。 本研究の優れた性能は,MAESTROモデリングに基づいて評価される。
• 参考スコア（独自算出の注目度）: 16.244832640402496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The complex nature of real-world problems calls for heterogeneity in both machine learning (ML) models and hardware systems. The heterogeneity in ML models comes from multi-sensor perceiving and multi-task learning, i.e., multi-modality multi-task (MMMT), resulting in diverse deep neural network (DNN) layers and computation patterns. The heterogeneity in systems comes from diverse processing components, as it becomes the prevailing method to integrate multiple dedicated accelerators into one system. Therefore, a new problem emerges: heterogeneous model to heterogeneous system mapping (H2H). While previous mapping algorithms mostly focus on efficient computations, in this work, we argue that it is indispensable to consider computation and communication simultaneously for better system efficiency. We propose a novel H2H mapping algorithm with both computation and communication awareness; by slightly trading computation for communication, the system overall latency and energy consumption can be largely reduced. The superior performance of our work is evaluated based on MAESTRO modeling, demonstrating 15%-74% latency reduction and 23%-64% energy reduction compared with existing computation-prioritized mapping algorithms.
• Abstract（参考訳）: 現実世界の問題の複雑な性質は、機械学習(ml)モデルとハードウェアシステムの両方に異質性を要求する。 MLモデルの異質性は、マルチセンサーの知覚とマルチタスク学習、すなわちマルチモードマルチタスク(MMMT)から来ており、多様なディープニューラルネットワーク(DNN)層と計算パターンをもたらす。 システムの不均一性は、複数の専用アクセラレータをひとつのシステムに統合する一般的な方法となり、多様な処理コンポーネントから生じる。 したがって、ヘテロジニアスモデルからヘテロジニアスシステムマッピング(H2H)への新たな問題が発生する。 従来のマッピングアルゴリズムは効率のよい計算に重点を置いているが,本研究では,システム効率を向上させるためには計算と通信を同時に考慮することが不可欠である。 本稿では,H2Hマッピングアルゴリズムを提案する。通信の計算をわずかに交換することで,システム全体のレイテンシと消費電力を大幅に削減できる。 従来の計算優先マッピングアルゴリズムと比較して, 15%-74%の遅延低減と23%-64%の省エネ化を実証し, MAESTROモデルによる性能評価を行った。

関連論文リスト

• Asynchronous Local Computations in Distributed Bayesian Learning [8.516532665507835]
  本稿では,高速な計算と通信オーバヘッドを同時に低減するために,ゴシップに基づく通信を提案する。 我々は、特に低データ範囲において、より高速な初期収束と性能精度の向上を観察する。 UCI MLレポジトリのガンマ望遠鏡とmHealthデータセットで,それぞれ平均78%,90%以上の分類精度を達成した。
  論文  参考訳（メタデータ） (2023-11-06T20:11:41Z)
• Slow Invariant Manifolds of Singularly Perturbed Systems via Physics-Informed Machine Learning [0.0]
  特異摂動系の遅い不変多様体(SIM)を近似するための物理インフォームド・機械学習(PIML)手法を提案する。 提案手法では,従来のGSPT法よりも精度の高い近似法が提案されている。 また、学習過程において必要となる微分の記号的、自動的、数値的近似の計算コストの比較を行う。
  論文  参考訳（メタデータ） (2023-09-14T14:10:22Z)
• Multi-Resource Allocation for On-Device Distributed Federated Learning Systems [79.02994855744848]
  本研究は,デバイス上の分散フェデレーション学習(FL)システムにおいて,レイテンシとエネルギー消費の重み付け和を最小化する分散マルチリソース割り当て方式を提案する。 システム内の各モバイルデバイスは、指定された領域内でモデルトレーニングプロセスを実行し、それぞれパラメータの導出とアップロードを行うための計算と通信資源を割り当てる。
  論文  参考訳（メタデータ） (2022-11-01T14:16:05Z)
• Collaborative Intelligent Reflecting Surface Networks with Multi-Agent Reinforcement Learning [63.83425382922157]
  インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。 本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
  論文  参考訳（メタデータ） (2022-03-26T20:37:14Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)
• Distributed Optimization, Averaging via ADMM, and Network Topology [0.0]
  センサローカライゼーションの現実問題において,ネットワークトポロジと異なるアルゴリズムの収束率の関係について検討する。 また、ADMMと持ち上げマルコフ連鎖の間の興味深い関係を示すとともに、その収束を明示的に特徴づける。
  論文  参考訳（メタデータ） (2020-09-05T21:44:39Z)
• Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding Design for Multiuser MIMO Systems [59.804810122136345]
  本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。 古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。 提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
  論文  参考訳（メタデータ） (2020-06-15T02:57:57Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。