論文の概要: Fast-Fourier-Forecasting Resource Utilisation in Distributed Systems
- arxiv url: http://arxiv.org/abs/2001.04281v3
- Date: Fri, 7 Aug 2020 14:51:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-11 23:50:07.279128
- Title: Fast-Fourier-Forecasting Resource Utilisation in Distributed Systems
- Title(参考訳): 分散システムにおける高速フーリエフォアキャスティングリソース活用
- Authors: Paul J. Pritz and Daniel Perez and Kin K. Leung
- Abstract要約: 本稿では,分散コンピューティングシステムのための通信効率の高いデータ収集機構を提案する。
また,複雑なGated Recurrent Unitを用いて資源利用予測を行うディープラーニングアーキテクチャを提案する。
提案手法は,資源供給フレームワークで発生する課題を解決し,他の予測問題にも適用できる。
- 参考スコア(独自算出の注目度): 10.219353459640137
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Distributed computing systems often consist of hundreds of nodes, executing
tasks with different resource requirements. Efficient resource provisioning and
task scheduling in such systems are non-trivial and require close monitoring
and accurate forecasting of the state of the system, specifically resource
utilisation at its constituent machines. Two challenges present themselves
towards these objectives. First, collecting monitoring data entails substantial
communication overhead. This overhead can be prohibitively high, especially in
networks where bandwidth is limited. Second, forecasting models to predict
resource utilisation should be accurate and need to exhibit high inference
speed. Mission critical scheduling and resource allocation algorithms use these
predictions and rely on their immediate availability. To address the first
challenge, we present a communication-efficient data collection mechanism.
Resource utilisation data is collected at the individual machines in the system
and transmitted to a central controller in batches. Each batch is processed by
an adaptive data-reduction algorithm based on Fourier transforms and truncation
in the frequency domain. We show that the proposed mechanism leads to a
significant reduction in communication overhead while incurring only minimal
error and adhering to accuracy guarantees. To address the second challenge, we
propose a deep learning architecture using complex Gated Recurrent Units to
forecast resource utilisation. This architecture is directly integrated with
the above data collection mechanism to improve inference speed of our
forecasting model. Using two real-world datasets, we demonstrate the
effectiveness of our approach, both in terms of forecasting accuracy and
inference speed. Our approach resolves challenges encountered in resource
provisioning frameworks and can be applied to other forecasting problems.
- Abstract(参考訳): 分散コンピューティングシステムはしばしば数百のノードで構成され、異なるリソース要求でタスクを実行する。
このようなシステムにおける効率的なリソース供給とタスクスケジューリングは簡単ではなく、システムの状態の厳密な監視と正確な予測を必要とする。
2つの課題がこれらの目標に向かって現れます。
まず、監視データの収集にはかなりの通信オーバーヘッドが伴う。
このオーバーヘッドは、特に帯域幅が限られているネットワークでは、禁止的に高い。
第二に、資源利用予測のための予測モデルは正確で、高い推論速度を示す必要がある。
ミッションクリティカルなスケジューリングとリソース割り当てアルゴリズムはこれらの予測を使い、その即時可用性に依存している。
最初の課題に対処するため,通信効率のよいデータ収集機構を提案する。
リソース利用データはシステム内の個々のマシンで収集され、バッチで中央コントローラに送信される。
各バッチは、周波数領域におけるフーリエ変換と切断に基づく適応データ還元アルゴリズムによって処理される。
提案手法は,誤りの最小化と精度保証の遵守のみを伴いながら,通信オーバーヘッドの大幅な低減につながることを示す。
第2の課題に対処するために,複雑なGated Recurrent Unitを用いたディープラーニングアーキテクチャを提案する。
このアーキテクチャは上記のデータ収集機構と直接統合され、予測モデルの推論速度が向上します。
実世界の2つのデータセットを用いて、精度予測と推論速度の両面で、我々のアプローチの有効性を実証する。
提案手法は,資源供給フレームワークで発生する課題を解決し,他の予測問題に適用できる。
関連論文リスト
- Temporal Patience: Efficient Adaptive Deep Learning for Embedded Radar
Data Processing [4.359030177348051]
本稿では,ストリーミングレーダデータに存在する時間相関を利用して,組込みデバイス上でのディープラーニング推論のための早期排他ニューラルネットワークの効率を向上させる手法を提案する。
以上の結果から,提案手法は単一排他ネットワーク上での推論当たりの演算量の最大26%を削減し,信頼度に基づく早期排他バージョンで12%を削減できることがわかった。
このような効率向上により、リソース制約のあるプラットフォーム上でリアルタイムなレーダデータ処理が可能になり、スマートホーム、インターネット・オブ・シング、人間とコンピュータのインタラクションといったコンテキストにおける新しいアプリケーションが可能になる。
論文 参考訳(メタデータ) (2023-09-11T12:38:01Z) - A Generic Approach to Integrating Time into Spatial-Temporal Forecasting
via Conditional Neural Fields [1.7661845949769062]
本稿では,時間成分を予測モデルに統合する一般的な手法を提案する。
主要なアイデアは、時間成分から抽出された補助的特徴を表現するために条件付きニューラルネットワークを使用することである。
道路交通とセルラーネットワーク交通データセットの実験は,提案手法の有効性を実証する。
論文 参考訳(メタデータ) (2023-05-11T14:20:23Z) - Probabilistic Time Series Forecasting for Adaptive Monitoring in Edge
Computing Environments [0.06999740786886537]
本稿では,重要なインフラをモニタリングするためのサンプリングベースおよびクラウドロケーションアプローチを提案する。
公開されているストリーミングデータセット上で,モニタリングパイプラインのプロトタイプ実装を評価した。
論文 参考訳(メタデータ) (2022-11-24T17:35:14Z) - Efficient Graph Neural Network Inference at Large Scale [54.89457550773165]
グラフニューラルネットワーク(GNN)は、幅広いアプリケーションで優れた性能を示している。
既存のスケーラブルなGNNは、線形伝搬を利用して特徴を前処理し、トレーニングと推論の手順を高速化する。
本稿では,そのトポロジ情報に基づいて各ノードに対してパーソナライズされた伝搬順序を生成する適応的伝搬順序法を提案する。
論文 参考訳(メタデータ) (2022-11-01T14:38:18Z) - Federated Learning for Energy-limited Wireless Networks: A Partial Model
Aggregation Approach [79.59560136273917]
デバイス間の限られた通信資源、帯域幅とエネルギー、およびデータ不均一性は、連邦学習(FL)の主要なボトルネックである
まず、部分モデルアグリゲーション(PMA)を用いた新しいFLフレームワークを考案する。
提案されたPMA-FLは、2つの典型的な異種データセットにおいて2.72%と11.6%の精度を改善する。
論文 参考訳(メタデータ) (2022-04-20T19:09:52Z) - Asynchronous Parallel Incremental Block-Coordinate Descent for
Decentralized Machine Learning [55.198301429316125]
機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。
急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。
本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
論文 参考訳(メタデータ) (2022-02-07T15:04:15Z) - Dynamic Network-Assisted D2D-Aided Coded Distributed Learning [59.29409589861241]
本稿では,デバイス間のロードバランシングのための新しいデバイス・ツー・デバイス(D2D)支援型符号化学習手法(D2D-CFL)を提案する。
最小処理時間を達成するための最適圧縮率を導出し、収束時間との接続を確立する。
提案手法は,ユーザが継続的にトレーニングデータを生成するリアルタイム協調アプリケーションに有用である。
論文 参考訳(メタデータ) (2021-11-26T18:44:59Z) - LoRD-Net: Unfolded Deep Detection Network with Low-Resolution Receivers [104.01415343139901]
本稿では,1ビット計測から情報シンボルを復元する「LoRD-Net」というディープ検出器を提案する。
LoRD-Netは、関心のシグナルを回復するためのタスクベースのアーキテクチャである。
無線通信における1ビット信号回復のためのレシーバアーキテクチャの評価を行った。
論文 参考訳(メタデータ) (2021-02-05T04:26:05Z) - Resource Allocation via Model-Free Deep Learning in Free Space Optical
Communications [119.81868223344173]
本稿では,自由空間光学(FSO)通信におけるチャネルフェージング効果の緩和のための資源配分の一般的な問題について検討する。
本フレームワークでは,FSO資源割り当て問題を解決する2つのアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-07-27T17:38:51Z) - Scaling-up Distributed Processing of Data Streams for Machine Learning [10.581140430698103]
本稿では,計算・帯域幅制限方式における大規模分散最適化に着目した手法を最近開発した。
i)分散凸問題、(ii)分散主成分分析、(ii)グローバル収束を許容する幾何学的構造に関する非問題である。
論文 参考訳(メタデータ) (2020-05-18T16:28:54Z) - Coordinates-based Resource Allocation Through Supervised Machine
Learning [14.014514995022182]
教師付き機械学習技術を用いた座標に基づく資源配分手法を提案する。
提案手法は,4秒のトレーニング時間しか必要とせず,現実的なシステムシミュレーションと一貫して機能する。
論文 参考訳(メタデータ) (2020-05-13T18:33:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。