論文の概要: Fast-Fourier-Forecasting Resource Utilisation in Distributed Systems
- arxiv url: http://arxiv.org/abs/2001.04281v3
- Date: Fri, 7 Aug 2020 14:51:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-11 23:50:07.279128
- Title: Fast-Fourier-Forecasting Resource Utilisation in Distributed Systems
- Title（参考訳）: 分散システムにおける高速フーリエフォアキャスティングリソース活用
- Authors: Paul J. Pritz and Daniel Perez and Kin K. Leung
- Abstract要約: 本稿では,分散コンピューティングシステムのための通信効率の高いデータ収集機構を提案する。
また,複雑なGated Recurrent Unitを用いて資源利用予測を行うディープラーニングアーキテクチャを提案する。
提案手法は,資源供給フレームワークで発生する課題を解決し,他の予測問題にも適用できる。
- 参考スコア（独自算出の注目度）: 10.219353459640137
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Distributed computing systems often consist of hundreds of nodes, executing
tasks with different resource requirements. Efficient resource provisioning and
task scheduling in such systems are non-trivial and require close monitoring
and accurate forecasting of the state of the system, specifically resource
utilisation at its constituent machines. Two challenges present themselves
towards these objectives. First, collecting monitoring data entails substantial
communication overhead. This overhead can be prohibitively high, especially in
networks where bandwidth is limited. Second, forecasting models to predict
resource utilisation should be accurate and need to exhibit high inference
speed. Mission critical scheduling and resource allocation algorithms use these
predictions and rely on their immediate availability. To address the first
challenge, we present a communication-efficient data collection mechanism.
Resource utilisation data is collected at the individual machines in the system
and transmitted to a central controller in batches. Each batch is processed by
an adaptive data-reduction algorithm based on Fourier transforms and truncation
in the frequency domain. We show that the proposed mechanism leads to a
significant reduction in communication overhead while incurring only minimal
error and adhering to accuracy guarantees. To address the second challenge, we
propose a deep learning architecture using complex Gated Recurrent Units to
forecast resource utilisation. This architecture is directly integrated with
the above data collection mechanism to improve inference speed of our
forecasting model. Using two real-world datasets, we demonstrate the
effectiveness of our approach, both in terms of forecasting accuracy and
inference speed. Our approach resolves challenges encountered in resource
provisioning frameworks and can be applied to other forecasting problems.
- Abstract（参考訳）: 分散コンピューティングシステムはしばしば数百のノードで構成され、異なるリソース要求でタスクを実行する。
このようなシステムにおける効率的なリソース供給とタスクスケジューリングは簡単ではなく、システムの状態の厳密な監視と正確な予測を必要とする。
2つの課題がこれらの目標に向かって現れます。
まず、監視データの収集にはかなりの通信オーバーヘッドが伴う。
このオーバーヘッドは、特に帯域幅が限られているネットワークでは、禁止的に高い。
第二に、資源利用予測のための予測モデルは正確で、高い推論速度を示す必要がある。
ミッションクリティカルなスケジューリングとリソース割り当てアルゴリズムはこれらの予測を使い、その即時可用性に依存している。
最初の課題に対処するため,通信効率のよいデータ収集機構を提案する。
リソース利用データはシステム内の個々のマシンで収集され、バッチで中央コントローラに送信される。
各バッチは、周波数領域におけるフーリエ変換と切断に基づく適応データ還元アルゴリズムによって処理される。
提案手法は,誤りの最小化と精度保証の遵守のみを伴いながら,通信オーバーヘッドの大幅な低減につながることを示す。
第2の課題に対処するために,複雑なGated Recurrent Unitを用いたディープラーニングアーキテクチャを提案する。
このアーキテクチャは上記のデータ収集機構と直接統合され、予測モデルの推論速度が向上します。
実世界の2つのデータセットを用いて、精度予測と推論速度の両面で、我々のアプローチの有効性を実証する。
提案手法は,資源供給フレームワークで発生する課題を解決し,他の予測問題に適用できる。
関連論文リスト
- Tackling Data Heterogeneity in Federated Time Series Forecasting [61.021413959988216]
時系列予測は、エネルギー消費予測、病気の伝染モニタリング、天気予報など、様々な実世界の応用において重要な役割を果たす。
既存のほとんどのメソッドは、分散デバイスから中央クラウドサーバに大量のデータを収集する、集中的なトレーニングパラダイムに依存しています。
本稿では,情報合成データを補助的知識キャリアとして生成することにより,データの均一性に対処する新しいフレームワークであるFed-TRENDを提案する。
論文 参考訳（メタデータ） (2024-11-24T04:56:45Z) - PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
私たちはaを提案します。
フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。
我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
論文 参考訳（メタデータ） (2024-06-04T13:51:08Z) - Rethinking Resource Management in Edge Learning: A Joint Pre-training and Fine-tuning Design Paradigm [87.47506806135746]
一部のアプリケーションでは、エッジラーニングは、スクラッチから新しい2段階ラーニングへと焦点を移している。
本稿では,2段階のエッジ学習システムにおける共同コミュニケーションと計算資源管理の問題について考察する。
事前学習および微調整段階に対する共同資源管理の提案は,システム性能のトレードオフをうまくバランスさせることが示されている。
論文 参考訳（メタデータ） (2024-04-01T00:21:11Z) - Perceiver-based CDF Modeling for Time Series Forecasting [25.26713741799865]
本稿では,時系列データの累積分布関数(CDF)をモデル化するための新しいアーキテクチャであるPerceiver-CDFを提案する。
提案手法は,マルチモーダル時系列予測に適したコプラに基づくアテンション機構と,知覚アーキテクチャを組み合わせたものである。
単調かつマルチモーダルなベンチマークの実験は、最先端の手法よりも20%改善されていることを一貫して示している。
論文 参考訳（メタデータ） (2023-10-03T01:13:17Z) - Temporal Patience: Efficient Adaptive Deep Learning for Embedded Radar
Data Processing [4.359030177348051]
本稿では,ストリーミングレーダデータに存在する時間相関を利用して,組込みデバイス上でのディープラーニング推論のための早期排他ニューラルネットワークの効率を向上させる手法を提案する。
以上の結果から,提案手法は単一排他ネットワーク上での推論当たりの演算量の最大26%を削減し,信頼度に基づく早期排他バージョンで12%を削減できることがわかった。
このような効率向上により、リソース制約のあるプラットフォーム上でリアルタイムなレーダデータ処理が可能になり、スマートホーム、インターネット・オブ・シング、人間とコンピュータのインタラクションといったコンテキストにおける新しいアプリケーションが可能になる。
論文 参考訳（メタデータ） (2023-09-11T12:38:01Z) - Probabilistic Time Series Forecasting for Adaptive Monitoring in Edge
Computing Environments [0.06999740786886537]
本稿では,重要なインフラをモニタリングするためのサンプリングベースおよびクラウドロケーションアプローチを提案する。
公開されているストリーミングデータセット上で,モニタリングパイプラインのプロトタイプ実装を評価した。
論文 参考訳（メタデータ） (2022-11-24T17:35:14Z) - Federated Learning for Energy-limited Wireless Networks: A Partial Model
Aggregation Approach [79.59560136273917]
デバイス間の限られた通信資源、帯域幅とエネルギー、およびデータ不均一性は、連邦学習(FL)の主要なボトルネックである
まず、部分モデルアグリゲーション(PMA)を用いた新しいFLフレームワークを考案する。
提案されたPMA-FLは、2つの典型的な異種データセットにおいて2.72%と11.6%の精度を改善する。
論文 参考訳（メタデータ） (2022-04-20T19:09:52Z) - Dynamic Network-Assisted D2D-Aided Coded Distributed Learning [59.29409589861241]
本稿では,デバイス間のロードバランシングのための新しいデバイス・ツー・デバイス(D2D)支援型符号化学習手法(D2D-CFL)を提案する。
最小処理時間を達成するための最適圧縮率を導出し、収束時間との接続を確立する。
提案手法は,ユーザが継続的にトレーニングデータを生成するリアルタイム協調アプリケーションに有用である。
論文 参考訳（メタデータ） (2021-11-26T18:44:59Z) - LoRD-Net: Unfolded Deep Detection Network with Low-Resolution Receivers [104.01415343139901]
本稿では,1ビット計測から情報シンボルを復元する「LoRD-Net」というディープ検出器を提案する。
LoRD-Netは、関心のシグナルを回復するためのタスクベースのアーキテクチャである。
無線通信における1ビット信号回復のためのレシーバアーキテクチャの評価を行った。
論文 参考訳（メタデータ） (2021-02-05T04:26:05Z) - Scaling-up Distributed Processing of Data Streams for Machine Learning [10.581140430698103]
本稿では,計算・帯域幅制限方式における大規模分散最適化に着目した手法を最近開発した。
i)分散凸問題、(ii)分散主成分分析、(ii)グローバル収束を許容する幾何学的構造に関する非問題である。
論文 参考訳（メタデータ） (2020-05-18T16:28:54Z) - Coordinates-based Resource Allocation Through Supervised Machine
Learning [14.014514995022182]
教師付き機械学習技術を用いた座標に基づく資源配分手法を提案する。
提案手法は,4秒のトレーニング時間しか必要とせず,現実的なシステムシミュレーションと一貫して機能する。
論文 参考訳（メタデータ） (2020-05-13T18:33:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。