論文の概要: Towards a Proactive Autoscaling Framework for Data Stream Processing at the Edge using GRU and Transfer Learning

• arxiv url: http://arxiv.org/abs/2507.14597v1
• Date: Sat, 19 Jul 2025 12:47:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:31.964428
• Title: Towards a Proactive Autoscaling Framework for Data Stream Processing at the Edge using GRU and Transfer Learning
• Title（参考訳）: GRUと転送学習を用いたエッジデータストリーム処理のための能動的自動スケーリングフレームワークの実現に向けて
• Authors: Eugene Armah, Linda Amoako Bannning,
• Abstract要約: 実世界のDSPデータセットと合成DSPデータセットを用いて,GRUニューラルネットワークが上流の負荷を予測する方法を示す。 転送学習フレームワークは、予測モデルをオンラインストリーム処理システムに統合する。 負荷予測のための軽量GRUモデルは、実世界のデータセット上で最大1.3%のSMAPE値を記録した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Processing data at high speeds is becoming increasingly critical as digital economies generate enormous data. The current paradigms for timely data processing are edge computing and data stream processing (DSP). Edge computing places resources closer to where data is generated, while stream processing analyzes the unbounded high-speed data in motion. However, edge stream processing faces rapid workload fluctuations, complicating resource provisioning. Inadequate resource allocation leads to bottlenecks, whereas excess allocation results in wastage. Existing reactive methods, such as threshold-based policies and queuing theory scale only after performance degrades, potentially violating SLAs. Although reinforcement learning (RL) offers a proactive approach through agents that learn optimal runtime adaptation policies, it requires extensive simulation. Furthermore, predictive machine learning models face online distribution and concept drift that minimize their accuracy. We propose a three-step solution to the proactive edge stream processing autoscaling problem. Firstly, a GRU neural network forecasts the upstream load using real-world and synthetic DSP datasets. Secondly, a transfer learning framework integrates the predictive model into an online stream processing system using the DTW algorithm and joint distribution adaptation to handle the disparities between offline and online domains. Finally, a horizontal autoscaling module dynamically adjusts the degree of operator parallelism, based on predicted load while considering edge resource constraints. The lightweight GRU model for load predictions recorded up to 1.3\% SMAPE value on a real-world data set. It outperformed CNN, ARIMA, and Prophet on the SMAPE and RMSE evaluation metrics, with lower training time than the computationally intensive RL models.
• Abstract（参考訳）: デジタル経済が膨大なデータを生成するにつれて、高速でデータを処理することがますます重要になっている。 現在のタイムリーなデータ処理のパラダイムはエッジコンピューティングとデータストリーム処理(DSP)である。 エッジコンピューティングは、データをどこで生成するかにリソースを近づけ、ストリーム処理は、非バウンドな高速データを解析する。 しかし、エッジストリーム処理は、リソースのプロビジョニングを複雑にし、高速なワークロード変動に直面します。 不適切なリソース割り当てはボトルネックにつながるが、過剰なアロケーションは無駄になる。 しきい値ベースのポリシやキューイング理論のような既存のリアクティブメソッドは、パフォーマンスが低下した後のみスケールし、SLAに違反する可能性がある。 強化学習(RL)は、最適な実行時適応ポリシーを学習するエージェントを通じて積極的なアプローチを提供するが、広範囲なシミュレーションを必要とする。 さらに、予測機械学習モデルは、その精度を最小化するオンライン配布とコンセプトドリフトに直面している。 本稿では,プロアクティブエッジストリーム処理自動スケーリング問題に対する3段階の解法を提案する。 まず、GRUニューラルネットワークは、実世界と合成DSPデータセットを使用して上流の負荷を予測する。 第2に、転送学習フレームワークはDTWアルゴリズムと共同分散適応を用いて予測モデルをオンラインストリーム処理システムに統合し、オフラインとオンラインのドメイン間の差異を処理する。 最後に、水平オートスケーリングモジュールは、エッジリソース制約を考慮して予測負荷に基づいて演算子並列性の度合いを動的に調整する。 負荷予測のための軽量GRUモデルは、実世界のデータセット上で最大1.3\%のSMAPE値を記録した。 CNN、ARIMA、ProphetのSMAPEおよびRMSE評価指標よりも優れており、計算集約的なRLモデルよりもトレーニング時間が短い。

関連論文リスト

• DP-LET: An Efficient Spatio-Temporal Network Traffic Prediction Framework [13.65226228907662]
  DP-LETは、効率的な時間的ネットワークトラフィック予測フレームワークである。 DP-LETはデータ処理モジュール、ローカル機能拡張モジュール、トランスフォーマーベースの予測モジュールで構成される。 実世界のセルラートラフィック予測はDP-LETの実用性を示す。
  論文  参考訳（メタデータ） (2025-04-04T02:52:43Z)
• FlowDistill: Scalable Traffic Flow Prediction via Distillation from LLMs [5.6685153523382015]
  FlowDistillは、大規模言語モデル(LLM)からの知識蒸留に基づく軽量交通予測フレームワークである その単純さにもかかわらず、FlowDistillは、トレーニングデータを大幅に少なくしながら、予測精度で最先端のモデルを一貫して上回る。
  論文  参考訳（メタデータ） (2025-04-02T19:54:54Z)
• D5RL: Diverse Datasets for Data-Driven Deep Reinforcement Learning [99.33607114541861]
  ロボット操作と移動環境の現実的なシミュレーションに焦点を当てたオフラインRLのための新しいベンチマークを提案する。 提案するベンチマークでは、状態ベースドメインと画像ベースドメインを対象とし、オフラインRLとオンライン微調整評価の両方をサポートしている。
  論文  参考訳（メタデータ） (2024-08-15T22:27:00Z)
• TPLLM: A Traffic Prediction Framework Based on Pretrained Large Language Models [27.306180426294784]
  大規模言語モデル(LLM)を利用した新しい交通予測フレームワークであるTPLLMを紹介する。 本フレームワークでは,Lonal Neural Networks (LoCNNs) に基づくシーケンス埋め込み層と,Graph Contemporalal Networks (GCNs) に基づくグラフ埋め込み層を構築し,シーケンスの特徴と空間的特徴を抽出する。 実世界の2つのデータセットの実験では、フルサンプルと数ショットの予測シナリオの両方で、満足できるパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-03-04T17:08:57Z)
• Self-learning locally-optimal hypertuning using maximum entropy, and comparison of machine learning approaches for estimating fatigue life in composite materials [0.0]
  疲労損傷を予測するための最大エントロピーの原理に基づくML近傍近似アルゴリズムを開発した。 予測は、他のMLアルゴリズムと同様、高いレベルの精度を達成する。
  論文  参考訳（メタデータ） (2022-10-19T12:20:07Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• Dynamic Network-Assisted D2D-Aided Coded Distributed Learning [59.29409589861241]
  本稿では,デバイス間のロードバランシングのための新しいデバイス・ツー・デバイス(D2D)支援型符号化学習手法(D2D-CFL)を提案する。 最小処理時間を達成するための最適圧縮率を導出し、収束時間との接続を確立する。 提案手法は,ユーザが継続的にトレーニングデータを生成するリアルタイム協調アプリケーションに有用である。
  論文  参考訳（メタデータ） (2021-11-26T18:44:59Z)
• Evaluation of Load Prediction Techniques for Distributed Stream Processing [0.0]
  分散ストリーム処理(DSP)システムは、連続データの大きなストリームを処理し、ほぼリアルタイムで結果を生成する。 DSPシステムにイベントが到着する速度は、時間とともに大きく変化する可能性がある。 入ってくるワークロードの事前知識は、リソース管理と最適化に対する積極的なアプローチを可能にする。
  論文  参考訳（メタデータ） (2021-08-10T15:25:32Z)
• Automated Machine Learning Techniques for Data Streams [91.3755431537592]
  本稿では、最先端のオープンソースAutoMLツールを調査し、ストリームから収集したデータに適用し、時間とともにパフォーマンスがどのように変化するかを測定する。 この結果から,既製のAutoMLツールで十分な結果が得られることが示されたが,概念ドリフトや検出,適応といった手法が適用されれば,予測精度を時間とともに維持することが可能になる。
  論文  参考訳（メタデータ） (2021-06-14T11:42:46Z)
• JUMBO: Scalable Multi-task Bayesian Optimization using Offline Data [86.8949732640035]
  追加データをクエリすることで制限をサイドステップするMBOアルゴリズムであるJUMBOを提案する。 GP-UCBに類似した条件下では, 応答が得られないことを示す。 実世界の2つの最適化問題に対する既存手法に対する性能改善を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-02T05:03:38Z)
• Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
  局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。 入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。 実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
  論文  参考訳（メタデータ） (2020-06-16T18:43:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。