論文の概要: Artificial Intelligence for Cost-Aware Resource Prediction in Big Data Pipelines

• arxiv url: http://arxiv.org/abs/2510.05127v1
• Date: Tue, 30 Sep 2025 20:01:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:07.829964
• Title: Artificial Intelligence for Cost-Aware Resource Prediction in Big Data Pipelines
• Title（参考訳）: ビッグデータパイプラインにおけるコストを考慮した資源予測のための人工知能
• Authors: Harshit Goyal,
• Abstract要約: 過剰なプロビジョンは不要なコストをもたらし、過剰なプロビジョンはパフォーマンス劣化とSLA違反のリスクを負う。 本研究では,ランダムフォレスト回帰を用いたビッグデータパイプラインの資源利用予測手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficient resource allocation is a key challenge in modern cloud computing. Over-provisioning leads to unnecessary costs, while under-provisioning risks performance degradation and SLA violations. This work presents an artificial intelligence approach to predict resource utilization in big data pipelines using Random Forest regression. We preprocess the Google Borg cluster traces to clean, transform, and extract relevant features (CPU, memory, usage distributions). The model achieves high predictive accuracy (R Square = 0.99, MAE = 0.0048, RMSE = 0.137), capturing non-linear relationships between workload characteristics and resource utilization. Error analysis reveals impressive performance on small-to-medium jobs, with higher variance in rare large-scale jobs. These results demonstrate the potential of AI-driven prediction for cost-aware autoscaling in cloud environments, reducing unnecessary provisioning while safeguarding service quality.
• Abstract（参考訳）: 効率的なリソース割り当ては、現代のクラウドコンピューティングにおいて重要な課題である。 過剰なプロビジョンは不要なコストをもたらし、過剰なプロビジョンはパフォーマンス劣化とSLA違反のリスクを負う。 本研究では,ランダムフォレスト回帰を用いたビッグデータパイプラインの資源利用予測手法を提案する。 Google Borgクラスタトレースを前処理して,関連する機能(CPU,メモリ,使用状況分布)をクリーン,トランスフォーメーション,抽出します。 このモデルは高い予測精度を達成する(R Square = 0.99, MAE = 0.0048, RMSE = 0.137)。 エラー解析は、希少な大規模ジョブにおいて、よりばらつきの高い、小規模から中級ジョブにおける印象的なパフォーマンスを示す。 これらの結果は、クラウド環境におけるコスト認識自動スケーリングのAI駆動予測の可能性を示し、サービス品質の保護と不要なプロビジョニングを削減した。

関連論文リスト

• Towards a Proactive Autoscaling Framework for Data Stream Processing at the Edge using GRU and Transfer Learning [0.0]
  実世界のDSPデータセットと合成DSPデータセットを用いて,GRUニューラルネットワークが上流の負荷を予測する方法を示す。 転送学習フレームワークは、予測モデルをオンラインストリーム処理システムに統合する。 負荷予測のための軽量GRUモデルは、実世界のデータセット上で最大1.3%のSMAPE値を記録した。
  論文  参考訳（メタデータ） (2025-07-19T12:47:50Z)
• Collaborative Prediction: To Join or To Disjoin Datasets [5.9697789282446605]
  人口減少を最小限に抑えるために適切なデータセットを選択する実用的なアルゴリズムを開発することの課題について検討する。 オラクルの不等式とデータ駆動推定器を活用することにより、アルゴリズムは高い確率で人口減少を低減する。
  論文  参考訳（メタデータ） (2025-06-12T20:25:07Z)
• Network Resource Optimization for ML-Based UAV Condition Monitoring with Vibration Analysis [54.550658461477106]
  条件監視(CM)は機械学習(ML)モデルを使用して異常および異常な条件を識別する。 本研究では,MLベースのUAV CMフレームワークにおけるネットワークリソースの最適化について検討する。 次元削減技術を活用することで、ネットワークリソース消費の99.9%が削減される。
  論文  参考訳（メタデータ） (2025-02-21T14:36:12Z)
• Value-Based Deep RL Scales Predictably [100.21834069400023]
  本研究は, 地域社会が病的行動に不安を抱いているにもかかわらず, 価値に基づく非政治的RL法が予測可能であることを示す。 SAC、BRO、PQLの3つのアルゴリズムを使って、DeepMind Control、OpenAI gym、IsaacGymの3つのアプローチを検証する。
  論文  参考訳（メタデータ） (2025-02-06T18:59:47Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• TransPath: Learning Heuristics For Grid-Based Pathfinding via Transformers [64.88759709443819]
  探索の効率を顕著に向上させると考えられる,インスタンス依存のプロキシを学習することを提案する。 私たちが最初に学ぶことを提案するプロキシは、補正係数、すなわち、インスタンスに依存しないコスト・ツー・ゴの見積もりと完璧な見積もりの比率である。 第2のプロキシはパス確率であり、グリッドセルが最も短いパスに横たわっている可能性を示している。
  論文  参考訳（メタデータ） (2022-12-22T14:26:11Z)
• Privacy Adhering Machine Un-learning in NLP [66.17039929803933]
  現実の業界では、機械学習を使ってユーザデータに基づくモデルを構築します。 このような委任事項には、データだけでなく、モデルの再トレーニングにも労力が要る。 データの継続的な削除と モデル再訓練のステップはスケールしません この課題に対処するために、textitMachine Unlearningを提案する。
  論文  参考訳（メタデータ） (2022-12-19T16:06:45Z)
• Optimal Resource Allocation for Serverless Queries [8.59568779761598]
  以前の作業では、リソース割り当てと実行時の積極的なトレードオフを無視しながら、ピークアロケーションの予測に重点を置いていた。 本稿では,新しいクエリと過去のクエリの両方に対して,アグレッシブなトレードオフでパフォーマンスを予測できる最適なリソース割り当てシステムを提案する。
  論文  参考訳（メタデータ） (2021-07-19T02:55:48Z)
• Cost-effective Machine Learning Inference Offload for Edge Computing [0.3149883354098941]
  本稿では,インストール・ベース・オンプレミス(edge)計算資源を活用した新しいオフロード機構を提案する。 提案するメカニズムにより、エッジデバイスは、リモートクラウドを使用する代わりに、重い計算集約的なワークロードをエッジノードにオフロードすることができる。
  論文  参考訳（メタデータ） (2020-12-07T21:11:02Z)
• A Predictive Autoscaler for Elastic Batch Jobs [8.354712625979776]
  Deep Learning、HPC、Sparkといった大規模なバッチジョブは、従来のオンラインサービスよりもはるかに多くの計算リソースとコストを必要とします。 顧客とオーバプロビジョンインスタンスに対して,柔軟なインターフェースを提供するための予測オートスケーラを提案する。
  論文  参考訳（メタデータ） (2020-10-10T17:35:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。