論文の概要: Enhancing Kubernetes Automated Scheduling with Deep Learning and Reinforcement Techniques for Large-Scale Cloud Computing Optimization
- arxiv url: http://arxiv.org/abs/2403.07905v1
- Date: Mon, 26 Feb 2024 13:12:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 06:00:28.646776
- Title: Enhancing Kubernetes Automated Scheduling with Deep Learning and Reinforcement Techniques for Large-Scale Cloud Computing Optimization
- Title(参考訳): 大規模クラウドコンピューティング最適化のためのディープラーニングと強化技術によるKubernetesの自動スケジューリングの強化
- Authors: Zheng Xu, Yulu Gong, Yanlin Zhou, Qiaozhi Bao, Wenpin Qian,
- Abstract要約: 本稿では,ディープラーニングと強化学習に基づくタスク自動スケジューリング手法を提案する。
提案手法の有効性と性能について実験により検証した。
- 参考スコア(独自算出の注目度): 2.546966753840083
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: With the continuous expansion of the scale of cloud computing applications, artificial intelligence technologies such as Deep Learning and Reinforcement Learning have gradually become the key tools to solve the automated task scheduling of large-scale cloud computing systems. Aiming at the complexity and real-time requirement of task scheduling in large-scale cloud computing system, this paper proposes an automatic task scheduling scheme based on deep learning and reinforcement learning. Firstly, the deep learning technology is used to monitor and predict the parameters in the cloud computing system in real time to obtain the system status information. Then, combined with reinforcement learning algorithm, the task scheduling strategy is dynamically adjusted according to the real-time system state and task characteristics to achieve the optimal utilization of system resources and the maximum of task execution efficiency. This paper verifies the effectiveness and performance advantages of the proposed scheme in experiments, and proves the potential and application prospect of deep learning and reinforcement learning in automatic task scheduling in large-scale cloud computing systems.
- Abstract(参考訳): クラウドコンピューティングアプリケーションのスケールの継続的な拡大により、Deep LearningやReinforcement Learningといった人工知能技術が、大規模クラウドコンピューティングシステムの自動タスクスケジューリングを解決する重要なツールになりつつある。
本稿では,大規模クラウドコンピューティングシステムにおけるタスクスケジューリングの複雑さとリアルタイム性に着目し,ディープラーニングと強化学習に基づくタスクスケジューリング手法を提案する。
まず、ディープラーニング技術を用いて、クラウドコンピューティングシステムのパラメータをリアルタイムで監視し、予測し、システムステータス情報を取得する。
そして、強化学習アルゴリズムと組み合わせて、リアルタイムシステム状態とタスク特性に応じてタスクスケジューリング戦略を動的に調整し、システムリソースの最適活用とタスク実行効率の最大化を実現する。
本稿では,提案手法の有効性と性能を検証し,大規模クラウドコンピューティングシステムにおけるタスク自動スケジューリングにおける深層学習と強化学習の可能性と応用可能性を示す。
関連論文リスト
- Reinforcement Learning for Adaptive Resource Scheduling in Complex System Environments [8.315191578007857]
そこで本研究では,Q-ラーニングに基づく新しいコンピュータシステムの性能最適化と適応型ワークロード管理スケジューリングアルゴリズムを提案する。
対照的に、強化学習アルゴリズムであるQラーニングは、システムの状態変化から継続的に学習し、動的スケジューリングとリソース最適化を可能にする。
この研究は、将来の大規模システムにおけるAI駆動適応スケジューリングの統合の基礎を提供し、システムのパフォーマンスを高め、運用コストを削減し、持続可能なエネルギー消費をサポートするスケーラブルでインテリジェントなソリューションを提供する。
論文 参考訳(メタデータ) (2024-11-08T05:58:09Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳(メタデータ) (2024-01-11T15:02:15Z) - A Review of Deep Reinforcement Learning in Serverless Computing:
Function Scheduling and Resource Auto-Scaling [2.0722667822370386]
本稿では、サーバーレスコンピューティングにおけるDeep Reinforcement Learning(DRL)技術の適用について、包括的なレビューを行う。
DRLをサーバレスコンピューティングに適用する最近の研究の体系的なレビューが、さまざまなアルゴリズム、モデル、パフォーマンスについて紹介されている。
分析の結果,DRLは環境から学習・適応する能力を有しており,機能スケジューリングと資源スケーリングの効率化に期待できる結果が得られた。
論文 参考訳(メタデータ) (2023-10-05T09:26:04Z) - Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。
ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。
新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
論文 参考訳(メタデータ) (2023-08-27T03:55:28Z) - Dynamic Scheduling for Federated Edge Learning with Streaming Data [56.91063444859008]
我々は,長期的エネルギー制約のある分散エッジデバイスにおいて,トレーニングデータを時間とともにランダムに生成するフェデレーションエッジ学習(FEEL)システムを検討する。
限られた通信リソースとレイテンシ要件のため、各イテレーションでローカルトレーニングプロセスに参加するのはデバイスのサブセットのみである。
論文 参考訳(メタデータ) (2023-05-02T07:41:16Z) - Sustainable AIGC Workload Scheduling of Geo-Distributed Data Centers: A
Multi-Agent Reinforcement Learning Approach [48.18355658448509]
生成的人工知能の最近の進歩は、機械学習トレーニングの需要が急増し、エネルギー消費の大幅な増加によるコスト負担と環境問題を引き起こしている。
地理的に分散したクラウドデータセンタ間でのトレーニングジョブのスケジューリングは、安価で低炭素エネルギーのコンピューティング能力の使用を最適化する機会を浮き彫りにする。
本研究では,実生活におけるワークロードパターン,エネルギー価格,炭素強度を組み込んだクラウドシステムと対話することで,マルチエージェント強化学習とアクタクリティカルな手法に基づく最適協調スケジューリング戦略の学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-04-17T02:12:30Z) - On Efficient Training of Large-Scale Deep Learning Models: A Literature
Review [90.87691246153612]
ディープラーニングの分野は特にコンピュータビジョン(CV)、自然言語処理(NLP)、音声などにおいて大きな進歩を遂げている。
大量のデータに基づいてトレーニングされた大規模なモデルを使用することは、実用的なアプリケーションにとって大きな可能性を秘めている。
計算能力の需要が増大する中で、ディープラーニングモデルの訓練の加速技術に関する包括的な要約が期待されている。
論文 参考訳(メタデータ) (2023-04-07T11:13:23Z) - MCDS: AI Augmented Workflow Scheduling in Mobile Edge Cloud Computing
Systems [12.215537834860699]
近年,エッジコンピューティングプラットフォームの低応答時間を利用してアプリケーション品質・オブ・サービス(QoS)を最適化するスケジューリング手法が提案されている。
本稿では,Deep Surrogate Models を用いたモンテカルロ学習を用いて,モバイルエッジクラウドコンピューティングシステムにおけるワークフローアプリケーションを効率的にスケジューリングする手法を提案する。
論文 参考訳(メタデータ) (2021-12-14T10:00:01Z) - Deep Reinforcement Agent for Scheduling in HPC [1.6569798882223303]
クラスタスケジューラは、利用可能なシステムリソースにいつ、どのユーザジョブを割り当てるべきかを決定する。
本研究では,深層強化学習を活用したDRAS(Deep Reinforcement Agent for Scheduling)と呼ばれる自動HPCスケジューリングエージェントを提案する。
論文 参考訳(メタデータ) (2021-02-11T20:08:38Z) - Adaptive Scheduling for Machine Learning Tasks over Networks [1.4271989597349055]
本論文では, 線形回帰タスクに資源を効率的に割り当てるアルゴリズムを, データのインフォマティビティ性を利用して検討する。
アルゴリズムは、信頼性の高い性能保証による学習タスクの適応スケジューリングを可能にする。
論文 参考訳(メタデータ) (2021-01-25T10:59:00Z) - Combining Machine Learning with Knowledge-Based Modeling for Scalable
Forecasting and Subgrid-Scale Closure of Large, Complex, Spatiotemporal
Systems [48.7576911714538]
我々は、過去のデータを予測に組み込む上で、機械学習を必須のツールとして活用しようと試みる。
i)並列機械学習予測手法と(ii)ハイブリッド手法の2つの手法を組み合わせて,知識ベースコンポーネントと機械学習ベースコンポーネントからなる複合予測システムを提案する。
i) と (ii) を組み合わせることで、非常に大規模なシステムに優れた性能を与えることができるだけでなく、並列機械学習コンポーネントを訓練するのに必要となる時系列データの長さが、並列化なしで必要なものよりも劇的に少ないことを実証した。
論文 参考訳(メタデータ) (2020-02-10T23:21:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。