論文の概要: LeJOT: An Intelligent Job Cost Orchestration Solution for Databricks Platform
- arxiv url: http://arxiv.org/abs/2512.18266v1
- Date: Sat, 20 Dec 2025 08:09:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-23 18:54:32.265431
- Title: LeJOT: An Intelligent Job Cost Orchestration Solution for Databricks Platform
- Title（参考訳）: LeJOT: Databricksプラットフォームのためのインテリジェントなジョブコストオーケストレーションソリューション
- Authors: Lizhi Ma, Yi-Xiang Hu, Yuke Wang, Yifang Zhao, Yihui Ren, Jian-Xiang Liao, Feng Wu, Xiang-Yang Li,
- Abstract要約: 私たちは、DatabricksジョブのためのインテリジェントなジョブコストオーケストレーションフレームワークであるLeJOTを紹介します。
LeJOTは、ワークロードの要求を積極的に予測し、動的にコンピューティングリソースを割り当て、コストを最小化する。
我々は,1分間のスケジューリング時間内で,LJOTが平均20%のクラウドコンピューティングコスト削減を実現していることを示す。
- 参考スコア（独自算出の注目度）: 28.16213013287002
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the rapid advancements in big data technologies, the Databricks platform has become a cornerstone for enterprises and research institutions, offering high computational efficiency and a robust ecosystem. However, managing the escalating operational costs associated with job execution remains a critical challenge. Existing solutions rely on static configurations or reactive adjustments, which fail to adapt to the dynamic nature of workloads. To address this, we introduce LeJOT, an intelligent job cost orchestration framework that leverages machine learning for execution time prediction and a solver-based optimization model for real-time resource allocation. Unlike conventional scheduling techniques, LeJOT proactively predicts workload demands, dynamically allocates computing resources, and minimizes costs while ensuring performance requirements are met. Experimental results on real-world Databricks workloads demonstrate that LeJOT achieves an average 20% reduction in cloud computing costs within a minute-level scheduling timeframe, outperforming traditional static allocation strategies. Our approach provides a scalable and adaptive solution for cost-efficient job scheduling in Data Lakehouse environments.
- Abstract（参考訳）: ビッグデータ技術の急速な進歩により、Databricksプラットフォームは企業や研究機関の基盤となり、高い計算効率と堅牢なエコシステムを提供している。
しかし、業務実行に伴う運用コストの増大を管理することは、依然として重要な課題である。
既存のソリューションは静的な設定やリアクティブな調整に依存しており、ワークロードの動的性質に適応できない。
これを解決するために,機械学習を実行時間予測に活用するインテリジェントなジョブコストオーケストレーションフレームワークであるLeJOTと,リアルタイムリソース割り当てのためのソルバベース最適化モデルを紹介した。
従来のスケジューリング手法とは異なり、LeJOTはワークロードの要求を積極的に予測し、動的にコンピューティングリソースを割り当て、パフォーマンス要件を満たすことなくコストを最小化する。
実世界のDatabricksワークロードに関する実験結果は、LeJOTが1分間のスケジューリング時間内で平均20%のクラウドコンピューティングコスト削減を実現し、従来の静的アロケーション戦略を上回っていることを示している。
我々のアプローチは、Data Lakehouse環境におけるコスト効率の高いジョブスケジューリングのためのスケーラブルで適応的なソリューションを提供する。
関連論文リスト
- Attention-Informed Surrogates for Navigating Power-Performance Trade-offs in HPC [0.5219568203653523]
本稿では、この複雑な決定を自動化するために、サロゲート支援多目的ベイズ最適化(MOBO)フレームワークを提案する。
我々の中心となる仮説は、作業テレメトリの注意に基づく埋め込みによって得られるサロゲートモデルが、標準的な回帰手法よりもパフォーマンスのダイナミクスを効果的に捉えることができるというものである。
我々の知る限り、これはHPCスケジューリング問題に対してMOBOフレームワークに埋め込みインフォームドサロゲートをうまく適用する最初の試みである。
論文 参考訳（メタデータ） (2026-01-21T19:11:12Z) - Evaluating the Efficacy of LLM-Based Reasoning for Multiobjective HPC Job Scheduling [6.375075345747834]
ReActスタイルフレームワークを用いたLarge Language Model (LLM)ベースのスケジューラ(Reason + Act)
Systemはスクラッチパッドメモリを内蔵し、スケジューリング履歴を追跡し、自然言語のフィードバックを通じて決定を洗練する。
我々は,OpenAI の O4-Mini と Anthropic の Claude 3.7 を用いて,実世界の7つの HPC ワークロードシナリオに対してアプローチを評価した。
論文 参考訳（メタデータ） (2025-05-29T14:25:29Z) - Edge-Cloud Collaborative Computing on Distributed Intelligence and Model Optimization: A Survey [58.50944604905037]
エッジクラウドコラボレーティブコンピューティング(ECCC)は、現代のインテリジェントアプリケーションの計算要求に対処するための重要なパラダイムとして登場した。
AIの最近の進歩、特にディープラーニングと大規模言語モデル(LLM)は、これらの分散システムの能力を劇的に向上させてきた。
この調査は、基本的なアーキテクチャ、技術の実現、新しいアプリケーションに関する構造化されたチュートリアルを提供する。
論文 参考訳（メタデータ） (2025-05-03T13:55:38Z) - Dynamic Scheduling Strategies for Resource Optimization in Computing Environments [0.29008108937701327]
本稿では,資源利用,負荷分散,タスク完了効率といった重要な性能指標のバランスをとることを目的とした,多目的最適化に基づくコンテナスケジューリング手法を提案する。
実験の結果, 従来の静的ルールアルゴリズムや効率アルゴリズムと比較して, 資源利用, 負荷分散, バーストタスク完了において, 最適化されたスケジューリング方式が有益であることが示唆された。
論文 参考訳（メタデータ） (2024-12-23T05:43:17Z) - Reinforcement Learning for Adaptive Resource Scheduling in Complex System Environments [8.315191578007857]
そこで本研究では,Q-ラーニングに基づく新しいコンピュータシステムの性能最適化と適応型ワークロード管理スケジューリングアルゴリズムを提案する。
対照的に、強化学習アルゴリズムであるQラーニングは、システムの状態変化から継続的に学習し、動的スケジューリングとリソース最適化を可能にする。
この研究は、将来の大規模システムにおけるAI駆動適応スケジューリングの統合の基礎を提供し、システムのパフォーマンスを高め、運用コストを削減し、持続可能なエネルギー消費をサポートするスケーラブルでインテリジェントなソリューションを提供する。
論文 参考訳（メタデータ） (2024-11-08T05:58:09Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳（メタデータ） (2024-01-11T15:02:15Z) - Dynamic Scheduling for Federated Edge Learning with Streaming Data [56.91063444859008]
我々は,長期的エネルギー制約のある分散エッジデバイスにおいて,トレーニングデータを時間とともにランダムに生成するフェデレーションエッジ学習(FEEL)システムを検討する。
限られた通信リソースとレイテンシ要件のため、各イテレーションでローカルトレーニングプロセスに参加するのはデバイスのサブセットのみである。
論文 参考訳（メタデータ） (2023-05-02T07:41:16Z) - Sustainable AIGC Workload Scheduling of Geo-Distributed Data Centers: A
Multi-Agent Reinforcement Learning Approach [48.18355658448509]
生成的人工知能の最近の進歩は、機械学習トレーニングの需要が急増し、エネルギー消費の大幅な増加によるコスト負担と環境問題を引き起こしている。
地理的に分散したクラウドデータセンタ間でのトレーニングジョブのスケジューリングは、安価で低炭素エネルギーのコンピューティング能力の使用を最適化する機会を浮き彫りにする。
本研究では,実生活におけるワークロードパターン,エネルギー価格,炭素強度を組み込んだクラウドシステムと対話することで,マルチエージェント強化学習とアクタクリティカルな手法に基づく最適協調スケジューリング戦略の学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-04-17T02:12:30Z) - CILP: Co-simulation based Imitation Learner for Dynamic Resource
Provisioning in Cloud Computing Environments [13.864161788250856]
レイテンシクリティカルなタスクの主な課題は、積極的にプロビジョニングする将来のワークロード要求を予測することだ。
既存のAIベースのソリューションは、プロビジョニングのオーバーヘッド、異種VMコスト、クラウドシステムの品質(QoS)など、すべての重要な側面を公平に考慮しない傾向があります。
予測と最適化の2つのサブプロブレムとしてVMプロビジョニング問題を定式化するCILPと呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-02-11T09:15:34Z) - Actively Learning Costly Reward Functions for Reinforcement Learning [56.34005280792013]
複雑な実世界の環境でエージェントを訓練することは、桁違いに高速であることを示す。
強化学習の手法を新しい領域に適用することにより、興味深く非自明な解を見つけることができることを示す。
論文 参考訳（メタデータ） (2022-11-23T19:17:20Z) - Innovations in the field of on-board scheduling technologies [64.41511459132334]
本稿では、ミッション自律のためのソフトウェアフレームワークに組み込まれた、オンボードスケジューラを提案する。
スケジューラは線形整数プログラミングに基づいており、ブランチ・アンド・カット・ソルバの使用に依存している。
この技術は地球観測のシナリオでテストされており、その性能を最先端のスケジューリング技術と比較している。
論文 参考訳（メタデータ） (2022-05-04T12:00:49Z) - MCDS: AI Augmented Workflow Scheduling in Mobile Edge Cloud Computing
Systems [12.215537834860699]
近年,エッジコンピューティングプラットフォームの低応答時間を利用してアプリケーション品質・オブ・サービス(QoS)を最適化するスケジューリング手法が提案されている。
本稿では,Deep Surrogate Models を用いたモンテカルロ学習を用いて,モバイルエッジクラウドコンピューティングシステムにおけるワークフローアプリケーションを効率的にスケジューリングする手法を提案する。
論文 参考訳（メタデータ） (2021-12-14T10:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。