論文の概要: LeJOT: An Intelligent Job Cost Orchestration Solution for Databricks Platform

• arxiv url: http://arxiv.org/abs/2512.18266v1
• Date: Sat, 20 Dec 2025 08:09:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.265431
• Title: LeJOT: An Intelligent Job Cost Orchestration Solution for Databricks Platform
• Title（参考訳）: LeJOT: Databricksプラットフォームのためのインテリジェントなジョブコストオーケストレーションソリューション
• Authors: Lizhi Ma, Yi-Xiang Hu, Yuke Wang, Yifang Zhao, Yihui Ren, Jian-Xiang Liao, Feng Wu, Xiang-Yang Li,
• Abstract要約: 私たちは、DatabricksジョブのためのインテリジェントなジョブコストオーケストレーションフレームワークであるLeJOTを紹介します。 LeJOTは、ワークロードの要求を積極的に予測し、動的にコンピューティングリソースを割り当て、コストを最小化する。 我々は,1分間のスケジューリング時間内で,LJOTが平均20%のクラウドコンピューティングコスト削減を実現していることを示す。
• 参考スコア（独自算出の注目度）: 28.16213013287002
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rapid advancements in big data technologies, the Databricks platform has become a cornerstone for enterprises and research institutions, offering high computational efficiency and a robust ecosystem. However, managing the escalating operational costs associated with job execution remains a critical challenge. Existing solutions rely on static configurations or reactive adjustments, which fail to adapt to the dynamic nature of workloads. To address this, we introduce LeJOT, an intelligent job cost orchestration framework that leverages machine learning for execution time prediction and a solver-based optimization model for real-time resource allocation. Unlike conventional scheduling techniques, LeJOT proactively predicts workload demands, dynamically allocates computing resources, and minimizes costs while ensuring performance requirements are met. Experimental results on real-world Databricks workloads demonstrate that LeJOT achieves an average 20% reduction in cloud computing costs within a minute-level scheduling timeframe, outperforming traditional static allocation strategies. Our approach provides a scalable and adaptive solution for cost-efficient job scheduling in Data Lakehouse environments.
• Abstract（参考訳）: ビッグデータ技術の急速な進歩により、Databricksプラットフォームは企業や研究機関の基盤となり、高い計算効率と堅牢なエコシステムを提供している。 しかし、業務実行に伴う運用コストの増大を管理することは、依然として重要な課題である。 既存のソリューションは静的な設定やリアクティブな調整に依存しており、ワークロードの動的性質に適応できない。 これを解決するために,機械学習を実行時間予測に活用するインテリジェントなジョブコストオーケストレーションフレームワークであるLeJOTと,リアルタイムリソース割り当てのためのソルバベース最適化モデルを紹介した。 従来のスケジューリング手法とは異なり、LeJOTはワークロードの要求を積極的に予測し、動的にコンピューティングリソースを割り当て、パフォーマンス要件を満たすことなくコストを最小化する。 実世界のDatabricksワークロードに関する実験結果は、LeJOTが1分間のスケジューリング時間内で平均20%のクラウドコンピューティングコスト削減を実現し、従来の静的アロケーション戦略を上回っていることを示している。 我々のアプローチは、Data Lakehouse環境におけるコスト効率の高いジョブスケジューリングのためのスケーラブルで適応的なソリューションを提供する。

関連論文リスト

• Evaluating the Efficacy of LLM-Based Reasoning for Multiobjective HPC Job Scheduling [6.375075345747834]
  ReActスタイルフレームワークを用いたLarge Language Model (LLM)ベースのスケジューラ(Reason + Act) Systemはスクラッチパッドメモリを内蔵し、スケジューリング履歴を追跡し、自然言語のフィードバックを通じて決定を洗練する。 我々は,OpenAI の O4-Mini と Anthropic の Claude 3.7 を用いて,実世界の7つの HPC ワークロードシナリオに対してアプローチを評価した。
  論文  参考訳（メタデータ） (2025-05-29T14:25:29Z)
• Reinforcement Learning for Adaptive Resource Scheduling in Complex System Environments [8.315191578007857]
  そこで本研究では,Q-ラーニングに基づく新しいコンピュータシステムの性能最適化と適応型ワークロード管理スケジューリングアルゴリズムを提案する。 対照的に、強化学習アルゴリズムであるQラーニングは、システムの状態変化から継続的に学習し、動的スケジューリングとリソース最適化を可能にする。 この研究は、将来の大規模システムにおけるAI駆動適応スケジューリングの統合の基礎を提供し、システムのパフォーマンスを高め、運用コストを削減し、持続可能なエネルギー消費をサポートするスケーラブルでインテリジェントなソリューションを提供する。
  論文  参考訳（メタデータ） (2024-11-08T05:58:09Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• Dynamic Scheduling for Federated Edge Learning with Streaming Data [56.91063444859008]
  我々は,長期的エネルギー制約のある分散エッジデバイスにおいて,トレーニングデータを時間とともにランダムに生成するフェデレーションエッジ学習(FEEL)システムを検討する。 限られた通信リソースとレイテンシ要件のため、各イテレーションでローカルトレーニングプロセスに参加するのはデバイスのサブセットのみである。
  論文  参考訳（メタデータ） (2023-05-02T07:41:16Z)
• Sustainable AIGC Workload Scheduling of Geo-Distributed Data Centers: A Multi-Agent Reinforcement Learning Approach [48.18355658448509]
  生成的人工知能の最近の進歩は、機械学習トレーニングの需要が急増し、エネルギー消費の大幅な増加によるコスト負担と環境問題を引き起こしている。 地理的に分散したクラウドデータセンタ間でのトレーニングジョブのスケジューリングは、安価で低炭素エネルギーのコンピューティング能力の使用を最適化する機会を浮き彫りにする。 本研究では,実生活におけるワークロードパターン,エネルギー価格,炭素強度を組み込んだクラウドシステムと対話することで,マルチエージェント強化学習とアクタクリティカルな手法に基づく最適協調スケジューリング戦略の学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-17T02:12:30Z)
• CILP: Co-simulation based Imitation Learner for Dynamic Resource Provisioning in Cloud Computing Environments [13.864161788250856]
  レイテンシクリティカルなタスクの主な課題は、積極的にプロビジョニングする将来のワークロード要求を予測することだ。 既存のAIベースのソリューションは、プロビジョニングのオーバーヘッド、異種VMコスト、クラウドシステムの品質(QoS)など、すべての重要な側面を公平に考慮しない傾向があります。 予測と最適化の2つのサブプロブレムとしてVMプロビジョニング問題を定式化するCILPと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-02-11T09:15:34Z)
• Actively Learning Costly Reward Functions for Reinforcement Learning [56.34005280792013]
  複雑な実世界の環境でエージェントを訓練することは、桁違いに高速であることを示す。 強化学習の手法を新しい領域に適用することにより、興味深く非自明な解を見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-11-23T19:17:20Z)
• Innovations in the field of on-board scheduling technologies [64.41511459132334]
  本稿では、ミッション自律のためのソフトウェアフレームワークに組み込まれた、オンボードスケジューラを提案する。 スケジューラは線形整数プログラミングに基づいており、ブランチ・アンド・カット・ソルバの使用に依存している。 この技術は地球観測のシナリオでテストされており、その性能を最先端のスケジューリング技術と比較している。
  論文  参考訳（メタデータ） (2022-05-04T12:00:49Z)
• MCDS: AI Augmented Workflow Scheduling in Mobile Edge Cloud Computing Systems [12.215537834860699]
  近年,エッジコンピューティングプラットフォームの低応答時間を利用してアプリケーション品質・オブ・サービス(QoS)を最適化するスケジューリング手法が提案されている。 本稿では,Deep Surrogate Models を用いたモンテカルロ学習を用いて,モバイルエッジクラウドコンピューティングシステムにおけるワークフローアプリケーションを効率的にスケジューリングする手法を提案する。
  論文  参考訳（メタデータ） (2021-12-14T10:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。