論文の概要: Personalized Execution Time Optimization for the Scheduled Jobs
- arxiv url: http://arxiv.org/abs/2203.06158v1
- Date: Fri, 11 Mar 2022 18:35:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-14 13:43:35.987351
- Title: Personalized Execution Time Optimization for the Scheduled Jobs
- Title(参考訳): スケジュールジョブのパーソナライズされた実行時間最適化
- Authors: Yang Liu, Juan Wang, Zhengxing Chen, Ian Fox, Imani Mufti, Jason
Sukumaran, Baokun He, Xiling Sun, Feng Liang
- Abstract要約: ベストタイム選択において、ポイントワイズ・ツー・ランクのアプローチと「ベストタイムポリシー」を適用する方法について説明する。
本研究は,大規模産業におけるスケジュールジョブの実行時間最適化問題に対する,MLベースのマルチテナントソリューションとしては初めてのものである。
- 参考スコア(独自算出の注目度): 10.605976394614904
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scheduled batch jobs have been widely used on the asynchronous computing
platforms to execute various enterprise applications, including the scheduled
notifications and the candidate computation for the modern recommender systems.
It is important to deliver or update the information to the users at the right
time to maintain the user experience and the execution impact. However, it is
challenging to provide a versatile execution time optimization solution for the
user-basis scheduled jobs to satisfy various product scenarios while
maintaining reasonable infrastructure resource consumption. In this paper, we
describe how we apply a pointwise learning-to-rank approach plus a "best time
policy" in the best time selection. In addition, we propose a value model
approach to efficiently leverage multiple streams of user activity signals in
our scheduling decisions of the execution time. Our optimization approach has
been successfully tested with production traffic that serves billions of users
per day, with statistically significant improvements in various product
metrics, including the notifications and content candidate generation. To the
best of our knowledge, our study represents the first ML-based multi-tenant
solution to the execution time optimization problem for the scheduled jobs at a
large industrial scale.
- Abstract(参考訳): スケジュールされたバッチジョブは、現在のレコメンダシステムのためのスケジュールされた通知や候補計算など、さまざまなエンタープライズアプリケーションを実行するために、非同期コンピューティングプラットフォームで広く使われている。
ユーザエクスペリエンスと実行への影響を維持するためには,情報を適切なタイミングでユーザに提供あるいは更新することが重要です。
しかし、ユーザベースでスケジュールされたジョブに対して、合理的なインフラストラクチャリソースの消費を維持しながら、様々な製品シナリオを満足する汎用的な実行時間最適化ソリューションを提供することは困難である。
本稿では,ポイントワイズ学習からランクへのアプローチと,最良の時間選択における「最良の時間ポリシー」をどのように適用するかについて述べる。
さらに,実行時間のスケジューリング決定において,ユーザ活動信号の複数のストリームを効率的に活用するための値モデル手法を提案する。
当社の最適化アプローチは,通知やコンテンツ候補生成など,さまざまな製品指標において統計的に有意な改善を施した,毎日数十億ユーザを対象とした実運用トラフィックの試験に成功している。
私たちの知る限りでは,本研究は大規模産業規模でスケジュールされたジョブの実行時間最適化問題に対するmlベースの最初のマルチテナントソリューションである。
関連論文リスト
- Multi-Fidelity Bayesian Optimization With Across-Task Transferable Max-Value Entropy Search [36.14499894307206]
本稿では,現在のタスクに関する情報を取得する必要性と,将来的なタスクに伝達可能な情報を集めることのバランスをとる新しい情報理論獲得機能を提案する。
実世界の実世界の実例にまたがる実験結果から,提案手法が十分なタスク数を処理すると,最適化効率を大幅に向上できることが明らかとなった。
論文 参考訳(メタデータ) (2024-03-14T17:00:01Z) - Robust Prompt Optimization for Large Language Models Against
Distribution Shifts [80.6757997074956]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて重要な能力を示している。
本稿では,LLMの分散シフトに対するロバストな最適化法を提案する。
この問題は、ラベル付けされたソースグループに最適化されたプロンプトを同時にラベル付けされていないターゲットグループに一般化する必要がある。
論文 参考訳(メタデータ) (2023-05-23T11:30:43Z) - Dynamic Scheduling for Federated Edge Learning with Streaming Data [56.91063444859008]
我々は,長期的エネルギー制約のある分散エッジデバイスにおいて,トレーニングデータを時間とともにランダムに生成するフェデレーションエッジ学習(FEEL)システムを検討する。
限られた通信リソースとレイテンシ要件のため、各イテレーションでローカルトレーニングプロセスに参加するのはデバイスのサブセットのみである。
論文 参考訳(メタデータ) (2023-05-02T07:41:16Z) - Recommending the optimal policy by learning to act from temporal data [2.554326189662943]
本稿では,Reinforcement (RL) を用いて学習するAIベースのアプローチを提案する。
このアプローチは、実データと合成データセットに基づいて検証され、非政治的なDeep RLアプローチと比較される。
我々のアプローチがDeep RLアプローチと比較し、しばしば克服する能力は、時間的実行データしか利用できないシナリオにおいて、ホワイトボックスのRLテクニックの活用に寄与する。
論文 参考訳(メタデータ) (2023-03-16T10:30:36Z) - Dynamic Resource Allocation for Metaverse Applications with Deep
Reinforcement Learning [64.75603723249837]
そこで本研究では,Metaverse アプリケーション用の異なるタイプのリソースを動的に管理・割り当てする新しいフレームワークを提案する。
まず,アプリケーション間で共通関数を共有できるMetaInstancesという,アプリケーションをグループに分割する効果的なソリューションを提案する。
そこで我々は,要求到着プロセスとアプリケーション離脱プロセスのリアルタイム,動的,不確実な特性を捉えるために,セミマルコフ決定プロセスに基づくフレームワークを開発する。
論文 参考訳(メタデータ) (2023-02-27T00:30:01Z) - Multi-objective Optimization of Clustering-based Scheduling for
Multi-workflow On Clouds Considering Fairness [4.021507306414546]
本稿では,資源割り当てのためのクラスタリングに基づくマルチワークフロースケジューリング手法を提案する。
実験結果から,提案手法の精度は,提案手法が比較アルゴリズムよりも優れており,全体の規模とコストと,個別の公平性を著しく損なうことなく性能が向上することが示された。
論文 参考訳(メタデータ) (2022-05-23T10:25:16Z) - Nemo: Guiding and Contextualizing Weak Supervision for Interactive Data
Programming [77.38174112525168]
私たちは、WS 学習パイプラインの全体的な生産性を、一般的な WS 監督アプローチと比較して平均20%(最大 47% のタスク)改善する、エンドツーエンドのインタラクティブなスーパービジョンシステムである Nemo を紹介します。
論文 参考訳(メタデータ) (2022-03-02T19:57:32Z) - On the Potential of Execution Traces for Batch Processing Workload
Optimization in Public Clouds [0.0]
本稿では,匿名化されたワークロード実行トレースをユーザ間で共有するための協調的アプローチを提案する。
一般的なパターンとしてマイニングし、将来の最適化のために過去のワークロードのクラスタを活用します。
論文 参考訳(メタデータ) (2021-11-16T20:11:36Z) - Improving Long-Term Metrics in Recommendation Systems using
Short-Horizon Offline RL [56.20835219296896]
セッションベースのレコメンデーションシナリオについて検討し、シーケンシャルなインタラクションの間、ユーザに対してアイテムを推薦し、長期的なユーティリティを改善する。
我々は、セッション間のポリシーによる分散シフトを近似するショートホライズンポリシー改善(SHPI)と呼ばれる新しいバッチRLアルゴリズムを開発した。
論文 参考訳(メタデータ) (2021-06-01T15:58:05Z) - MLComp: A Methodology for Machine Learning-based Performance Estimation
and Adaptive Selection of Pareto-Optimal Compiler Optimization Sequences [10.200899224740871]
組込みソフトウェア最適化のための新しい強化学習型ポリシー手法を提案する。
異なる機械学習モデルが自動的にテストされ、最適なものを選択する。
また、ターゲットとするプラットフォームやアプリケーションドメインに対して、フレームワークを効率的にトレーニングできることも示しています。
論文 参考訳(メタデータ) (2020-12-09T19:13:39Z) - Empowering Active Learning to Jointly Optimize System and User Demands [70.66168547821019]
我々は,アクティブラーニングシステムとユーザを協調的に(効率的に学習)するための,新しいアクティブラーニング手法を提案する。
本手法は,特定のユーザに対して,エクササイズの適切性を予測するために,学習を迅速かつ迅速に行う必要があるため,特に,この手法のメリットを生かした教育アプリケーションで研究する。
複数の学習戦略とユーザタイプを実際のユーザからのデータで評価し,代替手法がエンドユーザに適さない多くのエクササイズをもたらす場合,共同アプローチが両方の目標を満足できることを確認した。
論文 参考訳(メタデータ) (2020-05-09T16:02:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。