論文の概要: Personalized Execution Time Optimization for the Scheduled Jobs

• arxiv url: http://arxiv.org/abs/2203.06158v1
• Date: Fri, 11 Mar 2022 18:35:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-14 13:43:35.987351
• Title: Personalized Execution Time Optimization for the Scheduled Jobs
• Title（参考訳）: スケジュールジョブのパーソナライズされた実行時間最適化
• Authors: Yang Liu, Juan Wang, Zhengxing Chen, Ian Fox, Imani Mufti, Jason Sukumaran, Baokun He, Xiling Sun, Feng Liang
• Abstract要約: ベストタイム選択において、ポイントワイズ・ツー・ランクのアプローチと「ベストタイムポリシー」を適用する方法について説明する。 本研究は,大規模産業におけるスケジュールジョブの実行時間最適化問題に対する,MLベースのマルチテナントソリューションとしては初めてのものである。
• 参考スコア（独自算出の注目度）: 10.605976394614904
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scheduled batch jobs have been widely used on the asynchronous computing platforms to execute various enterprise applications, including the scheduled notifications and the candidate computation for the modern recommender systems. It is important to deliver or update the information to the users at the right time to maintain the user experience and the execution impact. However, it is challenging to provide a versatile execution time optimization solution for the user-basis scheduled jobs to satisfy various product scenarios while maintaining reasonable infrastructure resource consumption. In this paper, we describe how we apply a pointwise learning-to-rank approach plus a "best time policy" in the best time selection. In addition, we propose a value model approach to efficiently leverage multiple streams of user activity signals in our scheduling decisions of the execution time. Our optimization approach has been successfully tested with production traffic that serves billions of users per day, with statistically significant improvements in various product metrics, including the notifications and content candidate generation. To the best of our knowledge, our study represents the first ML-based multi-tenant solution to the execution time optimization problem for the scheduled jobs at a large industrial scale.
• Abstract（参考訳）: スケジュールされたバッチジョブは、現在のレコメンダシステムのためのスケジュールされた通知や候補計算など、さまざまなエンタープライズアプリケーションを実行するために、非同期コンピューティングプラットフォームで広く使われている。 ユーザエクスペリエンスと実行への影響を維持するためには,情報を適切なタイミングでユーザに提供あるいは更新することが重要です。 しかし、ユーザベースでスケジュールされたジョブに対して、合理的なインフラストラクチャリソースの消費を維持しながら、様々な製品シナリオを満足する汎用的な実行時間最適化ソリューションを提供することは困難である。 本稿では,ポイントワイズ学習からランクへのアプローチと,最良の時間選択における「最良の時間ポリシー」をどのように適用するかについて述べる。 さらに,実行時間のスケジューリング決定において,ユーザ活動信号の複数のストリームを効率的に活用するための値モデル手法を提案する。 当社の最適化アプローチは,通知やコンテンツ候補生成など,さまざまな製品指標において統計的に有意な改善を施した,毎日数十億ユーザを対象とした実運用トラフィックの試験に成功している。 私たちの知る限りでは,本研究は大規模産業規模でスケジュールされたジョブの実行時間最適化問題に対するmlベースの最初のマルチテナントソリューションである。

関連論文リスト

• Forecasting Application Counts in Talent Acquisition Platforms: Harnessing Multimodal Signals using LMs [5.7623855432001445]
  本稿では,採用領域における新たな課題,すなわちアプリケーション数予測について論じる。 本稿では,既存の自己回帰型時系列予測手法が,この課題に対して不十分であることを示す。 簡単なエンコーダを用いて,様々なモダリティの求人メタデータを融合したマルチモーダルLMモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-19T01:18:32Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• Personalized Multi-task Training for Recommender System [80.23030752707916]
  PMTRecは、様々な情報ソースから包括的ユーザ/イテム埋め込みを得るための、最初のパーソナライズされたマルチタスク学習アルゴリズムである。 我々の貢献は、レコメンデーションシステムにおけるパーソナライズされたマルチタスクトレーニングを促進するための新しい道を開く。
  論文  参考訳（メタデータ） (2024-07-31T06:27:06Z)
• An Advanced Reinforcement Learning Framework for Online Scheduling of Deferrable Workloads in Cloud Computing [37.457951933256055]
  クラウド上でのdeferrableジョブのためのtextitOnline Scheduling(OSDEC)と呼ばれるオンラインのdeferrableジョブスケジューリング手法を提案する。 提案手法は,高資源利用率を維持しつつ,デプロイメントスケジュールを適切に計画し,ユーザの待ち時間を短縮することができる。
  論文  参考訳（メタデータ） (2024-06-03T06:55:26Z)
• Multi-Fidelity Bayesian Optimization With Across-Task Transferable Max-Value Entropy Search [36.14499894307206]
  本稿では,現在のタスクに関する情報を取得する必要性と,将来的なタスクに伝達可能な情報を集めることのバランスをとる新しい情報理論獲得機能を提案する。 提案手法は,十分なタスク数を処理すると,最適化効率を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2024-03-14T17:00:01Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)
• Dynamic Scheduling for Federated Edge Learning with Streaming Data [56.91063444859008]
  我々は,長期的エネルギー制約のある分散エッジデバイスにおいて,トレーニングデータを時間とともにランダムに生成するフェデレーションエッジ学習(FEEL)システムを検討する。 限られた通信リソースとレイテンシ要件のため、各イテレーションでローカルトレーニングプロセスに参加するのはデバイスのサブセットのみである。
  論文  参考訳（メタデータ） (2023-05-02T07:41:16Z)
• Dynamic Resource Allocation for Metaverse Applications with Deep Reinforcement Learning [64.75603723249837]
  そこで本研究では,Metaverse アプリケーション用の異なるタイプのリソースを動的に管理・割り当てする新しいフレームワークを提案する。 まず,アプリケーション間で共通関数を共有できるMetaInstancesという,アプリケーションをグループに分割する効果的なソリューションを提案する。 そこで我々は,要求到着プロセスとアプリケーション離脱プロセスのリアルタイム,動的,不確実な特性を捉えるために,セミマルコフ決定プロセスに基づくフレームワークを開発する。
  論文  参考訳（メタデータ） (2023-02-27T00:30:01Z)
• Multi-objective Optimization of Clustering-based Scheduling for Multi-workflow On Clouds Considering Fairness [4.021507306414546]
  本稿では,資源割り当てのためのクラスタリングに基づくマルチワークフロースケジューリング手法を提案する。 実験結果から,提案手法の精度は,提案手法が比較アルゴリズムよりも優れており,全体の規模とコストと,個別の公平性を著しく損なうことなく性能が向上することが示された。
  論文  参考訳（メタデータ） (2022-05-23T10:25:16Z)
• Improving Long-Term Metrics in Recommendation Systems using Short-Horizon Offline RL [56.20835219296896]
  セッションベースのレコメンデーションシナリオについて検討し、シーケンシャルなインタラクションの間、ユーザに対してアイテムを推薦し、長期的なユーティリティを改善する。 我々は、セッション間のポリシーによる分散シフトを近似するショートホライズンポリシー改善(SHPI)と呼ばれる新しいバッチRLアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-06-01T15:58:05Z)
• MLComp: A Methodology for Machine Learning-based Performance Estimation and Adaptive Selection of Pareto-Optimal Compiler Optimization Sequences [10.200899224740871]
  組込みソフトウェア最適化のための新しい強化学習型ポリシー手法を提案する。 異なる機械学習モデルが自動的にテストされ、最適なものを選択する。 また、ターゲットとするプラットフォームやアプリケーションドメインに対して、フレームワークを効率的にトレーニングできることも示しています。
  論文  参考訳（メタデータ） (2020-12-09T19:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。