論文の概要: Towards General and Efficient Online Tuning for Spark

• arxiv url: http://arxiv.org/abs/2309.01901v1
• Date: Tue, 5 Sep 2023 02:16:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 16:41:13.332335
• Title: Towards General and Efficient Online Tuning for Spark
• Title（参考訳）: Sparkの汎用的かつ効率的なオンラインチューニングに向けて
• Authors: Yang Li, Huaijun Jiang, Yu Shen, Yide Fang, Xiaofeng Yang, Danqing Huang, Xinyi Zhang, Wentao Zhang, Ce Zhang, Peng Chen and Bin Cui
• Abstract要約: 本稿では,3つの問題を同時に処理できる汎用的で効率的なSparkチューニングフレームワークを提案する。 我々は、このフレームワークを独立したクラウドサービスとして実装し、Tencentのデータプラットフォームに適用しました。
• 参考スコア（独自算出の注目度）: 55.30868031221838
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The distributed data analytic system -- Spark is a common choice for processing massive volumes of heterogeneous data, while it is challenging to tune its parameters to achieve high performance. Recent studies try to employ auto-tuning techniques to solve this problem but suffer from three issues: limited functionality, high overhead, and inefficient search. In this paper, we present a general and efficient Spark tuning framework that can deal with the three issues simultaneously. First, we introduce a generalized tuning formulation, which can support multiple tuning goals and constraints conveniently, and a Bayesian optimization (BO) based solution to solve this generalized optimization problem. Second, to avoid high overhead from additional offline evaluations in existing methods, we propose to tune parameters along with the actual periodic executions of each job (i.e., online evaluations). To ensure safety during online job executions, we design a safe configuration acquisition method that models the safe region. Finally, three innovative techniques are leveraged to further accelerate the search process: adaptive sub-space generation, approximate gradient descent, and meta-learning method. We have implemented this framework as an independent cloud service, and applied it to the data platform in Tencent. The empirical results on both public benchmarks and large-scale production tasks demonstrate its superiority in terms of practicality, generality, and efficiency. Notably, this service saves an average of 57.00% memory cost and 34.93% CPU cost on 25K in-production tasks within 20 iterations, respectively.
• Abstract（参考訳）: 分散データ分析システム -- sparkは大量の異種データを処理するための一般的な選択肢であるが、高いパフォーマンスを達成するためにパラメータを調整することは難しい。 最近の研究では、この問題を解決するために自動チューニング技術を採用するが、機能制限、高いオーバーヘッド、非効率的な検索という3つの問題に苦しむ。 本稿では,3つの問題を同時に処理できる汎用的で効率的なSparkチューニングフレームワークを提案する。 まず,複数のチューニング目標と制約を便利にサポート可能な一般化チューニング定式化と,この一般化最適化問題を解決するためのベイズ最適化(bo)に基づく解を提案する。 第2に,既存の手法におけるオフライン評価の追加によるオーバヘッドを回避するため,各ジョブの実際の定期実行(オンライン評価)に合わせてパラメータをチューニングすることを提案する。 オンラインジョブ実行中の安全性を確保するため,安全な領域をモデル化する安全な構成取得手法を設計する。 最後に, 適応部分空間生成, 近似勾配降下, メタラーニングという3つの革新的手法を用いて探索過程を高速化する。 このフレームワークを独立したクラウドサービスとして実装し、Tencentのデータプラットフォームに適用しました。 公開ベンチマークと大規模生産タスクの実証結果は、実用性、一般性、効率性の両面でその優位性を示している。 特に、このサービスは平均57.00%のメモリコストと、20イテレーションで25Kの本番環境でのCPUコストを34.93%削減している。

関連論文リスト

• Efficient Federated Learning Using Dynamic Update and Adaptive Pruning with Momentum on Shared Server Data [59.6985168241067]
  フェデレートラーニング(FL)は、低トレーニング効率と限られた計算資源の2つの重要な問題に遭遇する。 本稿では,サーバ上の共有不感データとエッジデバイスの分散データを活用するための新しいFLフレームワークであるFedDUMAPを提案する。 提案するFLモデルであるFedDUMAPは,従来の3つの手法を組み合わせることで,ベースラインアプローチと比較して性能が大幅に向上した。
  論文  参考訳（メタデータ） (2024-08-11T02:59:11Z)
• Controllable Prompt Tuning For Balancing Group Distributional Robustness [53.336515056479705]
  グループ間で優れたパフォーマンスを実現するための最適化スキームを導入し、それらの性能を著しく犠牲にすることなく、全員に良い解決策を見出す。 本稿では,制御可能なプロンプトチューニング(CPT)を提案する。 突発的相関ベンチマークでは, 変換器と非変換器の両アーキテクチャ, および非モーダルおよびマルチモーダルデータにまたがって, 最先端の結果が得られた。
  論文  参考訳（メタデータ） (2024-03-05T06:23:55Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• Score-Based Methods for Discrete Optimization in Deep Learning [30.446056972242616]
  このような問題を解決するためのスコアベース近似フレームワークについて検討する。 逆集合分類タスクにおいて,本手法は,手法に比べて速度と解の質において優れたトレードオフを達成できることを実験的に実証した。
  論文  参考訳（メタデータ） (2023-10-15T17:14:17Z)
• Large-Batch, Iteration-Efficient Neural Bayesian Design Optimization [37.339567743948955]
  本稿では,BOの限界に対処するための新しいベイズ最適化フレームワークを提案する。 我々の重要な貢献は、高度にスケーラブルでサンプルベースの取得機能であり、非支配的な目的のソートを実行する。 我々は,ベイズ型ニューラルネットワークサロゲートと組み合わせることで,最小限の反復数でデータ集約環境に有効であることを示す。
  論文  参考訳（メタデータ） (2023-06-01T19:10:57Z)
• Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
  置換フローショップスケジューリング(PFSS)は製造業で広く使われている。 我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。 我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
  論文  参考訳（メタデータ） (2022-10-31T09:46:26Z)
• TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent Kernels [141.29156234353133]
  最先端の凸学習手法は、クライアントが異なるデータ分布を持つ場合、集中型よりもはるかにパフォーマンスが劣る。 我々は、この格差は、非NISTityが提示した課題に大きく起因していることを示す。 本稿では,Train-Convexify Neural Network (TCT) 手法を提案する。
  論文  参考訳（メタデータ） (2022-07-13T16:58:22Z)
• Efficient Hyperparameter Tuning for Large Scale Kernel Ridge Regression [19.401624974011746]
  本稿では,データ依存型ペナルティに基づく複雑性正規化基準を提案し,その効率的な最適化について議論する。 提案手法の利点は,大規模カーネル手法のライブラリに組み込んで,適応的に調整されたソリューションを導出することにある。
  論文  参考訳（メタデータ） (2022-01-17T09:57:32Z)
• DeLag: Using Multi-Objective Optimization to Enhance the Detection of Latency Degradation Patterns in Service-based Systems [0.76146285961466]
  DeLagは,サービスベースシステムの性能問題を診断するための,新しい自動検索ベースのアプローチである。 DeLagは、精度、リコール、異種性を最適化しながら、複数のレイテンシパターンを同時に検索する。
  論文  参考訳（メタデータ） (2021-10-21T13:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。