Fugu-MT 論文翻訳(概要): CI at Scale: Lean, Green, and Fast

論文の概要: CI at Scale: Lean, Green, and Fast

arxiv url: http://arxiv.org/abs/2501.03440v1
Date: Tue, 07 Jan 2025 00:04:29 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-08 15:50:20.480591
Title: CI at Scale: Lean, Green, and Fast
Title（参考訳）: スケールでのCI:リーン、グリーン、高速
Authors: Dhruva Juloori, Zhongpeng Lin, Matthew Williams, Eddy Shin, Sonal Mahajan,
Abstract要約: SubmitQueueは、ビルドを投機的に実行し、結果が成功すると変更のみをランドするように設計されたシステムである。本稿では、リソース使用量の最適化とビルド優先順位の改善に重点を置いたSubmitQueueの拡張について紹介する。我々は、継続的インテグレーション(CI)リソース使用量を約53%削減し、CPU使用量を44%削減し、P95待ち時間を37%削減した。
参考スコア（独自算出の注目度）: 0.45046553422244356
License:
Abstract: Maintaining a "green" mainline branch, where all builds pass successfully, is crucial but challenging in fast-paced, large-scale software development environments, particularly with concurrent code changes in large monorepos. SubmitQueue, a system designed to address these challenges, speculatively executes builds and only lands changes with successful outcomes. However, despite its effectiveness, the system faces inefficiencies in resource utilization, leading to a high rate of premature build aborts and delays in landing smaller changes blocked by larger conflicting ones. This paper introduces enhancements to SubmitQueue, focusing on optimizing resource usage and improving build prioritization. Central to this is our innovative probabilistic model, which distinguishes between changes with shorter and longer build times to prioritize builds for more efficient scheduling. By leveraging a machine learning model to predict build times and incorporating this into the probabilistic framework, we expedite the landing of smaller changes blocked by conflicting larger time-consuming changes. Additionally, introducing a concept of speculation threshold ensures that only the most likely builds are executed, reducing unnecessary resource consumption. After implementing these enhancements across Uber's major monorepos (Go, iOS, and Android), we observed a reduction in Continuous Integration (CI) resource usage by approximately 53%, CPU usage by 44%, and P95 waiting times by 37%. These improvements highlight the enhanced efficiency of SubmitQueue in managing large-scale software changes while maintaining a green mainline.
Abstract（参考訳）: すべてのビルドが正常にパスする"グリーン"のメインラインブランチを維持することは、特に大規模なモノリポジトリにおいて、迅速なペースで大規模なソフトウェア開発環境において、極めて困難である。 SubmitQueueは、これらの課題に対処するために設計されたシステムで、投機的にビルドを実行し、成功した結果とともに変更のみをランドする。しかし、その効果にもかかわらず、このシステムは資源利用の非効率に直面するため、ビルド中止の早さと、より大きな衝突によってブロックされる小さな変更の着陸の遅れにつながる。本稿では、リソース使用量の最適化とビルド優先順位の改善に重点を置いたSubmitQueueの拡張について紹介する。これの中心は、より効率的なスケジューリングのためにビルドを優先順位付けするために、ビルド時間が短くて長い変更を区別する革新的な確率モデルです。機械学習モデルを利用してビルド時間を予測し、それを確率的フレームワークに組み込むことで、より大きな時間を要する変更と競合することによってブロックされる小さな変更のランディングを迅速化する。さらに、投機しきい値の概念を導入することで、最も可能性の高いビルドのみが実行されることを保証するため、不要なリソース消費を減らすことができる。これらの拡張をUberの主要なモノリポジトリ(Go、iOS、Android)で実施した後、継続的インテグレーション(CI)リソース使用量を約53%削減し、CPU使用量を44%削減し、P95待ち時間を37%削減した。これらの改善は、緑のメインラインを維持しながら、大規模なソフトウェア変更を管理する際のSubmitQueueの効率の向上を強調している。

関連論文リスト

The Efficiency vs. Accuracy Trade-off: Optimizing RAG-Enhanced LLM Recommender Systems Using Multi-Head Early Exit [46.37267466656765]
本稿では,Retrieval-Augmented Generation(RAG)と革新的なマルチヘッドアーリーエグジットアーキテクチャを組み合わせた最適化フレームワークを提案する。我々の実験は、信頼性の高いレコメンデーション配信に必要な精度を犠牲にすることなく、このアーキテクチャがいかに効果的に時間を削減するかを実証している。
論文参考訳（メタデータ） (2025-01-04T03:26:46Z)
Tackling the Dynamicity in a Production LLM Serving System with SOTA Optimizations via Hybrid Prefill/Decode/Verify Scheduling on Efficient Meta-kernels [12.77187564450236]
本稿では,多機能なAscendネイティブ,エンドツーエンド生産型大規模言語モデル(LLM)サービスシステムであるXY-Serveを紹介する。中心となる考え方は、計算をきめ細かいメタプリミティブに分解することで、ワークロードの変動を円滑にする抽象化メカニズムである。 GEMMでは,動的形状変化に適応する仮想パディング方式を導入し,高効率な固定タイルサイズGEMMプリミティブを用いた。
論文参考訳（メタデータ） (2024-12-24T02:27:44Z)
AsCAN: Asymmetric Convolution-Attention Networks for Efficient Recognition and Generation [48.82264764771652]
本稿では,畳み込みブロックと変圧器ブロックを組み合わせたハイブリッドアーキテクチャAsCANを紹介する。 AsCANは、認識、セグメンテーション、クラス条件画像生成など、さまざまなタスクをサポートしている。次に、同じアーキテクチャをスケールして、大規模なテキスト・イメージタスクを解決し、最先端のパフォーマンスを示す。
論文参考訳（メタデータ） (2024-11-07T18:43:17Z)
Path-Consistency: Prefix Enhancement for Efficient Inference in LLM [3.309813585671485]
textitpath-consistencyは、自己整合性においてランダムまたはあまり有用なサンプリングからエラーと冗長の両方を緩和する。 textitpath-consistencyは7.8%$から40.5%$までの推論遅延を著しく加速する。
論文参考訳（メタデータ） (2024-08-25T01:45:53Z)
RefreshNet: Learning Multiscale Dynamics through Hierarchical Refreshing [0.0]
RefreshNetの"リフレッシュ"メカニズムは、粗いブロックがより細かいブロックの入力をリセットし、エラーの蓄積を効果的に制御し緩和することを可能にする。 RefreshNetの"リフレッシュ"メカニズムは、粗いブロックがより細かいブロックの入力をリセットし、エラーの蓄積を効果的に制御し緩和することを可能にする。
論文参考訳（メタデータ） (2024-01-24T07:47:01Z)
Confident Adaptive Language Modeling [95.45272377648773]
CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
論文参考訳（メタデータ） (2022-07-14T17:00:19Z)
Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文参考訳（メタデータ） (2022-03-23T06:24:31Z)
Multi-Exit Semantic Segmentation Networks [78.44441236864057]
本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
論文参考訳（メタデータ） (2021-06-07T11:37:03Z)
GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文参考訳（メタデータ） (2021-02-16T11:45:35Z)
An Image Enhancing Pattern-based Sparsity for Real-time Inference on Mobile Devices [58.62801151916888]
パターンと接続性を組み合わせた新しい空間空間,すなわちパターンベースの空間空間を導入し,高度に正確かつハードウェアに親しみやすいものにした。新たなパターンベースの空間性に対する我々のアプローチは,モバイルプラットフォーム上での高効率DNN実行のためのコンパイラ最適化に自然に適合する。
論文参考訳（メタデータ） (2020-01-20T16:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。