論文の概要: Doctor: Optimizing Container Rebuild Efficiency by Instruction Re-Orchestration
- arxiv url: http://arxiv.org/abs/2504.01742v1
- Date: Wed, 02 Apr 2025 13:53:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-03 13:23:51.577442
- Title: Doctor: Optimizing Container Rebuild Efficiency by Instruction Re-Orchestration
- Title(参考訳): Doctor: インストラクション再オーケストレーションによるコンテナのリビルド効率の最適化
- Authors: Zhiling Zhu, Tieming Chen, Chengwei Liu, Han Liu, Qijie Song, Zhengzi Xu, Yang Liu,
- Abstract要約: 命令の再注文によってDockerfileのビルド効率を改善する方法であるDoctorを提案する。
我々はDockerfileの構文に基づく依存性分類と、頻繁に修正される命令を優先順位付けするための履歴修正分析を開発した。
実験の結果、Doctorは92.75%のDockerfileを改善し、ビルド時間を平均26.5%削減し、ファイルの12.82%が50%以上削減された。
- 参考スコア(独自算出の注目度): 11.027705516378875
- License:
- Abstract: Containerization has revolutionized software deployment, with Docker leading the way due to its ease of use and consistent runtime environment. As Docker usage grows, optimizing Dockerfile performance, particularly by reducing rebuild time, has become essential for maintaining efficient CI/CD pipelines. However, existing optimization approaches primarily address single builds without considering the recurring rebuild costs associated with modifications and evolution, limiting long-term efficiency gains. To bridge this gap, we present Doctor, a method for improving Dockerfile build efficiency through instruction re-ordering that addresses key challenges: identifying instruction dependencies, predicting future modifications, ensuring behavioral equivalence, and managing the optimization computational complexity. We developed a comprehensive dependency taxonomy based on Dockerfile syntax and a historical modification analysis to prioritize frequently modified instructions. Using a weighted topological sorting algorithm, Doctor optimizes instruction order to minimize future rebuild time while maintaining functionality. Experiments on 2,000 GitHub repositories show that Doctor improves 92.75% of Dockerfiles, reducing rebuild time by an average of 26.5%, with 12.82% of files achieving over a 50% reduction. Notably, 86.2% of cases preserve functional similarity. These findings highlight best practices for Dockerfile management, enabling developers to enhance Docker efficiency through informed optimization strategies.
- Abstract(参考訳): コンテナ化はソフトウェアデプロイメントに革命をもたらしており、Dockerは使いやすさと一貫したランタイム環境のために道をリードしている。
Dockerの利用が増加するにつれて、Dockerfileのパフォーマンスの最適化、特に再構築時間の短縮が、効率的なCI/CDパイプラインを維持する上で不可欠になっている。
しかし、既存の最適化アプローチは、変更や進化に伴う再ビルドコストを考慮せずに単一ビルドに対処し、長期的な効率性の向上を制限している。
このギャップを埋めるために、私たちは、命令の依存関係の特定、将来の修正の予測、振る舞いの等価性の確保、最適化計算の複雑さの管理といった重要な課題に対処する命令の再注文を通じて、Dockerfileのビルド効率を改善する方法であるDoctorを紹介します。
我々はDockerfile構文に基づく包括的な依存関係分類と、頻繁に修正される命令を優先順位付けするための履歴修正分析を開発した。
重み付きトポロジカルソートアルゴリズムを用いて、Doctorは、機能を維持しながら将来の再構築時間を最小化する命令順序を最適化する。
2,000のGitHubリポジトリの実験によると、Doctorは、Dockerfileの92.75%を改善し、ビルド時間を平均26.5%削減し、ファイルの12.82%が50%以上削減されている。
特に86.2%の症例は機能的類似性を保っている。
これらの調査結果はDockerfile管理のベストプラクティスを強調しており、開発者はインフォームドオプティマイゼーション戦略を通じてDockerの効率を向上させることができる。
関連論文リスト
- An LLM-based Agent for Reliable Docker Environment Configuration [9.436480907117415]
Repo2Runは環境設定を完全に自動化し、任意のPythonリポジトリに対して実行可能なDockerfileを生成するように設計されたエージェントである。
1) LLMエージェントが分離されたDockerコンテナ内の環境を構成できるようにし、(2) 正常な設定プロセスが記録され、エラーなく正確にDockerfileに転送されることを保証する。
Repo2Runonが提案した420のPythonレポジトリとユニットテストのベンチマークを評価し、86.4%の成功率で、ベースラインを63.9%上回った。
論文 参考訳(メタデータ) (2025-02-19T12:51:35Z) - Refactoring for Dockerfile Quality: A Dive into Developer Practices and Automation Potential [0.0]
本稿では,358のオープンソースプロジェクトの600fileを使用したDockerfileの自動化の有用性と実用性について検討する。
提案手法では,画像サイズが平均32%減少し,ビルド期間が6%減少し,77%,91%の症例で理解性と保守性が向上した。
論文 参考訳(メタデータ) (2025-01-23T23:10:47Z) - CI at Scale: Lean, Green, and Fast [0.45046553422244356]
SubmitQueueは、ビルドを投機的に実行し、結果が成功すると変更のみをランドするように設計されたシステムである。
本稿では、リソース使用量の最適化とビルド優先順位の改善に重点を置いたSubmitQueueの拡張について紹介する。
我々は、継続的インテグレーション(CI)リソース使用量を約53%削減し、CPU使用量を44%削減し、P95待ち時間を37%削減した。
論文 参考訳(メタデータ) (2025-01-07T00:04:29Z) - DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。
大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
論文 参考訳(メタデータ) (2024-10-04T19:30:39Z) - Dockerfile Flakiness: Characterization and Repair [6.518508607788089]
Dockerfileのフレキネスに関する最初の包括的な研究で、Docker化された8,132のプロジェクトの9ヶ月にわたる分析を特徴としている。
本稿では,依存性エラーやサーバ接続の問題など,一般的なフラキネスの原因を分類する分類法を提案する。
静的および動的解析,類似性検索,および大規模言語モデルを用いた反復的フィードバックループを組み合わせた新しい修復フレームワークであるFLAKIDOCKを紹介する。
論文 参考訳(メタデータ) (2024-08-09T23:17:56Z) - DRIVE: Dockerfile Rule Mining and Violation Detection [6.510749313511299]
DockerfileはDockerイメージを構築するための一連の命令を定義し、コンテナ化されたアプリケーションをサポートするためにインスタンス化することができる。
最近の研究は、Dockerfileのかなりの品質問題を明らかにしている。
我々は、暗黙のルールをマイニングし、Dockerfileでそのようなルールの潜在的な違反を検出する新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-12-12T01:15:30Z) - VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。
私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。
学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
論文 参考訳(メタデータ) (2022-11-17T18:39:07Z) - Online Convolutional Re-parameterization [51.97831675242173]
2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。
最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。
また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
論文 参考訳(メタデータ) (2022-04-02T09:50:19Z) - Gradient Coding with Dynamic Clustering for Straggler-Tolerant
Distributed Learning [55.052517095437]
勾配降下(GD)は、複数の労働者にデータセットを分散することで学習タスクの並列化に広く用いられている。
分散同期gdにおけるイテレーション完了時間ごとの重要なパフォーマンスボトルネックは$straggling$ workersである。
コード化された分散技術は、最近ストラグラーを緩和し、労働者に冗長な計算を割り当てることでgdイテレーションを高速化するために導入された。
本稿では,従来のトラグリング動作に依存する可能性のあるコードの中から,冗長なデータを労働者に割り当てて選択する動的GC方式を提案する。
論文 参考訳(メタデータ) (2021-03-01T18:51:29Z) - Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。
diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
論文 参考訳(メタデータ) (2020-12-14T12:34:01Z) - Tasks, stability, architecture, and compute: Training more effective
learned optimizers, and using them to train themselves [53.37905268850274]
我々は、自動正規化を実現するために、バリデーション損失などの追加機能にアクセス可能な、階層的で階層的なニューラルネットワークパラメータ化を導入した。
ほとんどの学習は単一のタスク、あるいは少数のタスクでトレーニングされています。
何千ものタスクをトレーニングし、桁違いに計算量を増やし、その結果、目に見えないタスクよりも優れたパフォーマンスの一般化を実現します。
論文 参考訳(メタデータ) (2020-09-23T16:35:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。