論文の概要: Charliecloud's layer-free, Git-based container build cache
- arxiv url: http://arxiv.org/abs/2309.00166v1
- Date: Thu, 31 Aug 2023 23:05:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 11:32:26.905285
- Title: Charliecloud's layer-free, Git-based container build cache
- Title(参考訳): charliecloudのレイヤフリーでgitベースのコンテナビルドキャッシュ
- Authors: Reid Priedhorsky (1), Jordan Ogas (1), Claude H. (Rusty) Davis IV (1),
Z. Noah Hounshel (1 and 2), Ashlyn Lee (1 and 3), Benjamin Stormer (1 and 4),
R. Shane Goff (1) ((1) Los Alamos National Laboratory, (2) University of
North Carolina Wilmington, (3) Colorado State University, (4) University of
Texas at Austin)
- Abstract要約: このイメージは、機械可読なレシピで命令を解釈することで構築されます。
標準アプローチは多層結合であり、層間の差異をtarアーカイブとしてエンコードする。
私たちの実験では、これはビルド時間とディスク使用量の両方で階層化されたキャッシュと同じようなパフォーマンスを示しており、多くの命令のレシピにかなりの利点があります。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A popular approach to deploying scientific applications in high performance
computing (HPC) is Linux containers, which package an application and all its
dependencies as a single unit. This image is built by interpreting instructions
in a machine-readable recipe, which is faster with a build cache that stores
instruction results for re-use. The standard approach (used e.g. by Docker and
Podman) is a many-layered union filesystem, encoding differences between layers
as tar archives.
Our experiments show this performs similarly to layered caches on both build
time and disk usage, with a considerable advantage for many-instruction
recipes. Our approach also has structural advantages: better diff format, lower
cache overhead, and better file de-duplication. These results show that a
Git-based cache for layer-free container implementations is not only possible
but may outperform the layered approach on important dimensions.
- Abstract(参考訳): ハイパフォーマンスコンピューティング(hpc)に科学的アプリケーションをデプロイする一般的なアプローチは、アプリケーションとその依存物を単一のユニットとしてパッケージするlinuxコンテナである。
このイメージは、機械可読なレシピで命令を解釈することで構築され、再使用のために命令結果を格納するビルドキャッシュでより高速になる。
標準的なアプローチ(例えばDockerとPodmanが使用)は多層結合ファイルシステムであり、層間の差異をtarアーカイブとしてエンコードする。
私たちの実験では、これはビルド時間とディスク使用量の両方で階層化されたキャッシュと同様に動作し、多くの命令のレシピにかなりの利点があります。
私たちのアプローチには、差分フォーマットの改善、キャッシュオーバーヘッドの低減、ファイル重複の削減といった、構造的なメリットもあります。
これらの結果は、レイヤフリーなコンテナ実装のためのgitベースのキャッシュは可能であるだけでなく、重要な次元でレイヤ化されたアプローチを上回る可能性があることを示している。
関連論文リスト
- Get More with LESS: Synthesizing Recurrence with KV Cache Compression
for Efficient LLM Inference [83.34219335496073]
我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。
既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。
本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
論文 参考訳(メタデータ) (2024-02-14T18:54:56Z) - HDCC: A Hyperdimensional Computing compiler for classification on
embedded systems and high-performance computing [58.720142291102135]
この研究は、HDC分類メソッドの高レベルな記述を最適化されたCコードに変換する最初のオープンソースコンパイラである、ネームコンパイラを紹介している。
nameは現代のコンパイラのように設計されており、直感的で記述的な入力言語、中間表現(IR)、再ターゲット可能なバックエンドを備えている。
これらの主張を裏付けるために,HDC文献で最もよく使われているデータセットについて,HDCCを用いて実験を行った。
論文 参考訳(メタデータ) (2023-04-24T19:16:03Z) - NASiam: Efficient Representation Learning using Neural Architecture
Search for Siamese Networks [76.8112416450677]
シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。
NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。
NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
論文 参考訳(メタデータ) (2023-01-31T19:48:37Z) - Training Personalized Recommendation Systems from (GPU) Scratch: Look
Forward not Backwards [1.7733623930581417]
パーソナライズドレコメンデーションモデル(RecSys)は、ハイパースケーラによって提供される最も人気のある機械学習ワークロードの1つである。
RecSysをトレーニングする上で重要な課題は、その高いメモリ容量要件であり、数百GBからTBのモデルサイズに到達している。
RecSysでは、いわゆる埋め込み層がメモリ使用の大部分を占めるため、現在のシステムでは、メモリ空腹層を格納する大きなCPUメモリを格納するために、ハイブリッドCPU-GPU設計を採用している。
論文 参考訳(メタデータ) (2022-05-10T07:05:20Z) - Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。
Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。
Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
論文 参考訳(メタデータ) (2022-03-29T03:06:16Z) - CleanRL: High-quality Single-file Implementations of Deep Reinforcement
Learning Algorithms [0.0]
CleanRLはオープンソースのライブラリで、Deep Reinforcement Learningアルゴリズムの高品質なシングルファイル実装を提供する。
シンプルでスケーラブルな開発エクスペリエンスを提供し、運用ツールをシンプルに統合します。
論文 参考訳(メタデータ) (2021-11-16T22:44:56Z) - ASH: A Modern Framework for Parallel Spatial Hashing in 3D Perception [91.24236600199542]
ASHは、GPU上の並列空間ハッシュのためのモダンで高性能なフレームワークである。
ASHはより高いパフォーマンスを実現し、よりリッチな機能をサポートし、より少ないコード行を必要とする。
ASHとそのサンプルアプリケーションはOpen3Dでオープンソース化されている。
論文 参考訳(メタデータ) (2021-10-01T16:25:40Z) - Quantization for Distributed Optimization [0.0]
本稿では,バニラSGDの性能を維持しながら通信オーバヘッドを大幅に低減する全リデュース勾配対応圧縮方式を提案する。
我々の圧縮手法は、現在ディープラーニングフレームワークによって提供されている工法よりも優れています。
論文 参考訳(メタデータ) (2021-09-26T05:16:12Z) - Prioritized Architecture Sampling with Monto-Carlo Tree Search [54.72096546595955]
ワンショットニューラルアーキテクチャサーチ(NAS)法は,検索空間全体を1つのネットワークとして考えることにより,検索コストを大幅に削減する。
本稿では,モンテカルロ木(MCT)をモデルとした探索空間を用いたモンテカルロ木探索(MCTS)に基づくサンプリング戦略について紹介する。
公平な比較のために、CIFAR-10で評価されたマクロ検索空間、すなわちNAS-Bench-MacroのオープンソースNASベンチマークを構築する。
論文 参考訳(メタデータ) (2021-03-22T15:09:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。