論文の概要: On Efficient Constructions of Checkpoints
- arxiv url: http://arxiv.org/abs/2009.13003v1
- Date: Mon, 28 Sep 2020 01:20:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 20:55:11.737850
- Title: On Efficient Constructions of Checkpoints
- Title(参考訳): チェックポイントの効率的な構成について
- Authors: Yu Chen, Zhenming Liu, Bin Ren, Xin Jin
- Abstract要約: LC-Checkpoint(LC-Checkpoint)と呼ばれるチェックポイント構築のための損失圧縮手法を提案する。
LC-Checkpointは同時に圧縮速度を最大化し、回復速度を最適化する。
実験の結果,LC-Checkpointは圧縮速度を最大28倍に向上し,回収速度を5.77倍に向上させることができた。
- 参考スコア(独自算出の注目度): 21.965296582303115
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Efficient construction of checkpoints/snapshots is a critical tool for
training and diagnosing deep learning models. In this paper, we propose a lossy
compression scheme for checkpoint constructions (called LC-Checkpoint).
LC-Checkpoint simultaneously maximizes the compression rate and optimizes the
recovery speed, under the assumption that SGD is used to train the model.
LC-Checkpointuses quantization and priority promotion to store the most crucial
information for SGD to recover, and then uses a Huffman coding to leverage the
non-uniform distribution of the gradient scales. Our extensive experiments show
that LC-Checkpoint achieves a compression rate up to $28\times$ and recovery
speedup up to $5.77\times$ over a state-of-the-art algorithm (SCAR).
- Abstract(参考訳): チェックポイント/スナップショットの効率的な構築は、ディープラーニングモデルのトレーニングと診断のための重要なツールである。
本稿では,チェックポイント構造(LC-Checkpoint)の損失圧縮手法を提案する。
LC-Checkpointは、モデルのトレーニングにSGDを使用すると仮定して、同時に圧縮速度を最大化し、回復速度を最適化する。
LC-Checkpointは量子化と優先度の促進を行い、SGDの最も重要な情報を格納し、Huffman符号化を用いて勾配スケールの非一様分布を利用する。
我々の広範な実験により、LC-Checkpointは圧縮速度を最大28\times$、リカバリ速度を最大5.77\times$、最先端のアルゴリズム(SCAR)で達成している。
関連論文リスト
- Point Cloud Compression via Constrained Optimal Transport [10.795619052889952]
COT-PCCは最適輸送の余分な制約として圧縮された特徴を用いる。
元の点と再構成された点の間の分布変換を学習する。
COT-PCCはCDとPSNRの両方で最先端の手法より優れている。
論文 参考訳(メタデータ) (2024-03-13T04:36:24Z) - GliDe with a CaPE: A Low-Hassle Method to Accelerate Speculative
Decoding [81.01996600734616]
GliDe と CaPE を導入し,バニラ投機復号への2つの低ハードル修正を行った。
GliDeは、ターゲットのLLMからキャッシュされたキーと値を再利用する、修正されたドラフトモデルアーキテクチャである。
コード、データ、トレーニング済みのドラフトモデルをリリースします。
論文 参考訳(メタデータ) (2024-02-03T08:44:11Z) - Switch and Conquer: Efficient Algorithms By Switching Stochastic
Gradient Oracles For Decentralized Saddle Point Problems [1.2277343096128712]
そこで本研究では, 一次変数と双対変数の更新を可能にする非接触な原始的ハイブリッド勾配(非接触PDHG)法を開発した。
GSGとSVRGの最適収束位相を利用することで、C-DPSSGが低-ナトリウム精度の解を得るのに適していることを示す。
論文 参考訳(メタデータ) (2023-09-02T17:48:42Z) - RLSAC: Reinforcement Learning enhanced Sample Consensus for End-to-End
Robust Estimation [74.47709320443998]
RLSAC(Reinforcement Learning enhanced SAmple Consensus framework for end-to-end robust estimation)を提案する。
RLSACはグラフニューラルネットワークを用いて、データとメモリの特徴の両方を利用して探索方向を案内し、次の最小セットをサンプリングする。
実験の結果, RLSACは特徴から学習し, より優れた仮説を徐々に探求できることがわかった。
論文 参考訳(メタデータ) (2023-08-10T03:14:19Z) - DynaQuant: Compressing Deep Learning Training Checkpoints via Dynamic
Quantization [5.931507399723096]
最先端のアプローチには、モデル品質(精度)と圧縮比のトレードオフを引き起こす、損失のあるモデル圧縮機構が含まれる。
モデル重みの圧縮に対する感度がトレーニング中に変化し、異なる重みが異なる量子化レベルから恩恵を受けることを重要視する。
本稿では,非一様量子化,最適な量子化構成を動的に見つける効率的な探索機構,および量子化対応デルタ圧縮機構を提案する。
論文 参考訳(メタデータ) (2023-06-20T18:00:31Z) - LoRAPrune: Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [59.74018108967818]
低ランク適応(LoRA)は、安価に微調整された大型事前訓練モデル(LPM)に現れている。
LoRAPruneは、メモリ効率のよい推論のための正確でコンパクトなモデルを提供する新しいフレームワークである。
論文 参考訳(メタデータ) (2023-05-28T15:15:48Z) - Grad-PU: Arbitrary-Scale Point Cloud Upsampling via Gradient Descent
with Learned Distance Functions [77.32043242988738]
我々は、任意のアップサンプリングレートをサポートする、正確なポイントクラウドアップサンプリングのための新しいフレームワークを提案する。
提案手法は,まず,所定のアップサンプリング率に応じて低解像度の雲を補間する。
論文 参考訳(メタデータ) (2023-04-24T06:36:35Z) - GPCO: An Unsupervised Green Point Cloud Odometry Method [64.86292006892093]
軽量な点状クラウド・オドメトリー法を提案し, GPCO法と名付けた。
GPCOは、連続点雲スキャンの特徴と一致することによって物体の動きを予測する教師なし学習法である。
GPCOは、モデルサイズが大幅に小さく、トレーニング時間も少ないのに対して、ディープラーニング手法のベンチマークを精度で上回ることが観察された。
論文 参考訳(メタデータ) (2021-12-08T00:24:03Z) - Layer Pruning on Demand with Intermediate CTC [50.509073206630994]
我々はコネクショニスト時間分類(CTC)に基づくASRの訓練と刈り取り方法を提案する。
本稿では,Transformer-CTCモデルをオンデマンドで様々な深さでプルーニングできることを示し,GPU上でのリアルタイム係数を0.005から0.002に改善した。
論文 参考訳(メタデータ) (2021-06-17T02:40:18Z) - CPR: Understanding and Improving Failure Tolerant Training for Deep
Learning Recommendation with Partial Recovery [8.754247642083948]
本稿では,リコメンデーションモデルのための部分的リカバリトレーニングシステムであるCPRを提案する。
CPRは、トレーニング中にノードがフェールした場合にチェックポイントをロードすることなく、非フェールノードの進行を可能にすることで、一貫性要件を緩和する。
CPRの2種類のCPR-MFUとCPR-SSUは、チェックポイント関連のオーバーヘッドをフルリカバリと比較して8.2-8.5%から0.53-0.68%に削減した。
論文 参考訳(メタデータ) (2020-11-05T17:54:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。