Fugu-MT 論文翻訳(概要): On Efficient Constructions of Checkpoints

論文の概要: On Efficient Constructions of Checkpoints

arxiv url: http://arxiv.org/abs/2009.13003v1
Date: Mon, 28 Sep 2020 01:20:15 GMT
ステータス: 処理完了
システム内更新日: 2022-10-13 20:55:11.737850
Title: On Efficient Constructions of Checkpoints
Title（参考訳）: チェックポイントの効率的な構成について
Authors: Yu Chen, Zhenming Liu, Bin Ren, Xin Jin
Abstract要約: LC-Checkpoint(LC-Checkpoint)と呼ばれるチェックポイント構築のための損失圧縮手法を提案する。 LC-Checkpointは同時に圧縮速度を最大化し、回復速度を最適化する。実験の結果,LC-Checkpointは圧縮速度を最大28倍に向上し,回収速度を5.77倍に向上させることができた。
参考スコア（独自算出の注目度）: 21.965296582303115
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: Efficient construction of checkpoints/snapshots is a critical tool for training and diagnosing deep learning models. In this paper, we propose a lossy compression scheme for checkpoint constructions (called LC-Checkpoint). LC-Checkpoint simultaneously maximizes the compression rate and optimizes the recovery speed, under the assumption that SGD is used to train the model. LC-Checkpointuses quantization and priority promotion to store the most crucial information for SGD to recover, and then uses a Huffman coding to leverage the non-uniform distribution of the gradient scales. Our extensive experiments show that LC-Checkpoint achieves a compression rate up to $28\times$ and recovery speedup up to $5.77\times$ over a state-of-the-art algorithm (SCAR).
Abstract（参考訳）: チェックポイント/スナップショットの効率的な構築は、ディープラーニングモデルのトレーニングと診断のための重要なツールである。本稿では,チェックポイント構造(LC-Checkpoint)の損失圧縮手法を提案する。 LC-Checkpointは、モデルのトレーニングにSGDを使用すると仮定して、同時に圧縮速度を最大化し、回復速度を最適化する。 LC-Checkpointは量子化と優先度の促進を行い、SGDの最も重要な情報を格納し、Huffman符号化を用いて勾配スケールの非一様分布を利用する。我々の広範な実験により、LC-Checkpointは圧縮速度を最大28\times$、リカバリ速度を最大5.77\times$、最先端のアルゴリズム(SCAR)で達成している。

関連論文リスト

LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
論文参考訳（メタデータ） (2024-10-04T03:10:53Z)
ByteCheckpoint: A Unified Checkpointing System for Large Foundation Model Development [9.13331802151585]
ByteCheckpoint は大規模 LFM トレーニングのための産業レベルのチェックポイントシステムである。 ByteCheckpoint はチェックポイントストールを著しく減少させ、平均54.20倍の減少を達成する。 ByteCheckpointは、保存時間とロード時間を最大9.96倍と8.80倍に改善した。
論文参考訳（メタデータ） (2024-07-29T16:18:20Z)
FastPersist: Accelerating Model Checkpointing in Deep Learning [21.308403847800573]
本稿では,Deep Learning(DL)トレーニングにおけるチェックポイント生成の高速化を目的としたFastPersistを提案する。 FastPersistは、(i)高速なチェックポイント書き込みと推論のための最適化、(ii)トレーニング環境で利用可能な効率的な書き込み並列化、(iii)独立したトレーニング計算と重複するチェックポイント処理の3つの新しいテクニックを組み合わせる。我々の評価では、FastPersistは、ベースラインよりも最大116倍高速な永続ストレージでチェックポイントを生成し、無視できるオーバーヘッドでイテレーション毎のチェックポイントを可能にする。
論文参考訳（メタデータ） (2024-06-19T18:31:23Z)
ExCP: Extreme LLM Checkpoint Compression via Weight-Momentum Joint Shrinking [39.02269424136506]
大規模言語モデル(LLM)は最近、人工知能の分野で大きな注目を集めている。本稿では,エクストリームチェックポイント圧縮(Exreme Checkpoint Compression, ExCP)フレームワークを提案する。提案した ExCP フレームワークを,410M から 7B のパラメータを含む複数のモデルで広範囲に評価し,高い性能を維持しつつ,ストレージの大幅な削減を実証した。
論文参考訳（メタデータ） (2024-06-17T06:47:29Z)
Linear Combination of Saved Checkpoints Makes Consistency and Diffusion Models Better [31.67038902035949]
Diffusion Models (DM) と Consistency Models (CM) は、様々なタスクにおいて優れた生成品質を持つ人気のある生成モデルである。本研究では,SGDでは到達できないが,適切なチェックポイント平均化によって得られるような,高品質なモデルウェイトがしばしば存在することを明らかにする。進化探索から導出される係数とトレーニング軌道に沿ったチェックポイントを組み合わせることで,DMとCMの性能を向上させる,シンプルで効率的かつ効率的なLCSCを提案する。
論文参考訳（メタデータ） (2024-04-02T18:59:39Z)
GliDe with a CaPE: A Low-Hassle Method to Accelerate Speculative Decoding [81.01996600734616]
GliDe と CaPE を導入し,バニラ投機復号への2つの低ハードル修正を行った。 GliDeは、ターゲットのLLMからキャッシュされたキーと値を再利用する、修正されたドラフトモデルアーキテクチャである。コード、データ、トレーニング済みのドラフトモデルをリリースします。
論文参考訳（メタデータ） (2024-02-03T08:44:11Z)
RLSAC: Reinforcement Learning enhanced Sample Consensus for End-to-End Robust Estimation [74.47709320443998]
RLSAC(Reinforcement Learning enhanced SAmple Consensus framework for end-to-end robust estimation)を提案する。 RLSACはグラフニューラルネットワークを用いて、データとメモリの特徴の両方を利用して探索方向を案内し、次の最小セットをサンプリングする。実験の結果, RLSACは特徴から学習し, より優れた仮説を徐々に探求できることがわかった。
論文参考訳（メタデータ） (2023-08-10T03:14:19Z)
Inshrinkerator: Compressing Deep Learning Training Checkpoints via Dynamic Quantization [5.648270790530862]
最先端のアプローチには、結果のモデル品質(精度)と圧縮比とのトレードオフを引き起こす、損失のあるモデル圧縮機構が含まれる。モデル重みの圧縮に対する感度がトレーニング中に変化し、異なる重みが異なる量子化レベルから恩恵を受けることを重要視する。本稿では,この変動を利用した非一様量子化手法,最適な量子化構成を動的に見つける効率的な探索機構,重みを再構成してチェックポイント差を最小限に抑える量子化対応デルタ圧縮機構を提案する。
論文参考訳（メタデータ） (2023-06-20T18:00:31Z)
Grad-PU: Arbitrary-Scale Point Cloud Upsampling via Gradient Descent with Learned Distance Functions [77.32043242988738]
我々は、任意のアップサンプリングレートをサポートする、正確なポイントクラウドアップサンプリングのための新しいフレームワークを提案する。提案手法は,まず,所定のアップサンプリング率に応じて低解像度の雲を補間する。
論文参考訳（メタデータ） (2023-04-24T06:36:35Z)
GPCO: An Unsupervised Green Point Cloud Odometry Method [64.86292006892093]
軽量な点状クラウド・オドメトリー法を提案し, GPCO法と名付けた。 GPCOは、連続点雲スキャンの特徴と一致することによって物体の動きを予測する教師なし学習法である。 GPCOは、モデルサイズが大幅に小さく、トレーニング時間も少ないのに対して、ディープラーニング手法のベンチマークを精度で上回ることが観察された。
論文参考訳（メタデータ） (2021-12-08T00:24:03Z)
Layer Pruning on Demand with Intermediate CTC [50.509073206630994]
我々はコネクショニスト時間分類(CTC)に基づくASRの訓練と刈り取り方法を提案する。本稿では,Transformer-CTCモデルをオンデマンドで様々な深さでプルーニングできることを示し,GPU上でのリアルタイム係数を0.005から0.002に改善した。
論文参考訳（メタデータ） (2021-06-17T02:40:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。