論文の概要: FFCV: Accelerating Training by Removing Data Bottlenecks

• arxiv url: http://arxiv.org/abs/2306.12517v1
• Date: Wed, 21 Jun 2023 19:06:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-23 16:22:29.224359
• Title: FFCV: Accelerating Training by Removing Data Bottlenecks
• Title（参考訳）: FFCV: データボトルネックの除去によるトレーニングの高速化
• Authors: Guillaume Leclerc, Andrew Ilyas, Logan Engstrom, Sung Min Park, Hadi Salman, Aleksander Madry
• Abstract要約: 本稿では,機械学習モデルトレーニングを容易かつ高速に行うためのライブラリであるFFCVを紹介する。 トレーニングプロセスから(しばしば微妙な)データのボトルネックを取り除くことで、モデルトレーニングを高速化する。 詳細なインストール手順、ドキュメンテーション、Slackサポートチャネルはhttps://ffcv.io/.com/で公開されている。
• 参考スコア（独自算出の注目度）: 84.89623507733963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present FFCV, a library for easy and fast machine learning model training. FFCV speeds up model training by eliminating (often subtle) data bottlenecks from the training process. In particular, we combine techniques such as an efficient file storage format, caching, data pre-loading, asynchronous data transfer, and just-in-time compilation to (a) make data loading and transfer significantly more efficient, ensuring that GPUs can reach full utilization; and (b) offload as much data processing as possible to the CPU asynchronously, freeing GPU cycles for training. Using FFCV, we train ResNet-18 and ResNet-50 on the ImageNet dataset with competitive tradeoff between accuracy and training time. For example, we are able to train an ImageNet ResNet-50 model to 75\% in only 20 mins on a single machine. We demonstrate FFCV's performance, ease-of-use, extensibility, and ability to adapt to resource constraints through several case studies. Detailed installation instructions, documentation, and Slack support channel are available at https://ffcv.io/ .
• Abstract（参考訳）: 簡単な機械学習モデルトレーニングのためのライブラリであるFFCVを紹介する。 FFCVはトレーニングプロセスから(しばしば微妙な)データのボトルネックを取り除くことで、モデルのトレーニングを高速化する。 特に、効率的なファイルストレージフォーマット、キャッシュ、データのプリロード、非同期データ転送、ジャスト・イン・タイムコンパイルといったテクニックを組み合わせています。 (a)データのロードと転送を著しく効率化し、GPUがフル活用できることを保証する。 b) 可能な限り多くのデータ処理をCPUに非同期にオフロードし、トレーニング用のGPUサイクルを解放する。 FFCVを用いて、ImageNetデータセット上でResNet-18とResNet-50をトレーニングし、精度とトレーニング時間の間の競合的なトレードオフがある。 例えば、1台のマシンでたった20分で、ImageNet ResNet-50モデルを75%にトレーニングできます。 FFCVの性能,使いやすさ,拡張性,資源制約に適応する能力について,いくつかのケーススタディを通じて紹介する。 インストール手順、ドキュメンテーション、slackサポートチャネルの詳細はhttps://ffcv.io/。

関連論文リスト

• TensorSocket: Shared Data Loading for Deep Learning Training [0.0]
  ディープラーニングトレーニングは反復的かつリソース集約的なプロセスである。 socketは、同じデータローダを共有する同時トレーニングプロセスを可能にする。 評価の結果,データ共有なしでは実現不可能なシナリオが実現でき,トレーニングのスループットを最大で100%向上できることがわかった。
  論文  参考訳（メタデータ） (2024-09-27T13:39:47Z)
• Effective pruning of web-scale datasets based on complexity of concept clusters [48.125618324485195]
  本稿では,大規模なマルチモーダルデータセットを抽出し,イメージネット上でCLIPスタイルのモデルを訓練する手法を提案する。 高品質なデータのより小さなセットでのトレーニングは、トレーニングコストを大幅に削減して、より高いパフォーマンスをもたらす可能性があることに気付きました。 我々は38の評価タスクにおいて、新しい最先端のImagehttps://info.arxiv.org/help/prep#commentsネットゼロショット精度と競合平均ゼロショット精度を実現する。
  論文  参考訳（メタデータ） (2024-01-09T14:32:24Z)
• Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
  フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
  論文  参考訳（メタデータ） (2023-12-23T07:47:07Z)
• Dataset Quantization [72.61936019738076]
  大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。 DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
  論文  参考訳（メタデータ） (2023-08-21T07:24:29Z)
• CiT: Curation in Training for Effective Vision-Language Data [84.77867625605053]
  本稿では,学習対象を学習対象とする視覚テキスト学習アルゴリズムであるCuration in Training (CiT)を提案する。 CiTは、コントラストのある画像テキストトレーニングを高速化するために、品質データを自動生成する。 我々は,特に生データサイズが大きい場合,CitTが1桁以上のトレーニングを高速化できることを観察した。
  論文  参考訳（メタデータ） (2023-01-05T18:59:57Z)
• Towards Efficient and Data Agnostic Image Classification Training Pipeline for Embedded Systems [0.0]
  本研究は,画像分類における最新の拡張および正規化手法の見直しに重点を置いている。 各タスクにパラメータを手動で調整することなく、様々なダウンストリーム画像分類タスクにおいて合理的なパフォーマンスを実現することができる。 結果モデルは計算効率が良く、OpenVINOツールキットを使ってCPUにデプロイできる。
  論文  参考訳（メタデータ） (2021-08-16T12:38:05Z)
• ScaleFreeCTR: MixCache-based Distributed Training System for CTR Models with Huge Embedding Table [23.264897780201316]
  様々なCTR(Deep Click-Through Rate)モデルが工業企業によって商用システムに展開されています。 優れた性能を得るためには、大量のトレーニングデータに基づいて深部CTRモデルを効率的に訓練する必要がある。 ScaleFreeCTR:CTRモデルのためのMixCacheベースの分散トレーニングシステムを提案する。
  論文  参考訳（メタデータ） (2021-04-17T13:36:19Z)
• EfficientNetV2: Smaller Models and Faster Training [91.77432224225221]
  本稿では,従来のモデルよりも高速な学習速度とパラメータ効率を有する畳み込みネットワークであるEfficientNetV2を紹介する。 トレーニング対応のニューラルネットワークアーキテクチャ検索とスケーリングを組み合わせて、トレーニング速度とパラメータ効率を共同で最適化します。 実験の結果,EfficientNetV2モデルは最先端モデルよりも最大6.8倍の速度でトレーニングできることがわかった。
  論文  参考訳（メタデータ） (2021-04-01T07:08:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。