論文の概要: MHLR: Moving Haar Learning Rate Scheduler for Large-scale Face Recognition Training with One GPU

• arxiv url: http://arxiv.org/abs/2404.11118v1
• Date: Wed, 17 Apr 2024 07:06:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 15:04:52.080180
• Title: MHLR: Moving Haar Learning Rate Scheduler for Large-scale Face Recognition Training with One GPU
• Title（参考訳）: MHLR:1つのGPUを用いた大規模顔認識訓練のための移動ハードル学習率スケジューリング
• Authors: Xueyuan Gong, Yain-whar Si, Zheng Zhang, Xiaochen Yuan, Ke Wang, Xinyuan Zhang, Cong Lin, Xiaoxiang Liu,
• Abstract要約: 本稿では,学習過程において,学習率を迅速かつ正確にスケジューリングするための移動ハーアー学習率(MHLR)スケジューラを提案する。 MHLRは1つのGPUで大規模なFRトレーニングをサポートしており、1%以上の精度を犠牲にすることなく、オリジナルのトレーニング時間の1/4までモデルを加速することができる。
• 参考スコア（独自算出の注目度）: 13.132285067667171
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Face recognition (FR) has seen significant advancements due to the utilization of large-scale datasets. Training deep FR models on large-scale datasets with multiple GPUs is now a common practice. In fact, computing power has evolved into a foundational and indispensable resource in the area of deep learning. It is nearly impossible to train a deep FR model without holding adequate hardware resources. Recognizing this challenge, some FR approaches have started exploring ways to reduce the time complexity of the fully-connected layer in FR models. Unlike other approaches, this paper introduces a simple yet highly effective approach, Moving Haar Learning Rate (MHLR) scheduler, for scheduling the learning rate promptly and accurately in the training process. MHLR supports large-scale FR training with only one GPU, which is able to accelerate the model to 1/4 of its original training time without sacrificing more than 1% accuracy. More specifically, MHLR only needs $30$ hours to train the model ResNet100 on the dataset WebFace12M containing more than 12M face images with 0.6M identities. Extensive experiments validate the efficiency and effectiveness of MHLR.
• Abstract（参考訳）: 顔認識(FR)は、大規模データセットの利用により大幅に進歩している。 大規模データセット上で複数のGPUでディープラーニングFRモデルをトレーニングすることは、今や一般的なプラクティスです。 実際、コンピューティングのパワーは、ディープラーニングの分野で基礎的で必要不可欠なリソースへと進化してきた。 ハードウェアリソースを十分に保持することなく、深いFRモデルをトレーニングすることはほぼ不可能である。 この課題を認識したいくつかのFRアプローチは、FRモデルにおける完全連結層の時間的複雑さを低減する方法を模索し始めた。 他の手法と異なり,本研究では,学習過程において,学習率を迅速かつ正確にスケジューリングするための,移動ハーアー学習率(MHLR)スケジューラを提案する。 MHLRは1つのGPUで大規模なFRトレーニングをサポートしており、1%以上の精度を犠牲にすることなく、オリジナルのトレーニング時間の1/4までモデルを加速することができる。 より具体的に言うと、MHLRはデータセットのWebFace12MでモデルResNet100をトレーニングするのに30ドルしか必要とせず、0.6MのIDを持つ1200万以上の顔画像を含んでいる。 大規模な実験は、MHLRの有効性と有効性を検証する。

関連論文リスト

• Photon: Federated LLM Pre-Training [17.368070785118654]
  我々は、フェデレーション・エンド・ツー・エンドLLMトレーニングのための最初の完全システムであるPhotonを紹介する。 我々は、Photonが7Bまでのモデルサイズをフェデレートでトレーニングできる一方で、集中的な事前トレーニングよりもさらに複雑であることを示す。
  論文  参考訳（メタデータ） (2024-11-05T08:48:25Z)
• Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
  大規模言語モデル(LLM)の事前トレーニングは伝統的に、Webスケールデータセットからランダムにサンプリングされたデータブロックの自己回帰言語モデリングに依存している。 我々は、空間的反復のような人間の学習技術からインスピレーションを得て、LLMのランダムなデータサンプリングが、データを忘れがちな高いトレーニングコストと低品質モデルをもたらすという仮説を立てる。 ウェブスケール情報を長期記憶に効果的にコミットするために,LFR(Learn, Focus, and Review)ペタゴギーを提案する。
  論文  参考訳（メタデータ） (2024-09-10T00:59:18Z)
• Always-Sparse Training by Growing Connections with Guided Stochastic Exploration [46.4179239171213]
  本研究では,より大規模かつスペーサーなモデルへのスケーリングに優れる,効率的な常時スパーストレーニングアルゴリズムを提案する。 我々は,VGGモデルとVTモデルを用いて,CIFAR-10/100 と ImageNet の手法を評価し,様々なスペーサー化手法と比較した。
  論文  参考訳（メタデータ） (2024-01-12T21:32:04Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• Towards Federated Learning Under Resource Constraints via Layer-wise Training and Depth Dropout [33.308067180286045]
  クライアントが限られたリソースを持つ場合、フェデレーション学習を大規模モデルにスケールすることは難しい。 我々は、クライアント毎のメモリ、計算、通信コストを同時に削減するために、フェデレート・レイヤワイズ・ラーニングを導入します。 また、トレーニング中に凍結層をランダムにドロップする補完技術であるFederated Depth Dropoutを導入し、リソース使用量をさらに削減する。
  論文  参考訳（メタデータ） (2023-09-11T03:17:45Z)
• From Actions to Events: A Transfer Learning Approach Using Improved Deep Belief Networks [1.0554048699217669]
  本稿では,エネルギーモデルを用いた行動認識からイベント認識への知識マッピング手法を提案する。 このようなモデルはすべてのフレームを同時に処理し、学習プロセスを通じて空間的および時間的情報を運ぶことができる。
  論文  参考訳（メタデータ） (2022-11-30T14:47:10Z)
• EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
  本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。 オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
  論文  参考訳（メタデータ） (2022-11-17T17:38:55Z)
• Multi-Agent Semi-Siamese Training for Long-tail and Shallow Face Learning [54.13876727413492]
  多くの現実世界の顔認識シナリオでは、トレーニングデータセットの深さは浅いため、IDごとに2つの顔画像しか利用できません。 非均一なサンプルの増加により、このような問題はより一般的なケース、すなわち長い尾の顔学習に変換される。 これらの問題に対処するために,マルチエージェントセミシアントレーニング(masst)という高度なソリューションを導入する。 広範な実験と比較は、長い尾と浅い顔学習のためのMASSTの利点を示しています。
  論文  参考訳（メタデータ） (2021-05-10T04:57:32Z)
• Jigsaw Clustering for Unsupervised Visual Representation Learning [68.09280490213399]
  本稿では,新しいjigsawクラスタリング・プレテキストタスクを提案する。 本手法は画像内情報と画像間情報の両方を利用する。 トレーニングバッチの半分しか使用されていない場合、コントラスト学習方法にも匹敵します。
  論文  参考訳（メタデータ） (2021-04-01T08:09:26Z)
• Semi-Siamese Training for Shallow Face Learning [78.7386209619276]
  セミ・シームズ・トレーニング(SST)という新しいトレーニング手法を導入する。 一対のセミ・シームズネットワークが前方伝播構造を構成し、トレーニング損失を更新ギャラリーキューで計算する。 提案手法は外部依存を伴わずに開発されており,既存の損失関数やネットワークアーキテクチャと柔軟に統合することができる。
  論文  参考訳（メタデータ） (2020-07-16T15:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。