論文の概要: HET: Scaling out Huge Embedding Model Training via Cache-enabled
Distributed Framework
- arxiv url: http://arxiv.org/abs/2112.07221v1
- Date: Tue, 14 Dec 2021 08:18:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-15 16:52:47.037317
- Title: HET: Scaling out Huge Embedding Model Training via Cache-enabled
Distributed Framework
- Title(参考訳): HET:キャッシュ対応分散フレームワークによる巨大な埋め込みモデルトレーニングのスケールアウト
- Authors: Xupeng Miao, Hailin Zhang, Yining Shi, Xiaonan Nie, Zhi Yang, Yangyu
Tao, Bin Cui
- Abstract要約: 我々は,大規模な埋め込みモデルトレーニングのスケーラビリティを大幅に向上させる新しいシステムフレームワークであるHETを提案する。
HETは、組込み通信の削減を最大88%達成し、最先端のベースラインよりも最大20.68倍の性能向上を実現している。
- 参考スコア(独自算出の注目度): 17.114812060566766
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Embedding models have been an effective learning paradigm for
high-dimensional data. However, one open issue of embedding models is that
their representations (latent factors) often result in large parameter space.
We observe that existing distributed training frameworks face a scalability
issue of embedding models since updating and retrieving the shared embedding
parameters from servers usually dominates the training cycle. In this paper, we
propose HET, a new system framework that significantly improves the scalability
of huge embedding model training. We embrace skewed popularity distributions of
embeddings as a performance opportunity and leverage it to address the
communication bottleneck with an embedding cache. To ensure consistency across
the caches, we incorporate a new consistency model into HET design, which
provides fine-grained consistency guarantees on a per-embedding basis. Compared
to previous work that only allows staleness for read operations, HET also
utilizes staleness for write operations. Evaluations on six representative
tasks show that HET achieves up to 88% embedding communication reductions and
up to 20.68x performance speedup over the state-of-the-art baselines.
- Abstract(参考訳): 埋め込みモデルは高次元データに対する効果的な学習パラダイムである。
しかし、埋め込みモデルに関する公然の問題は、それらの表現(相対因子)がしばしば大きなパラメータ空間をもたらすことである。
既存の分散トレーニングフレームワークは、通常、サーバからの共有組み込みパラメータの更新と検索がトレーニングサイクルを支配するため、モデルの組込みというスケーラビリティの問題に直面している。
本稿では,大規模な埋め込みモデルトレーニングのスケーラビリティを大幅に向上させる新しいシステムフレームワークであるHETを提案する。
私たちは、組み込みの人気分布をパフォーマンスの機会として捉え、組み込みキャッシュで通信ボトルネックに対処するために利用します。
キャッシュ間の一貫性を確保するため,HET設計に新たな一貫性モデルを導入する。
読み取り操作に停滞しかできない以前の作業と比較して、hetは書き込み操作に停滞も活用している。
6つの代表的なタスクの評価によると、HETは88%の埋め込み通信の削減と20.68倍の性能向上を実現している。
関連論文リスト
- A-SDM: Accelerating Stable Diffusion through Redundancy Removal and
Performance Optimization [54.113083217869516]
本研究ではまず,ネットワークの計算冗長性について検討する。
次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。
第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
論文 参考訳(メタデータ) (2023-12-24T15:37:47Z) - Federated Topic Model and Model Pruning Based on Variational Autoencoder [14.737942599204064]
フェデレートされたトピックモデリングにより、複数のパーティがデータのプライバシを保護しながらモデルを共同でトレーニングできる。
本稿では,各ノードのプライバシを確保しつつ,フェデレートされたトピックモデルを確立する手法を提案し,ニューラルネットワークモデルプルーニングを用いてモデルを高速化する。
実験結果から,フェデレートされたトピックモデルプルーニングは,モデルの性能を確保しつつ,モデルのトレーニング速度を大幅に向上させることができることがわかった。
論文 参考訳(メタデータ) (2023-11-01T06:00:14Z) - Enhancing Cross-Category Learning in Recommendation Systems with
Multi-Layer Embedding Training [2.4862527485819186]
多層埋め込み訓練(MLET)は、埋め込み層の因子化による埋め込みを訓練する。
MLETは、特に稀なアイテムに対して、一貫してより良いモデルを生成する。
モデル品質が一定であれば、MLETは埋め込み寸法とモデルサイズを最大16倍、平均5.8倍まで減らすことができる。
論文 参考訳(メタデータ) (2023-09-27T09:32:10Z) - Joint Modeling of Feature, Correspondence, and a Compressed Memory for
Video Object Segmentation [52.11279360934703]
現在のビデオオブジェクト(VOS)メソッドは通常、特徴抽出後のカレントフレームと参照フレームの密マッチングを実行する。
本稿では,特徴量,対応性,圧縮メモリの3要素を共同モデリングするための統合VOSフレームワークであるJointFormerを提案する。
論文 参考訳(メタデータ) (2023-08-25T17:30:08Z) - MixBCT: Towards Self-Adapting Backward-Compatible Training [89.38610089956909]
後方互換性のあるトレーニングを使用することで、古い検索データセットを更新する必要がなくなる。
そこで本研究では,単純かつ高効率な後方互換性学習法であるMixBCTを提案する。
提案手法は,従来の埋め込みの分布に基づいて,新しい特徴に対する制約領域を適応的に調整する。
論文 参考訳(メタデータ) (2023-08-14T05:55:38Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2023-07-05T12:49:02Z) - Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。
注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。
検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
論文 参考訳(メタデータ) (2023-06-12T15:52:02Z) - Boundary-aware Backward-Compatible Representation via Adversarial
Learning in Image Retrieval [17.995993499100017]
後方互換性トレーニング(BCT)は、検索性能に悪影響を与えることなく、2つのモデルの互換性を改善する。
本稿では,弾性境界制約付き逆向き学習法AdvBCTを紹介する。
本手法は,互換性と差別性の両方において,他のBCT法よりも優れる。
論文 参考訳(メタデータ) (2023-05-04T07:37:07Z) - BagPipe: Accelerating Deep Recommendation Model Training [9.911467752221863]
Bagpipeは、キャッシュとプレフェッチを使用して、リモート埋め込みアクセスと計算を重複させるディープレコメンデーションモデルをトレーニングするシステムである。
私たちは、ルックアヘッドアルゴリズムを使用して最適なキャッシュ更新決定を生成する新しいコンポーネントであるOracle Cacherを設計します。
論文 参考訳(メタデータ) (2022-02-24T23:54:12Z) - Top-KAST: Top-K Always Sparse Training [50.05611544535801]
トレーニングを通して一定間隔を保存するTop-KASTを提案する。
確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。
ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
論文 参考訳(メタデータ) (2021-06-07T11:13:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。