論文の概要: Exploring Low-Cost Transformer Model Compression for Large-Scale Commercial Reply Suggestions

• arxiv url: http://arxiv.org/abs/2111.13999v1
• Date: Sat, 27 Nov 2021 22:42:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-02 10:09:49.054776
• Title: Exploring Low-Cost Transformer Model Compression for Large-Scale Commercial Reply Suggestions
• Title（参考訳）: 大規模商用応答提案のための低コスト変圧器モデル圧縮の検討
• Authors: Vaishnavi Shrivastava, Radhika Gaonkar, Shashank Gupta, Abhishek Jha
• Abstract要約: 微調整事前学習言語モデルは、商業的な応答提案システムの品質を向上させる。 本稿では,低コストモデル圧縮技術であるLayer DroppingやLayer Freezingについて検討する。 本研究では,これらの手法の有効性を大規模シナリオで実証し,商用メール応答提案システムのトレーニング時間を42%削減できることを示した。
• 参考スコア（独自算出の注目度）: 3.3953799543764522
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning pre-trained language models improves the quality of commercial reply suggestion systems, but at the cost of unsustainable training times. Popular training time reduction approaches are resource intensive, thus we explore low-cost model compression techniques like Layer Dropping and Layer Freezing. We demonstrate the efficacy of these techniques in large-data scenarios, enabling the training time reduction for a commercial email reply suggestion system by 42%, without affecting the model relevance or user engagement. We further study the robustness of these techniques to pre-trained model and dataset size ablation, and share several insights and recommendations for commercial applications.
• Abstract（参考訳）: 事前学習された言語モデルの微調整は、商用リプライ提案システムの品質を向上させるが、持続不可能なトレーニング時間のコストがかかる。 一般的なトレーニング時間削減アプローチはリソース集約型であるため,レイヤドロップやレイヤ凍結といった低コストなモデル圧縮手法について検討する。 提案手法の有効性を大規模シナリオで実証し,提案手法の有効性やユーザエンゲージメントに影響を与えることなく,商用メール応答提案システムのトレーニング時間を42%削減できることを示した。 さらに、これらの技術が事前訓練されたモデルとデータセットサイズアブレーションに対して堅牢であることについて研究し、商用アプリケーションに対するいくつかの洞察とレコメンデーションを共有する。

関連論文リスト

• Dynamic Sparse Learning: A Novel Paradigm for Efficient Recommendation [20.851925464903804]
  本稿では,リコメンデーションモデルに適した新しい学習パラダイムであるDynamic Sparse Learningを紹介する。 DSLは革新的に、スクラッチから軽量スパースモデルをトレーニングし、各ウェイトの重要性を定期的に評価し、動的に調整する。 実験結果は、DSLの有効性を裏付け、トレーニングと推論のコストを大幅に削減し、同等のレコメンデーションパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-02-05T10:16:20Z)
• Model Compression Techniques in Biometrics Applications: A Survey [5.452293986561535]
  ディープラーニングアルゴリズムは人類のタスク自動化能力を大きく強化してきた。 これらのモデルの性能の大幅な改善は、その複雑さの増大と非常に相関している。 これにより、性能を著しく低下させることなく、ディープラーニングモデルの計算コストとメモリコストを大幅に削減する圧縮技術の開発につながった。
  論文  参考訳（メタデータ） (2024-01-18T17:06:21Z)
• Preparing Lessons for Progressive Training on Language Models [75.88952808979087]
  人工知能におけるトランスフォーマーの急速な進歩は、資源消費の増加と温室効果ガス排出のコストを犠牲にしている。 我々は,低層学習におけるtextbflayer functitextbfonality による extextbfpanding textbfoperation の授業をプレptextbfars で行うApolloを提案する。 実験では、アポロは最先端の加速比を達成し、事前訓練されたモデルを用いた手法にさえ対抗できることを示した。
  論文  参考訳（メタデータ） (2024-01-17T13:04:14Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• Reusing Pretrained Models by Multi-linear Operators for Efficient Training [65.64075958382034]
  大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。 bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。 本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-16T06:16:47Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Re-thinking Data Availablity Attacks Against Deep Neural Networks [53.64624167867274]
  本稿では、未学習例の概念を再検討し、既存のロバストな誤り最小化ノイズが不正確な最適化目標であることを示す。 本稿では,計算時間要件の低減による保護性能の向上を図った新しい最適化パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-05-18T04:03:51Z)
• Improving Sample Efficiency of Deep Learning Models in Electricity Market [0.41998444721319217]
  我々は,サンプルの効率を向上させるため,知識強化トレーニング(KAT)という一般的なフレームワークを提案する。 本稿では,いくつかの合成データを生成する新しいデータ拡張手法を提案する。 現代の学習理論は, 効果的な予測誤差フィードバック, 信頼損失関数, リッチ勾配雑音の観点から, 提案手法の有効性を実証している。
  論文  参考訳（メタデータ） (2022-10-11T16:35:13Z)
• Alternate Model Growth and Pruning for Efficient Training of Recommendation Systems [7.415129876303651]
  モデルプルーニングは、冗長なパラメータを取り除いてディープニューラルネットワークの計算オーバーヘッドを削減する効果的な手法である。 ビッグデータ処理の需要のため、現代のレコメンデーションシステムはモデルキャパシティにとってまだ渇望的です。 トレーニング中の重量を代替して構築し、調整するためのダイナミックなトレーニングスキーム、すなわち、モデルの成長と刈り取りを提案します。
  論文  参考訳（メタデータ） (2021-05-04T03:14:30Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。