論文の概要: Optimal Subarchitecture Extraction For BERT

• arxiv url: http://arxiv.org/abs/2010.10499v2
• Date: Fri, 6 Nov 2020 23:09:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 06:01:17.260771
• Title: Optimal Subarchitecture Extraction For BERT
• Title（参考訳）: BERTの最適部分構造抽出
• Authors: Adrian de Wynter and Daniel J. Perry
• Abstract要約: Bort" は明らかに小さく、(埋め込み層を数えない)有効サイズは 5.5% でオリジナルの BERT 大規模アーキテクチャであり、ネットサイズは 16% である。 Bortは288ドルのGPU時間で事前トレーニングが可能で、最高性能のBERTアーキテクチャーであるRoBERTa-largeの事前トレーニングに要する時間は1.2%である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We extract an optimal subset of architectural parameters for the BERT architecture from Devlin et al. (2018) by applying recent breakthroughs in algorithms for neural architecture search. This optimal subset, which we refer to as "Bort", is demonstrably smaller, having an effective (that is, not counting the embedding layer) size of $5.5\%$ the original BERT-large architecture, and $16\%$ of the net size. Bort is also able to be pretrained in $288$ GPU hours, which is $1.2\%$ of the time required to pretrain the highest-performing BERT parametric architectural variant, RoBERTa-large (Liu et al., 2019), and about $33\%$ of that of the world-record, in GPU hours, required to train BERT-large on the same hardware. It is also $7.9$x faster on a CPU, as well as being better performing than other compressed variants of the architecture, and some of the non-compressed variants: it obtains performance improvements of between $0.3\%$ and $31\%$, absolute, with respect to BERT-large, on multiple public natural language understanding (NLU) benchmarks.
• Abstract（参考訳）: ニューラルアーキテクチャ探索のためのアルゴリズムの最近のブレークスルーを適用し,Devlin et al. (2018) から BERT アーキテクチャのためのアーキテクチャパラメータの最適サブセットを抽出した。 この最適部分集合は、"Bort" と呼ばれ、明らかに小さく、(埋め込み層を数えない)有効サイズが 5.5 %$ の BERT-large アーキテクチャであり、ネットサイズが 16 %$ である。 Bortは288ドルのGPU時間で事前トレーニングが可能であり、これは最高パフォーマンスのBERTパラメトリックアーキテクチャ変種であるRoBERTa-large (Liu et al., 2019)の事前トレーニングに要する時間12\%と、同じハードウェア上でBERT-largeをトレーニングするために必要なGPU時間において、世界記録の約33\%である。 また、cpu上では7.9$x高速で、他の圧縮されたアーキテクチャや非圧縮型よりもパフォーマンスが優れており、マルチパブリック自然言語理解(nlu)ベンチマークで、bert-largeに対して、$0.3\%$ から $31\%$ のパフォーマンス改善を絶対的に得る。

関連論文リスト

• FRUGAL: Memory-Efficient Optimization by Reducing State Overhead for Scalable Training [51.39495282347475]
  我々は、新しいメモリ効率最適化フレームワークであるtextbfF$ull-$textbfR$ank $textbfU$pdates with $textbfG$r$textbfA$dient sp$textbfL$ittingを紹介します。 当社のフレームワークは,GaLoreやBAdamなど,さまざまな低ランク更新選択技術と統合することが可能です。
  論文  参考訳（メタデータ） (2024-11-12T14:41:07Z)
• MosaicBERT: A Bidirectional Encoder Optimized for Fast Pretraining [10.421048804389343]
  本稿では,BERTスタイルのエンコーダアーキテクチャであるMosaicBERTを紹介する。 C4データセットのスクラッチから事前トレーニングされた場合、このベースモデルは、約20ドルで8 A100 80 GB GPU上で1.13時間の平均GLUEスコア79.6を達成する。 この事前トレーニングでの実証的なスピードアップにより、研究者やエンジニアは既存のジェネリックモデルの微調整ではなく、BERTスタイルのカスタムモデルを低コストで事前トレーニングすることができる。
  論文  参考訳（メタデータ） (2023-12-29T06:05:19Z)
• BiBERT: Accurate Fully Binarized BERT [69.35727280997617]
  BiBERTは、パフォーマンスボトルネックを取り除くために、正確に2項化されたBERTである。 提案手法は,FLOPとモデルサイズで56.3回,31.2回節約できる。
  論文  参考訳（メタデータ） (2022-03-12T09:46:13Z)
• EfficientBERT: Progressively Searching Multilayer Perceptron via Warm-up Knowledge Distillation [82.3956677850676]
  事前学習された言語モデルは、様々なNLPタスクにおいて顕著な結果を示した。 サイズが大きく、推論速度が遅いため、エッジデバイスにデプロイするのは困難である。 本稿では、BERTにおけるフィードフォワードネットワーク(FFN)の改善が、マルチヘッドアテンション(MHA)の改善よりも高い利益をもたらすという批判的な洞察を得る。
  論文  参考訳（メタデータ） (2021-09-15T11:25:39Z)
• Constructing Stronger and Faster Baselines for Skeleton-based Action Recognition [19.905455701387194]
  骨格に基づく行動認識のための効率的なグラフ畳み込みネットワーク(GCN)のベースラインを提案する。 NTU RGB+D 60 と 120 の2つの大規模データセットでは、提案されたEfficientGCN-B4 ベースラインは、他の State-Of-The-Art (SOTA) メソッドよりも優れている。
  論文  参考訳（メタデータ） (2021-06-29T07:09:11Z)
• You Only Compress Once: Towards Effective and Elastic BERT Compression via Exploit-Explore Stochastic Nature Gradient [88.58536093633167]
  既存のモデル圧縮アプローチでは、さまざまなハードウェアデプロイメントに対応するために、さまざまな制約にまたがる再圧縮や微調整が必要となる。 圧縮を一度行い、至るところに展開するための新しいアプローチであるYOCO-BERTを提案する。 最先端のアルゴリズムと比較すると、YOCO-BERTはよりコンパクトなモデルを提供するが、GLUEベンチマークの平均精度は2.1%-4.5%向上している。
  論文  参考訳（メタデータ） (2021-06-04T12:17:44Z)
• ROSITA: Refined BERT cOmpreSsion with InTegrAted techniques [10.983311133796745]
  BERTファミリーの事前訓練された言語モデルは、幅広いNLPタスクで最先端のものを定義しています。 BERTベースのモデルの性能は、主に大量のパラメータによって駆動され、リソース制限されたシナリオへの適用を妨げる。 我々は,3種類の圧縮手法(重み付きプルーニング,低ランク分解,知識蒸留)を導入し,モデルアーキテクチャに関する様々な設計について検討する。 Refined BERT cOmpreSsion with InTegrAted Technique(ROSITA)と呼ばれる私たちの最高の圧縮モデルは、7.5倍小さいです。
  論文  参考訳（メタデータ） (2021-03-21T11:33:33Z)
• DynaBERT: Dynamic BERT with Adaptive Width and Depth [55.18269622415814]
  我々は新しい動的BERTモデル(DynaBERTと略される)を提案する。 適応的な幅と深さを選択することで、サイズとレイテンシを柔軟に調整できる。 既存のBERT圧縮手法よりずっと優れています。
  論文  参考訳（メタデータ） (2020-04-08T15:06:28Z)
• AdaBERT: Task-Adaptive BERT Compression with Differentiable Neural Architecture Search [79.98686989604164]
  既存の方法では、BERTを小さなモデルに圧縮するが、そのような圧縮はタスクに依存しない。 本稿では,タスク適応型小型モデルにBERTを自動的に圧縮する,可変ニューラルアーキテクチャ探索を利用した新しい圧縮手法AdaBERTを提案する。 我々は,複数のNLPタスクに対してAdaBERTを評価し,これらのタスク適応型圧縮モデルが推定時間でBERTよりも12.7倍から29.3倍速く,パラメータサイズで11.5倍から17.0倍小さいことを示す。
  論文  参考訳（メタデータ） (2020-01-13T14:03:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。