論文の概要: EELBERT: Tiny Models through Dynamic Embeddings

• arxiv url: http://arxiv.org/abs/2310.20144v1
• Date: Tue, 31 Oct 2023 03:28:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 16:47:32.650436
• Title: EELBERT: Tiny Models through Dynamic Embeddings
• Title（参考訳）: EELBERT:動的埋め込みによるTinyモデル
• Authors: Gabrielle Cohn, Rishika Agarwal, Deepanshu Gupta and Siddharth Patwardhan
• Abstract要約: EELBERTは、変換器ベースのモデル(例えばBERT)の圧縮のためのアプローチである。 これは、入力されたモデルの埋め込み層を動的、すなわちオンザフライの埋め込み計算に置き換えることによって達成される。 UNO-EELBERTは,完全に訓練されたBERT-tinyの4%以内でGLUEスコアを達成できる最小モデルである。
• 参考スコア（独自算出の注目度）: 0.28675177318965045
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce EELBERT, an approach for compression of transformer-based models (e.g., BERT), with minimal impact on the accuracy of downstream tasks. This is achieved by replacing the input embedding layer of the model with dynamic, i.e. on-the-fly, embedding computations. Since the input embedding layer accounts for a significant fraction of the model size, especially for the smaller BERT variants, replacing this layer with an embedding computation function helps us reduce the model size significantly. Empirical evaluation on the GLUE benchmark shows that our BERT variants (EELBERT) suffer minimal regression compared to the traditional BERT models. Through this approach, we are able to develop our smallest model UNO-EELBERT, which achieves a GLUE score within 4% of fully trained BERT-tiny, while being 15x smaller (1.2 MB) in size.
• Abstract（参考訳）: EELBERTは変換器モデル(例えばBERT)を圧縮する手法で、下流タスクの精度に最小限の影響を与える。 これは、入力されたモデルの埋め込み層を動的、すなわちオンザフライの埋め込み計算に置き換えることによって達成される。 入力埋め込み層はモデルサイズ、特により小さなbert変種に対してかなりの割合を占めるため、この層を埋め込み計算関数に置き換えることで、モデルサイズを大幅に削減することができる。 GLUEベンチマークの実証的な評価は、従来のBERTモデルと比較して、BERT変種(EELBERT)が最小限の回帰を損なうことを示している。 このアプローチにより、我々は最小のモデルであるUNO-EELBERTを開発し、完全に訓練されたBERT-tinyの4%以内でGLUEスコアを達成でき、サイズは15倍(1.2MB)小さい。

関連論文リスト

• Towards Building Efficient Sentence BERT Models using Layer Pruning [0.4915744683251151]
  本研究では,SBERT(Sentence BERT)モデル作成におけるレイヤプルーニングの有効性について検討した。 我々のゴールは、強い埋め込み類似性を保ちながら複雑さを減らし、より小さな文埋め込みモデルを作ることです。
  論文  参考訳（メタデータ） (2024-09-21T15:10:06Z)
• Can persistent homology whiten Transformer-based black-box models? A case study on BERT compression [0.0]
  本稿では BERT モデルに説明可能性をもたらす OBCE (Optimus BERT Compression and Explainability) を提案する。 提案手法は,ニューロンに説明可能性を提供し,モデルのサイズを小さくすることで,BERTモデルを「白色化」することができる。
  論文  参考訳（メタデータ） (2023-12-17T12:33:50Z)
• Breaking the Token Barrier: Chunking and Convolution for Efficient Long Text Classification with BERT [0.0]
  変換器ベースのモデル、特にBERTは様々なNLPタスクの研究を推進している。 BERTモデルは512トークンの最大トークン制限に制限されているため、長い入力で実際に適用するのは簡単ではない。 本稿では,任意の事前学習したモデルを任意に長文で推論できるような,比較的単純なBanilla BERTアーキテクチャであるChunkBERTを提案する。
  論文  参考訳（メタデータ） (2023-10-31T15:41:08Z)
• DPBERT: Efficient Inference for BERT based on Dynamic Planning [11.680840266488884]
  既存の入力適応推論手法ではBERTの構造を十分に活用できない。 本稿では,BERTの推論過程を高速化する新しい微調整戦略であるBERTにおける動的計画法を提案する。 提案手法は,98%の精度を維持しながら遅延を75%まで低減し,最先端の入力適応方式に比べて高精度なトレードオフを実現する。
  論文  参考訳（メタデータ） (2023-07-26T07:18:50Z)
• MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
  本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。 自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2022-04-15T23:19:37Z)
• Deploying a BERT-based Query-Title Relevance Classifier in a Production System: a View from the Trenches [3.1219977244201056]
  変換器(BERT)モデルによる双方向表現は,多くの自然言語処理(NLP)タスクの性能を大幅に向上させてきた。 BERTを低レイテンシ、高スループットの産業用ユースケースにスケールすることは、その巨大なサイズのために困難である。 BERT Bidirectional Long Short-Term Memory (BertBiLSTM) という名前のコンパクトモデルによるデプロイメントのためのQTR分類器の最適化に成功した。 BertBiLSTMは、上記の実世界の生産作業における精度と効率の観点から、既成のBERTモデルの性能を上回る
  論文  参考訳（メタデータ） (2021-08-23T14:28:23Z)
• BinaryBERT: Pushing the Limit of BERT Quantization [74.65543496761553]
  本稿では、BERT量子化を重み二項化の限界まで押し上げるBinaryBERTを提案する。 複雑で不規則な損失環境のため,バイナリBERTは3次学習よりも直接訓練が難しいことが判明した。 実験結果から、BinaryBERT は完全精度 BERT ベースと比較して無視できる性能低下を示した。
  論文  参考訳（メタデータ） (2020-12-31T16:34:54Z)
• TernaryBERT: Distillation-aware Ultra-low Bit BERT [53.06741585060951]
  本稿では,細調整されたBERTモデルの重みを3元化するternaryBERTを提案する。 GLUEベンチマークとSQuADの実験により,提案した TernaryBERT が他のBERT量子化法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-27T10:17:28Z)
• Students Need More Attention: BERT-based AttentionModel for Small Data with Application to AutomaticPatient Message Triage [65.7062363323781]
  BioBERT (Bidirectional Representations from Transformers for Biomedical Text Mining) に基づく新しいフレームワークを提案する。 LESA-BERTと呼ぶBERTの各層にラベル埋め込みを導入し、(ii)LESA-BERTを小さな変種に蒸留することにより、小さなデータセットで作業する際のオーバーフィッティングとモデルサイズを低減することを目指す。 アプリケーションとして,本フレームワークを用いて,患者ポータルメッセージトリアージのモデルを構築し,メッセージの緊急度を非緊急度,中度度,緊急度という3つのカテゴリに分類する。
  論文  参考訳（メタデータ） (2020-06-22T03:39:00Z)
• DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference [69.93692147242284]
  BERTのような大規模事前訓練型言語モデルは、NLPアプリケーションに大幅な改善をもたらした。 本稿では, BERT推論を高速化するために, 単純だが効果的な手法であるDeeBERTを提案する。 実験の結果、DeeBERTはモデル品質の低下を最小限に抑えながら、最大40%の推論時間を節約できることがわかった。
  論文  参考訳（メタデータ） (2020-04-27T17:58:05Z)
• BERT-of-Theseus: Compressing BERT by Progressive Module Replacing [113.48041857222431]
  我々のアプローチはまず、元のBERTを複数のモジュールに分割し、そのコンパクトな代替品を構築する。 我々は、元のモジュールの振る舞いを模倣するために、コンパクトなモジュールを訓練するために、元のモジュールを代用モジュールにランダムに置き換える。
  論文  参考訳（メタデータ） (2020-02-07T17:52:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。