論文の概要: Learning Dynamic BERT via Trainable Gate Variables and a Bi-modal Regularizer

• arxiv url: http://arxiv.org/abs/2102.09727v1
• Date: Fri, 19 Feb 2021 03:59:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-22 13:40:05.271684
• Title: Learning Dynamic BERT via Trainable Gate Variables and a Bi-modal Regularizer
• Title（参考訳）: 訓練ゲート変数とバイモーダル正規化器による動的BERT学習
• Authors: Seohyeong Jeong, Nojun Kwak
• Abstract要約: BERTモデルは様々な自然言語処理タスクで大きな成功を収めている。 重いモデルサイズと高い計算コストのため、このモデルは高いレイテンシに悩まされ、リソース制限されたデバイスに展開することは致命的である。 入力トークンに適用されたトレーニング可能なゲート変数とバイモーダル特性を持つ正規化器によるBERT上の動的推論手法を提案する。
• 参考スコア（独自算出の注目度）: 36.74058297640735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The BERT model has shown significant success on various natural language processing tasks. However, due to the heavy model size and high computational cost, the model suffers from high latency, which is fatal to its deployments on resource-limited devices. To tackle this problem, we propose a dynamic inference method on BERT via trainable gate variables applied on input tokens and a regularizer that has a bi-modal property. Our method shows reduced computational cost on the GLUE dataset with a minimal performance drop. Moreover, the model adjusts with a trade-off between performance and computational cost with the user-specified hyperparameter.
• Abstract（参考訳）: BERTモデルは様々な自然言語処理タスクで大きな成功を収めている。 しかし、重いモデルサイズと高い計算コストのため、このモデルは高いレイテンシに悩まされ、リソース制限されたデバイスに展開することは致命的である。 そこで本研究では,入力トークンに適応する訓練可能なゲート変数とバイモーダル特性を持つ正規化器を用いてBERTの動的推論手法を提案する。 本手法では,GLUEデータセットの計算コストを最小限の性能低下で削減する。 さらに、このモデルは、ユーザ指定ハイパーパラメータによるパフォーマンスと計算コストのトレードオフで調整される。

関連論文リスト

• TokenFormer: Rethinking Transformer Scaling with Tokenized Model Parameters [102.1116808722299]
  TokenFormerは、Transformerをスケールするためのスケーラブルなアーキテクチャです。 モデルパラメータをトークンとして扱うことで、トランスフォーマーのすべての線形射影を置き換える。 我々のモデルは、新しいキー値パラメータペアを漸進的に追加することで、124Mから1.4Bパラメータにスケールする。
  論文  参考訳（メタデータ） (2024-10-30T16:19:00Z)
• Step-by-Step Unmasking for Parameter-Efficient Fine-tuning of Large Language Models [18.877891285367216]
  パラメータ効率細調整(PEFT)のクラスは、モデルのパラメータのごく一部だけを選択的に微調整することで、計算上の課題を軽減することを目的としている。 我々はパラメータの重要度を連続的に計算し,パラメータを動的にアンマスクする新しいPEFT法である$textID3$を紹介した。 解析的に、$textID3$は勾配更新数を2倍に減らし、計算効率が向上することを示した。
  論文  参考訳（メタデータ） (2024-08-26T17:58:53Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• DPBERT: Efficient Inference for BERT based on Dynamic Planning [11.680840266488884]
  既存の入力適応推論手法ではBERTの構造を十分に活用できない。 本稿では,BERTの推論過程を高速化する新しい微調整戦略であるBERTにおける動的計画法を提案する。 提案手法は,98%の精度を維持しながら遅延を75%まで低減し,最先端の入力適応方式に比べて高精度なトレードオフを実現する。
  論文  参考訳（メタデータ） (2023-07-26T07:18:50Z)
• Sensi-BERT: Towards Sensitivity Driven Fine-Tuning for Parameter-Efficient BERT [6.029590006321152]
  本稿では、下流タスクのための感度駆動効率の良いBERTモデルの微調整であるSensi-BERTを提案する。 実験の結果,MNLI,QQP,QNLI,SST-2,SQuADなどの下流タスクに対するSensi-BERTの有効性が示された。
  論文  参考訳（メタデータ） (2023-07-14T17:24:15Z)
• Value function estimation using conditional diffusion models for control [62.27184818047923]
  拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。 拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。 本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
  論文  参考訳（メタデータ） (2023-06-09T18:40:55Z)
• Dynamic Context Pruning for Efficient and Interpretable Autoregressive Transformers [29.319666323947708]
  本稿では,モデル表現性を保ちながら文脈情報を動的に生成する手法を提案する。 本手法では,文脈からどの非形式的トークンをドロップできるかを学習可能なメカニズムを用いて決定する。 我々の参照実装は、推論スループットの増大とメモリの節約を最大2ドルまで達成します。
  論文  参考訳（メタデータ） (2023-05-25T07:39:41Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
  本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。 自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2022-04-15T23:19:37Z)
• DACT-BERT: Differentiable Adaptive Computation Time for an Efficient BERT Inference [3.375478015832455]
  DACT-BERT(DACT-BERT) は, BERT のようなモデルに対して, 微分可能な適応計算時間戦略である。 DACT-BERTはBERTの正規処理パイプラインに適応的な計算機構を追加し、推論時に実行する必要があるTransformerブロックの数を制御する。 我々の実験は、ベースラインと比較して、我々のアプローチが減らされた計算体制に優れており、他の制約の少ない手法と競合することを示した。
  論文  参考訳（メタデータ） (2021-09-24T04:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。