論文の概要: Error-driven Pruning of Language Models for Virtual Assistants

• arxiv url: http://arxiv.org/abs/2102.07219v1
• Date: Sun, 14 Feb 2021 18:47:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-16 15:51:24.859597
• Title: Error-driven Pruning of Language Models for Virtual Assistants
• Title（参考訳）: 仮想アシスタントのための言語モデルのエラー駆動pruning
• Authors: Sashank Gondala, Lyan Verwimp, Ernest Pusateri, Manos Tsagkias, Christophe Van Gysel
• Abstract要約: 仮想アシスタント(VA)のための言語モデル(LM)は、通常、大量のデータで訓練されます。 より緩和された刈り取りしきい値を必要とするn-gramのキープリストを許可することで、エントロピーの刈り取りをカスタマイズする。 また,最大 lm で達成された wer の成果の大部分を保ちつつ,lm の大きさを小さくする判別手法を提案する。
• 参考スコア（独自算出の注目度）: 7.893832677040097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models (LMs) for virtual assistants (VAs) are typically trained on large amounts of data, resulting in prohibitively large models which require excessive memory and/or cannot be used to serve user requests in real-time. Entropy pruning results in smaller models but with significant degradation of effectiveness in the tail of the user request distribution. We customize entropy pruning by allowing for a keep list of infrequent n-grams that require a more relaxed pruning threshold, and propose three methods to construct the keep list. Each method has its own advantages and disadvantages with respect to LM size, ASR accuracy and cost of constructing the keep list. Our best LM gives 8% average Word Error Rate (WER) reduction on a targeted test set, but is 3 times larger than the baseline. We also propose discriminative methods to reduce the size of the LM while retaining the majority of the WER gains achieved by the largest LM.
• Abstract（参考訳）: 仮想アシスタント(VA)のための言語モデル(LM)は、通常大量のデータに基づいて訓練されるため、過剰なメモリや/またはリアルタイムのユーザ要求に使用できないような、違法に大規模なモデルが得られる。 Entropy pruningはより小さいモデルで結果をもたらすが、ユーザー要求の配分の尾の有効性の有意な低下と。 我々は,より緩和されたプルーニング閾値を必要とするn-gramのキープリストを許可することでエントロピープルーニングをカスタマイズし,keepリストを構築するための3つの方法を提案する。 各メソッドには、LMサイズ、ASRの精度、およびキープリストを構築するコストに関して、独自の利点と欠点があります。 我々の最高のLMは、目標とするテストセットに対して平均単語誤り率(WER)を8%削減するが、ベースラインよりも3倍大きい。 また,最大 lm で達成された wer の成果の大部分を保ちつつ,lm の大きさを小さくする判別手法を提案する。

関連論文リスト

• Characterizing Attribution and Fluency Tradeoffs for Retrieval-Augmented Large Language Models [6.425088990363101]
  本研究では, 大規模言語モデルにおけるフラレンシと帰属の関係について検討した。 より大きなモデルは、流布と帰属の両方において、より優れた結果をもたらす傾向があることを示す。 そこで本研究では,より小さなモデルで大きなモデルとのギャップを埋めることと,トップk検索のメリットを両立できるレシピを提案する。
  論文  参考訳（メタデータ） (2023-02-11T02:43:34Z)
• Prompting as Probing: Using Language Models for Knowledge Base Construction [1.6050172226234583]
  我々は,2020年にOpenAIが提案した大規模言語モデルであるGPT-3を利用したProP(Prompting as Probing)を提案する。 ProPは、様々なプロンプト技術を組み合わせてこれを実現するマルチステップアプローチを実装している。 評価の結果,提案手法は最終的な予測精度を大幅に向上させることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2022-08-23T16:03:50Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• Exploring the Limits of Domain-Adaptive Training for Detoxifying Large-Scale Language Models [84.30718841659531]
  言語モデルの毒性を低減するために,ドメイン適応型学習について検討する。 トレーニングコーパスでは, LMの生成能力を活用することを提案する。 次に,126Mから530Bまでのパラメータサイズを持つLMを包括的に研究した。
  論文  参考訳（メタデータ） (2022-02-08T22:10:40Z)
• GLaM: Efficient Scaling of Language Models with Mixture-of-Experts [84.33607245023049]
  我々はGLaM(Generalist Language Model)という言語モデル群を提案し,開発する。 GLaMは、厳密な変種に比べてトレーニングコストを大幅に削減しつつ、モデルのキャパシティを拡大するために、わずかに活性化されたミックス・オブ・エキスパートアーキテクチャを使用する。 GPT-3の訓練に使用するエネルギーの1/3しか消費せず、推論にはフロップの半分しか必要とせず、29のNLPタスクにまたがる全体的なゼロショットとワンショットのパフォーマンスは向上している。
  論文  参考訳（メタデータ） (2021-12-13T18:58:19Z)
• SSSE: Efficiently Erasing Samples from Trained Machine Learning Models [103.43466657962242]
  サンプル消去のための効率的かつ効率的なアルゴリズムSSSEを提案する。 ある場合、SSSEは、許可されたデータだけで新しいモデルをスクラッチからトレーニングする最適な、しかし実用的でない金の標準と同様に、サンプルをほぼ消去することができる。
  論文  参考訳（メタデータ） (2021-07-08T14:17:24Z)
• Certifiable Machine Unlearning for Linear Models [1.484852576248587]
  機械学習は、トレーニングされたトレーニングデータのサブセットが削除された後、機械学習(ML)モデルを更新するタスクである。 本稿では,線形モデルに対する3つの非学習手法について実験的に検討する。
  論文  参考訳（メタデータ） (2021-06-29T05:05:58Z)
• CPM-2: Large-scale Cost-effective Pre-trained Language Models [71.59893315671997]
  本稿では, PLM を用いた事前学習, 微調整, 推論の効率性問題に対処するための費用対効果技術について述べる。 我々は,既存のPLMをスクラッチからトレーニングする代わりに活用することで,事前学習プロセスの促進を目的とした知識継承を導入する。 計算資源が限られている大規模PLMに対して,新しい推論ツールキット,すなわちInfMoEを実装した。
  論文  参考訳（メタデータ） (2021-06-20T15:43:54Z)
• Tail-Net: Extracting Lowest Singular Triplets for Big Data Applications [0.0]
  提案する range-net を textbftail-net に拡張し,与えられたbig dataset と rank-r の最小特異要素の効率的な抽出を行う。 検証とベンチマーキングのための合成データセットと実用データセットの数値実験をいくつか紹介します。
  論文  参考訳（メタデータ） (2021-04-28T19:17:34Z)
• The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
  NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。 我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
  論文  参考訳（メタデータ） (2020-04-16T04:28:08Z)
• Injecting Numerical Reasoning Skills into Language Models [41.78745615537762]
  数値推論のような高いレベルの推論スキルは、言語モデリングの目的のみから学ぶことが難しい。 数値推論が自動データ生成に有効であることを示し、この技術を予め訓練されたLMに注入できることを示す。 我々は、我々のモデルであるGenBERTがDROP(49.3$rightarrow$ 72.3 F1)の性能を劇的に改善し、同等の大きさの最先端モデルに匹敵する性能に達することを示す。
  論文  参考訳（メタデータ） (2020-04-09T11:14:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。