論文の概要: TextBrewer: An Open-Source Knowledge Distillation Toolkit for Natural Language Processing

• arxiv url: http://arxiv.org/abs/2002.12620v2
• Date: Tue, 28 Apr 2020 02:34:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 01:20:36.812423
• Title: TextBrewer: An Open-Source Knowledge Distillation Toolkit for Natural Language Processing
• Title（参考訳）: TextBrewer: 自然言語処理のためのオープンソースの知識蒸留ツールキット
• Authors: Ziqing Yang, Yiming Cui, Zhipeng Chen, Wanxiang Che, Ting Liu, Shijin Wang, Guoping Hu
• Abstract要約: 自然言語処理のためのオープンソースの知識蒸留ツールキットTextBrewerを紹介する。 テキスト分類、読解、シーケンスラベリングなどの教師あり学習タスクをサポートする。 ケーススタディでは、TextBrewerを使用して、いくつかの典型的なNLPタスクでBERTを蒸留する。
• 参考スコア（独自算出の注目度）: 64.87699383581885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce TextBrewer, an open-source knowledge distillation toolkit designed for natural language processing. It works with different neural network models and supports various kinds of supervised learning tasks, such as text classification, reading comprehension, sequence labeling. TextBrewer provides a simple and uniform workflow that enables quick setting up of distillation experiments with highly flexible configurations. It offers a set of predefined distillation methods and can be extended with custom code. As a case study, we use TextBrewer to distill BERT on several typical NLP tasks. With simple configurations, we achieve results that are comparable with or even higher than the public distilled BERT models with similar numbers of parameters. Our toolkit is available through: http://textbrewer.hfl-rc.com
• Abstract（参考訳）: 本稿では,自然言語処理のためのオープンソースの知識蒸留ツールキットtextbrewerを紹介する。 さまざまなニューラルネットワークモデルで動作し、テキスト分類、読解、シーケンスラベリングなど、さまざまな種類の教師付き学習タスクをサポートする。 textbrewerはシンプルで均一なワークフローを提供し、非常に柔軟な構成で蒸留実験を簡単にセットアップできる。 あらかじめ定義された蒸留方法のセットを提供し、カスタムコードで拡張することができる。 ケーススタディでは、TextBrewerを使用して、いくつかの典型的なNLPタスクでBERTを蒸留する。 簡単な構成で、同様の数のパラメータを持つ公開蒸留bertモデルに匹敵する、あるいはさらに高い結果が得られる。 私たちのツールキットは、http://textbrewer.hfl-rc.comで利用可能です。

関連論文リスト

• Batching BPE Tokenization Merges [55.2480439325792]
  BatchBPEはByte PairアルゴリズムのPython実装である。 ベーシックラップトップ上で高品質なトークンをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2024-08-05T09:37:21Z)
• Lightweight Model Pre-training via Language Guided Knowledge Distillation [28.693835349747598]
  本稿では,多くのモバイルデバイスにおいて不可欠な小型モデルの事前学習の問題について検討する。 本稿では,教師と学生の間で伝達される知識の洗練を支援するために,目標下流タスクのカテゴリ名を用いた言語ガイド蒸留(LGD)システムを提案する。 実験結果から,LGD法を用いた蒸留軽量モデルは最先端性能を示し,分類,検出,セグメンテーションなど,様々な下流タスクで検証された。
  論文  参考訳（メタデータ） (2024-06-17T16:07:19Z)
• Data-Free Distillation of Language Model by Text-to-Text Transfer [22.830164917398623]
  データフリー知識蒸留(DFKD)は、元のトレーニングデータが利用できないときにモデルを圧縮する上で重要な役割を果たす。 本稿では、DFKD-T$3$という新しいDFKDフレームワークを提案する。 本手法は, 感情分析, 言語受容性, 情報抽出など, 下流業務における蒸留性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-11-03T03:31:47Z)
• SpikeBERT: A Language Spikformer Learned from BERT with Knowledge Distillation [31.777019330200705]
  スパイキングニューラルネットワーク(SNN)は、よりエネルギー効率の良い方法でディープニューラルネットワークを実装するための有望な道を提供する。 我々は最近提案されたスパイクトランスフォーマー(すなわち、Spikformer)を改善して、言語タスクの処理を可能にします。 提案手法で訓練したSpikeBERTは,最先端のSNNよりも優れており,英語と中国語のテキスト分類タスクにおけるBERTと同等の結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-08-29T08:41:16Z)
• Language Quantized AutoEncoders: Towards Unsupervised Text-Image Alignment [81.73717488887938]
  Language-Quantized AutoEncoder (LQAE)は、事前訓練された言語モデルを利用して、教師なしの方法でテキストイメージデータを整列することを学ぶ。 LQAEは類似した画像を類似したテキストトークンのクラスタで表現することを学び、一致したテキストイメージペアを使わずにこれら2つのモダリティを整列させる。 これにより、大きな言語モデル(例えばGPT-3)による少数ショット画像の分類や、BERTテキストの特徴に基づく画像の線形分類が可能になる。
  論文  参考訳（メタデータ） (2023-02-02T06:38:44Z)
• WAVPROMPT: Towards Few-Shot Spoken Language Understanding with Frozen Language Models [57.557319372969495]
  大量のテキストで事前訓練された大規模自動回帰言語モデルは、新しい自然言語タスクを実行するという印象的な能力を示している。 近年の研究では、エンコーダを訓練し、画像のエンコードを埋め込みにすることで、このような数発の学習能力をテキスト画像設定にまで拡張できることが示されている。 そこで我々は,wav2vecモデルを微調整して,言語モデルによって理解された音声埋め込みのシーケンスを生成する,新しい音声理解フレームワークWavPromptを提案する。
  論文  参考訳（メタデータ） (2022-03-29T19:08:55Z)
• N-LTP: An Open-source Neural Language Technology Platform for Chinese [68.58732970171747]
  textttN-は、中国の6つの基本的なNLPタスクをサポートする、オープンソースのニューラルネットワークテクノロジプラットフォームである。 textttN-は、中国のタスク間で共有知識をキャプチャする利点がある共有事前学習モデルを使用することで、マルチタスクフレームワークを採用する。
  論文  参考訳（メタデータ） (2020-09-24T11:45:39Z)
• Massive Choice, Ample Tasks (MaChAmp): A Toolkit for Multi-task Learning in NLP [24.981991538150584]
  MaChAmpは、マルチタスク設定におけるコンテキスト化された埋め込みを簡単に微調整するためのツールキットである。 MaChAmpの利点は、フレキシブルな設定オプションと、統一ツールキットで様々な自然言語処理タスクをサポートすることである。
  論文  参考訳（メタデータ） (2020-05-29T16:54:50Z)
• Distilling Knowledge from Pre-trained Language Models via Text Smoothing [9.105324638015366]
  そこで本研究では,教師に対して,知識蒸留における生徒モデルを教えるために,ラベルではなくスムーズな単語IDを生成するように依頼する,BERT蒸留の新しい手法を提案する。 実際に、BERTのMasked Language Model(MLM)のソフトマックス予測を用いて、与えられたテキストの単語分布を生成し、その予測されたソフトワードIDを用いてそれらの入力テキストを滑らかにする。 我々は、スムーズなラベルとスムーズなテキストの両方が暗黙的に入力コーパスを増強できると仮定する一方、スムーズなテキストは1つのニューラルネットワークの前進ステップでより多くのインスタンスを生成することができるため、直感的に効率的である。
  論文  参考訳（メタデータ） (2020-05-08T04:34:00Z)
• Incorporating BERT into Neural Machine Translation [251.54280200353674]
  本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。 我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-02-17T08:13:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。