Fugu-MT 論文翻訳(概要): Fast Vocabulary Transfer for Language Model Compression

論文の概要: Fast Vocabulary Transfer for Language Model Compression

arxiv url: http://arxiv.org/abs/2402.09977v1
Date: Thu, 15 Feb 2024 14:37:07 GMT
ステータス: 処理完了
システム内更新日: 2024-02-16 15:25:30.556840
Title: Fast Vocabulary Transfer for Language Model Compression
Title（参考訳）: 言語モデル圧縮のための高速語彙転送
Authors: Leonidas Gee and Andrea Zugarini and Leonardo Rigutini and Paolo Torroni
Abstract要約: 本稿では,語彙変換に依存するモデル圧縮手法を提案する。以上の結果から,語彙移動は他の圧縮技術と組み合わせて効果的に活用できることが示唆された。
参考スコア（独自算出の注目度）: 3.5668409338590195
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Real-world business applications require a trade-off between language model performance and size. We propose a new method for model compression that relies on vocabulary transfer. We evaluate the method on various vertical domains and downstream tasks. Our results indicate that vocabulary transfer can be effectively used in combination with other compression techniques, yielding a significant reduction in model size and inference time while marginally compromising on performance.
Abstract（参考訳）: 現実世界のビジネスアプリケーションは、言語モデルのパフォーマンスとサイズの間のトレードオフを必要とする。本稿では,語彙移動に依存する新しいモデル圧縮法を提案する。本手法は,様々な垂直領域と下流タスクで評価する。以上の結果から,語彙移動は他の圧縮手法と組み合わせて効果的に利用することができ,モデルサイズや推論時間を大幅に削減でき,性能に限界があることが示唆された。

関連論文リスト

What Happens When Small Is Made Smaller? Exploring the Impact of Compression on Small Data Pretrained Language Models [2.2871867623460216]
本稿では, AfriBERTa を用いた低リソース小データ言語モデルにおいて, プルーニング, 知識蒸留, 量子化の有効性について検討する。実験のバッテリを用いて,圧縮が精度を超えるいくつかの指標のパフォーマンスに与える影響を評価する。
論文参考訳（メタデータ） (2024-04-06T23:52:53Z)
An Analysis of BPE Vocabulary Trimming in Neural Machine Translation [56.383793805299234]
語彙トリミング(vocabulary trimming)は、まれなサブワードをコンポーネントサブワードに置き換える後処理のステップである。ボキャブラリトリミングは性能向上に失敗し,さらに大きな劣化を招きやすいことを示す。
論文参考訳（メタデータ） (2024-03-30T15:29:49Z)
A Survey on Transformer Compression [84.18094368700379]
自然言語処理(NLP)とコンピュータビジョン(CV)の領域においてトランスフォーマーは重要な役割を果たすモデル圧縮法は、Transformerのメモリと計算コストを削減する。この調査は、Transformerベースのモデルに適用することに焦点を当てた、最近の圧縮方法に関する包括的なレビューを提供する。
論文参考訳（メタデータ） (2024-02-05T12:16:28Z)
LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models [22.06402870816756]
大きな言語モデル(LLM)は、その驚くべき能力のために様々なアプリケーションに適用されている。本稿では,意味的整合性を維持するための予算制御を伴う粗大なプロンプト圧縮手法であるLLMLinguaを提案する。提案手法により,最先端性能が得られ,最大20倍圧縮が可能であり,性能損失が少ないことを示す。
論文参考訳（メタデータ） (2023-10-09T14:10:21Z)
Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文参考訳（メタデータ） (2023-06-28T18:14:22Z)
Revisiting Offline Compression: Going Beyond Factorization-based Methods for Transformer Language Models [7.542276054279341]
トランスフォーマー言語モデルは、多くの自然言語処理(NLP)タスクにおいて卓越した結果を達成する。その巨大なサイズは、しばしばメモリ制限されたデバイスを非現実的にし、実践者はそれをより小さなネットワークに圧縮する必要がある。本稿では,圧縮モデルをさらに微調整する必要のないオフライン圧縮手法について検討する。
論文参考訳（メタデータ） (2023-02-08T13:36:06Z)
Does compressing activations help model parallel training? [64.59298055364336]
モデル並列性に対する圧縮法の有効性に関する実験的検討を行った。圧縮アルゴリズムの3つの共通クラスを実装し,評価する。我々は160以上の設定と8つの一般的なデータセットでこれらの手法を評価した。
論文参考訳（メタデータ） (2023-01-06T18:58:09Z)
Intriguing Properties of Compression on Multilingual Models [17.06142742945346]
微調整中における多言語事前学習言語モデルの分散化の影響を特徴づける枠組みを提案する。このフレームワークを40言語にわたってmBERTという名前のエンティティ認識モデルに適用すると、圧縮はいくつかの興味深い、以前は未知の一般化特性を示す。
論文参考訳（メタデータ） (2022-11-04T20:28:01Z)
What Do Compressed Multilingual Machine Translation Models Forget? [102.50127671423752]
平均BLEUはわずかに減少するが,表現不足言語の性能は著しく低下する。圧縮は,高リソース言語においても,本質的な性差や意味バイアスを増幅することを示した。
論文参考訳（メタデータ） (2022-05-22T13:54:44Z)
Compression of Generative Pre-trained Language Models via Quantization [62.80110048377957]
従来の量子化手法は, テクスモジニアス単語の埋め込みによって生成タスクに失敗することがわかった。本稿では,区別可能な単語埋め込みを学習するためのトークンレベルのコントラスト蒸留法と,異なるモジュールに対して量子化器を適応させるモジュールワイドダイナミックスケーリングを提案する。
論文参考訳（メタデータ） (2022-03-21T02:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。