論文の概要: Fast Vocabulary Projection Method via Clustering for Multilingual Machine Translation on GPU

• arxiv url: http://arxiv.org/abs/2208.06874v1
• Date: Sun, 14 Aug 2022 16:10:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-16 13:10:18.527403
• Title: Fast Vocabulary Projection Method via Clustering for Multilingual Machine Translation on GPU
• Title（参考訳）: gpuによる多言語機械翻訳のためのクラスタリングによる高速語彙投影法
• Authors: Hossam Amer, Young Jin Kim, Mohamed Afify, Hitokazu Matsushita, Hany Hassan Awadallah
• Abstract要約: 本稿では,クラスタリングによる高速な語彙投影法を提案する。 提案手法はボクサブ射出工程を最大2.6倍高速化する。 また,提案手法が元のモデルからの翻訳の質を保っていることを検証するために,広範囲な人的評価を行う。
• 参考スコア（独自算出の注目度）: 6.1646755570223934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual Neural Machine Translation has been showing great success using transformer models. Deploying these models is challenging because they usually require large vocabulary (vocab) sizes for various languages. This limits the speed of predicting the output tokens in the last vocab projection layer. To alleviate these challenges, this paper proposes a fast vocabulary projection method via clustering which can be used for multilingual transformers on GPUs. First, we offline split the vocab search space into disjoint clusters given the hidden context vector of the decoder output, which results in much smaller vocab columns for vocab projection. Second, at inference time, the proposed method predicts the clusters and candidate active tokens for hidden context vectors at the vocab projection. This paper also includes analysis of different ways of building these clusters in multilingual settings. Our results show end-to-end speed gains in float16 GPU inference up to 25% while maintaining the BLEU score and slightly increasing memory cost. The proposed method speeds up the vocab projection step itself by up to 2.6x. We also conduct an extensive human evaluation to verify the proposed method preserves the quality of the translations from the original model.
• Abstract（参考訳）: 多言語ニューラルマシン翻訳はトランスフォーマーモデルで大きな成功を収めている。 これらのモデルの展開は、通常、様々な言語に対して大きな語彙(vocab)サイズを必要とするため、難しい。 これにより、最後のvocabプロジェクション層における出力トークンの予測速度が制限される。 これらの課題を緩和するために,gpu上の多言語トランスフォーマーに使用可能なクラスタリングによる高速語彙投影法を提案する。 まず、デコーダ出力の隠れたコンテキストベクトルを考慮し、vocab検索空間を非結合クラスタにオフラインで分割し、vocabプロジェクションのためのvocabカラムをはるかに小さくする。 第2に, 提案手法は, vocab射影における隠れコンテキストベクトルのクラスタと候補アクティブトークンを予測する。 本稿では,多言語環境でのクラスタ構築方法についても分析する。 以上の結果から,float16 GPU推論では,BLEUスコアを維持しながら最大25%の高速化を実現し,メモリコストをわずかに向上させた。 提案手法はボクサブ射出工程を最大2.6倍高速化する。 また,提案手法が元のモデルからの翻訳の質を保っていることを検証するために,広範囲な人的評価を行う。

関連論文リスト

• An Analysis of BPE Vocabulary Trimming in Neural Machine Translation [56.383793805299234]
  語彙トリミング(vocabulary trimming)は、まれなサブワードをコンポーネントサブワードに置き換える後処理のステップである。 ボキャブラリトリミングは性能向上に失敗し,さらに大きな劣化を招きやすいことを示す。
  論文  参考訳（メタデータ） (2024-03-30T15:29:49Z)
• Exploring Linguistic Similarity and Zero-Shot Learning for Multilingual Translation of Dravidian Languages [0.34998703934432673]
  我々はDravidian-Dravidian多言語翻訳のための単一デコーダニューラルマシン翻訳システムを構築した。 我々のモデルは、50%の言語方向で訓練された場合、大規模ピボットベースモデルの3 BLEU以内のスコアを得る。
  論文  参考訳（メタデータ） (2023-08-10T13:38:09Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Word-Level Representation From Bytes For Language Modeling [46.28198397863388]
  サブワードのトークン化はノイズに対して堅牢ではなく、新しい言語への一般化が難しい。 本稿では,単語レベルの表現をバイトから直接構築するクロスアテンションネットワークと,単語レベルの隠蔽状態に基づくサブワードレベルの予測を導入する。 Byte2Wordは強力なサブワードベースラインBERTと同等だが、埋め込みサイズは10%程度しかない。
  論文  参考訳（メタデータ） (2022-11-23T03:11:13Z)
• Better Language Model with Hypernym Class Prediction [101.8517004687825]
  クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。 本研究では,このアプローチをニューラルLMの文脈で再考する。
  論文  参考訳（メタデータ） (2022-03-21T01:16:44Z)
• Allocating Large Vocabulary Capacity for Cross-lingual Language Model Pre-training [59.571632468137075]
  最近の言語間言語モデルでは,語彙の容量が限られているため,多くの言語が不足していることがわかった。 本稿では,各言語の語彙能力を決定するアルゴリズムであるVoCapを提案する。 この問題に対処するために,k-NNに基づくターゲットサンプリングを提案し,コストの高いソフトマックスを高速化する。
  論文  参考訳（メタデータ） (2021-09-15T14:04:16Z)
• Lightweight Cross-Lingual Sentence Representation Learning [57.9365829513914]
  メモリ効率のよい言語間文表現を生成するために,2層のみの軽量なデュアルトランスフォーマーアーキテクチャを導入する。 本稿では,既存のシングルワードマスキング言語モデルと,新たに提案されたクロスランガルトークンレベルの再構築タスクを組み合わせた,新しい言語間言語モデルを提案する。
  論文  参考訳（メタデータ） (2021-05-28T14:10:48Z)
• VOLT: Improving Vocabularization via Optimal Transport for Machine Translation [22.07373011242121]
  我々は情報理論的特徴とbleuスコアとの間にエキサイティングな関係を見出す。 完全かつコストのかかる試行訓練を伴わない,単純かつ効率的な語彙化ソリューションVOLTを提案する。 VOLTは英語とドイツ語の翻訳で70%の語彙サイズ縮小と0.6のBLEUゲインを達成する。
  論文  参考訳（メタデータ） (2020-12-31T15:49:49Z)
• Investigating Language Impact in Bilingual Approaches for Computational Language Documentation [28.838960956506018]
  本稿では,翻訳言語の選択が後続文書作業に与える影響について検討する。 我々は56対のバイリンガルペアを作成し、低リソースの教師なし単語分割とアライメントのタスクに適用する。 この結果から,ニューラルネットワークの入力表現に手がかりを取り入れることで,翻訳品質とアライメント品質が向上することが示唆された。
  論文  参考訳（メタデータ） (2020-03-30T10:30:34Z)
• Robust Cross-lingual Embeddings from Parallel Sentences [65.85468628136927]
  本稿では,文整合コーパスを利用して頑健な言語間単語表現を実現するCBOW手法のバイリンガル拡張を提案する。 提案手法は,他のすべての手法と比較して,言語間文検索性能を著しく向上させる。 また、ゼロショットのクロスランガル文書分類タスクにおいて、ディープRNN法と同等性を実現する。
  論文  参考訳（メタデータ） (2019-12-28T16:18:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。