論文の概要: A Simple Framework to Accelerate Multilingual Language Model for Monolingual Text Generation

• arxiv url: http://arxiv.org/abs/2401.10660v1
• Date: Fri, 19 Jan 2024 12:26:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 15:55:51.263344
• Title: A Simple Framework to Accelerate Multilingual Language Model for Monolingual Text Generation
• Title（参考訳）: 単言語テキスト生成のための多言語言語モデル高速化のための簡易フレームワーク
• Authors: Jimin Hong and Gibbeum Lee and Jaewoong Cho
• Abstract要約: 本研究では,非英語言語におけるテキスト生成の高速化を目的とした新しいフレームワークを提案する。 従来の多言語トークン化器よりも大きな言語単位を予測し、特に対象言語に適合する。 実験の結果,提案手法は標準復号法に比べて1.9倍の速度で生成速度を向上することが示された。
• 参考スコア（独自算出の注目度）: 3.997809845676912
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in large language models have facilitated the execution of complex language tasks, not only in English but also in non-English languages. However, the tokenizers of most language models, such as Llama, trained on English-centric corpora, tend to excessively fragment tokens in non-English languages. This issue is especially pronounced in non-roman alphabetic languages, which are often divided at a character or even Unicode level, leading to slower text generation. To address this, our study introduces a novel framework designed to expedite text generation in these languages. This framework predicts larger linguistic units than those of conventional multilingual tokenizers and is specifically tailored to the target language, thereby reducing the number of decoding steps required. Our empirical results demonstrate that the proposed framework increases the generation speed by a factor of 1.9 compared to standard decoding while maintaining the performance of a pre-trained multilingual model on monolingual tasks.
• Abstract（参考訳）: 近年の大規模言語モデルの進歩により、英語だけでなく、英語以外の言語でも複雑な言語タスクの実行が容易になった。 しかしながら、英語中心のコーパスで訓練されたLlamaのようなほとんどの言語モデルのトークン化子は、非英語言語でトークンを過度に断片化する傾向がある。 この問題は、文字やUnicodeレベルで分割されることが多い非ローマ字アルファベット言語では特に顕著であり、テキスト生成が遅くなる。 そこで本研究では,これらの言語でテキスト生成を高速化する新しいフレームワークを提案する。 このフレームワークは、従来の多言語トークン化器よりも大きい言語単位を予測し、特にターゲット言語に適合し、デコードステップの数を削減している。 実験の結果,提案手法は単言語タスクにおける事前学習型多言語モデルの性能を維持しつつ,標準復号化よりも1.9倍の速度で生成速度を向上することが示された。

関連論文リスト

• Towards Building an End-to-End Multilingual Automatic Lyrics Transcription Model [14.39119862985503]
  利用可能なデータセットを用いた多言語ALTシステムの構築を目指している。 英語のALTに有効であることが証明されたアーキテクチャにヒントを得て,これらの手法を多言語シナリオに適用する。 単言語モデルと比較して,多言語モデルの性能を評価する。
  論文  参考訳（メタデータ） (2024-06-25T15:02:32Z)
• Multi-Task Contrastive Learning for 8192-Token Bilingual Text Embeddings [22.71166607645311]
  本稿では,最先端のバイリンガルテキスト埋め込みモデルについて紹介する。 これらのモデルは、最大8192トークンで長いテキスト入力を処理することができる。 STSタスクのモデル性能を大幅に改善しました。 我々は、ドイツ語とスペイン語の埋め込みモデルのベンチマークを含むように、Massive Text Embedding Benchmarkを拡張した。
  論文  参考訳（メタデータ） (2024-02-26T20:53:12Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• Generalizing Multimodal Pre-training into Multilingual via Language Acquisition [54.69707237195554]
  英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。 この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。 単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-29T08:53:22Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• Learning to Scale Multilingual Representations for Vision-Language Tasks [51.27839182889422]
  SMALRの有効性は、これまでビジョン言語タスクでサポートされた2倍以上の10の多言語で実証されている。 単語の埋め込み手法と比較して,訓練パラメータの1/5以下で,複数言語による画像文検索と先行作業の3～4%の性能評価を行った。
  論文  参考訳（メタデータ） (2020-04-09T01:03:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。