論文の概要: Multi-teacher Distillation for Multilingual Spelling Correction

• arxiv url: http://arxiv.org/abs/2311.11518v1
• Date: Mon, 20 Nov 2023 03:44:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-21 20:08:39.767252
• Title: Multi-teacher Distillation for Multilingual Spelling Correction
• Title（参考訳）: 多言語綴り補正のためのマルチティーチャー蒸留
• Authors: Jingfen Zhang, Xuan Guo, Sravan Bodapati and Christopher Potts
• Abstract要約: スペルエラーは、すべての言語、および複数の言語を使用するクエリで修正する必要がある。 本稿では,この課題を多教師蒸留を用いて解決する。 オープンソースデータと,世界規模の検索サービスからのユーザデータを用いた実験では,スペル訂正モデルに極めて効果的な結果が得られた。
• 参考スコア（独自算出の注目度）: 21.69493463814022
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Accurate spelling correction is a critical step in modern search interfaces, especially in an era of mobile devices and speech-to-text interfaces. For services that are deployed around the world, this poses a significant challenge for multilingual NLP: spelling errors need to be caught and corrected in all languages, and even in queries that use multiple languages. In this paper, we tackle this challenge using multi-teacher distillation. On our approach, a monolingual teacher model is trained for each language/locale, and these individual models are distilled into a single multilingual student model intended to serve all languages/locales. In experiments using open-source data as well as user data from a worldwide search service, we show that this leads to highly effective spelling correction models that can meet the tight latency requirements of deployed services.
• Abstract（参考訳）: 正確な綴り補正は、現代の検索インターフェイス、特にモバイルデバイスや音声-テキストインターフェースの時代において重要なステップである。 世界中にデプロイされるサービスにとって、これは多言語NLPにとって大きな課題となる。スペルエラーは、すべての言語、さらには複数の言語を使用するクエリでもキャッチして修正する必要がある。 本稿では,この課題を多教師蒸留を用いて解決する。 提案手法では,各言語/ローカルに対して単言語型教師モデルを訓練し,これらのモデルを全言語/ローカルに提供するための単一多言語学生モデルに抽出する。 オープンソースデータと,世界規模の検索サービスからのユーザデータを用いた実験では,デプロイサービスのタイトなレイテンシ要件を満たすスペル補正モデルが極めて有効であることが示されている。

関連論文リスト

• Cross-Lingual Unlearning of Selective Knowledge in Multilingual Language Models [38.10962690551031]
  事前訓練された言語モデルは、プライベートデータや著作権データを含む膨大な量の情報を記憶し、重大な安全上の懸念を提起する。 センシティブなデータを除いた後、これらのモデルをリトレーニングすることは違法に高価であり、機械学習は実用的で費用対効果の高い代替手段となる。 本稿では,多言語モデルにおける機械学習の先駆的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-06-18T07:40:18Z)
• Multilingual Detection of Check-Worthy Claims using World Languages and Adapter Fusion [12.269362823116225]
  非世界の言語に対する資源不足とモデル学習コストは、多言語チェックの安全性検出をサポートするモデルを作成する上で大きな課題である。 本稿では,複数の言語でグローバルに出現するクレームを検出するために,アダプティブ融合と組み合わさった世界言語サブセットのクロストレーニングアダプタを提案する。
  論文  参考訳（メタデータ） (2023-01-13T11:50:08Z)
• Crosslingual Generalization through Multitask Finetuning [80.8822603322471]
  マルチタスク誘導ファインタニング(MTF)は、大きな言語モデルがゼロショット設定で新しいタスクに一般化するのに役立つことが示されている。 MTFを事前訓練された多言語BLOOMおよびmT5モデルファミリーに適用し、BLOOMZおよびmT0と呼ばれる微調整された変種を生成する。 英語のプロンプトを用いた英語タスクにおける多言語多言語モデルの微調整により、非英語言語へのタスク一般化が可能となる。
  論文  参考訳（メタデータ） (2022-11-03T13:19:32Z)
• You Can Have Your Data and Balance It Too: Towards Balanced and Efficient Multilingual Models [13.630306305322094]
  本稿では,教師の知識蒸留に基づく新しい多言語学習手法を提案する。 この設定では、言語に最適化された単言語教師モデルを利用する。 教師たちは、バランスの取れた(サブサンプル化された)データとともに、教師の知識を1人の多言語学生に抽出する。
  論文  参考訳（メタデータ） (2022-10-13T16:19:36Z)
• Language-Family Adapters for Low-Resource Multilingual Neural Machine Translation [129.99918589405675]
  自己超越で訓練された大規模多言語モデルは、幅広い自然言語処理タスクにおいて最先端の結果を達成する。 マルチリンガルな微調整は低リソース言語のパフォーマンスを向上させるが、モデル全体を変更する必要があるため、極めて高価である。 言語間移動を容易にするため,mBART-50上で言語ファミリーアダプタを訓練する。
  論文  参考訳（メタデータ） (2022-09-30T05:02:42Z)
• Towards Best Practices for Training Multilingual Dense Retrieval Models [54.91016739123398]
  我々は,このような設計を用いて,多種多様言語における単言語検索の課題に焦点をあてる。 本研究は多言語高密度検索モデルのトレーニングのための「ベストプラクティス」ガイドとして組織されている。
  論文  参考訳（メタデータ） (2022-04-05T17:12:53Z)
• Towards Developing a Multilingual and Code-Mixed Visual Question Answering System by Knowledge Distillation [20.33235443471006]
  本稿では,英語ビジョンモデル(教師)を,等しく効果的な多言語・コード混合モデル(学生)に拡張する知識蒸留手法を提案する。 また、大規模な多言語およびコード混合VQAデータセットを11の異なる言語セットアップで作成します。 実験結果と深部分析により,11種類の言語セットアップ上で,事前学習した言語ビジョンモデルに対して提案したVQAモデルの有効性が示された。
  論文  参考訳（メタデータ） (2021-09-10T03:47:29Z)
• Evaluating Cross-Lingual Transfer Learning Approaches in Multilingual Conversational Agent Models [1.52292571922932]
  自然言語理解(NLU)モデルのための汎用多言語モデルフレームワークを提案する。 これらの多言語モデルが,言語固有のテストデータにまたがる単言語モデルと比較して,同等あるいは優れた性能に到達できることを示す。
  論文  参考訳（メタデータ） (2020-12-07T17:14:52Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)
• That Sounds Familiar: an Analysis of Phonetic Representations Transfer Across Languages [72.9927937955371]
  我々は、他言語に存在するリソースを用いて、多言語自動音声認識モデルを訓練する。 我々は,多言語設定における全言語間での大幅な改善と,多言語設定におけるスターク劣化を観察した。 分析の結果、ひとつの言語に固有の電話でさえ、他の言語からのトレーニングデータを追加することで大きなメリットがあることがわかった。
  論文  参考訳（メタデータ） (2020-05-16T22:28:09Z)
• Learning to Scale Multilingual Representations for Vision-Language Tasks [51.27839182889422]
  SMALRの有効性は、これまでビジョン言語タスクでサポートされた2倍以上の10の多言語で実証されている。 単語の埋め込み手法と比較して,訓練パラメータの1/5以下で,複数言語による画像文検索と先行作業の3～4%の性能評価を行った。
  論文  参考訳（メタデータ） (2020-04-09T01:03:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。