論文の概要: Language Scaling for Universal Suggested Replies Model

• arxiv url: http://arxiv.org/abs/2106.02232v1
• Date: Fri, 4 Jun 2021 03:15:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 05:59:45.367216
• Title: Language Scaling for Universal Suggested Replies Model
• Title（参考訳）: ユニバーサルSuggested Repliesモデルのための言語スケーリング
• Authors: Qianlan Ying, Payal Bajaj, Budhaditya Deb, Yu Yang, Wei Wang, Bojia Lin, Milad Shokouhi, Xia Song, Yang Yang, and Daxin Jiang
• Abstract要約: 本論文では,Outlook メールシステムに対する自動応答を複数の言語に拡張する問題を考察する。 プロダクションシステムの品質を改善し、実行時のコストを削減するための、単一のユニバーサルモデルを構築します。 本稿では,多タスク連続学習フレームワークを提案し,各領域にまたがる普遍的な言語表現を学習するための補助的タスクと言語を提案する。
• 参考スコア（独自算出の注目度）: 23.480490516842412
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the problem of scaling automated suggested replies for Outlook email system to multiple languages. Faced with increased compute requirements and low resources for language expansion, we build a single universal model for improving the quality and reducing run-time costs of our production system. However, restricted data movement across regional centers prevents joint training across languages. To this end, we propose a multi-task continual learning framework, with auxiliary tasks and language adapters to learn universal language representation across regions. The experimental results show positive cross-lingual transfer across languages while reducing catastrophic forgetting across regions. Our online results on real user traffic show significant gains in CTR and characters saved, as well as 65% training cost reduction compared with per-language models. As a consequence, we have scaled the feature in multiple languages including low-resource markets.
• Abstract（参考訳）: 本論文では,Outlook メールシステムに対する自動応答を複数の言語に拡張する問題を考察する。 計算要求の増大と言語拡張のための低リソースに直面して,本システムの品質向上とランタイムコストの削減を目的とした,単一のユニバーサルモデルを構築した。 しかし、地域中心での制限されたデータ移動は、言語間の共同トレーニングを妨げている。 そこで本研究では,地域間の共通言語表現を学習するための補助タスクと言語アダプタを備えたマルチタスク連続学習フレームワークを提案する。 実験の結果,言語間での言語間移動は肯定的であり,地域間での破滅的な忘れ込みを減らした。 実際のユーザトラフィックに関するオンライン調査では,CTRや文字の保存が大幅に増加し,言語ごとのトレーニングコストが65%削減された。 その結果、低リソース市場を含む複数の言語で機能を拡大しました。

関連論文リスト

• No Train but Gain: Language Arithmetic for training-free Language Adapters enhancement [59.37775534633868]
  本稿では,学習不要な後処理が可能な言語演算法を提案する。 提案手法の有効性を,MAD-Xに基づく言語間スキームの3つの下流課題に適用した。
  論文  参考訳（メタデータ） (2024-04-24T08:52:40Z)
• ColBERT-XM: A Modular Multi-Vector Representation Model for Zero-Shot Multilingual Information Retrieval [10.664434993386523]
  現在のアプローチは、非英語言語における高品質なラベル付きデータの欠如を回避している。 本稿では,単一の高リソース言語のリッチデータから学習するモジュール型高密度検索モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-23T02:21:24Z)
• Analysing Cross-Lingual Transfer in Low-Resourced African Named Entity Recognition [0.10641561702689348]
  低リソース言語10言語間の言語間移動学習の特性について検討する。 一つの言語でうまく機能するモデルは、他の言語への一般化を犠牲にして、しばしばそうする。 ソースとターゲットデータセット間で重複するデータの量は、言語間の地理的あるいは遺伝的距離よりも、転送性能の予測器として優れている。
  論文  参考訳（メタデータ） (2023-09-11T08:56:47Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Improving the Cross-Lingual Generalisation in Visual Question Answering [40.86774711775718]
  多言語視覚言語事前学習モデルは、非英語データに適用した場合、言語間一般化が不十分であることを示す。 本研究は、ゼロショット言語間視覚質問応答(VQA)タスクにおいて、これらのモデルの低性能について検討する。 我々は,(1)類似性に基づく損失によるクロスエントロピー損失を増大させる言語的事前目標を導入し,トレーニング中にモデルを導くこと,(2)言語的一般化を改善し,モデルの修正を伴わずに分散を低減するタスク固有のサブネットワークを学習すること,(3)合成コードを用いたトレーニング例を強化すること,の3つの戦略を用いて言語的事前移動を改善する。
  論文  参考訳（メタデータ） (2022-09-07T08:07:43Z)
• A Survey of Multilingual Models for Automatic Speech Recognition [6.657361001202456]
  言語間移動は多言語自動音声認識の課題に対する魅力的な解法である。 自己監督学習の最近の進歩は、多言語ASRモデルで使用されるラベルなし音声データへの道を開いた。 多様な言語や技術の研究から多言語モデルを構築するためのベストプラクティスを提示する。
  論文  参考訳（メタデータ） (2022-02-25T09:31:40Z)
• Adaptive Sparse Transformer for Multilingual Translation [18.017674093519332]
  多言語モデルの既知の課題は、否定的な言語干渉です。 多言語モデリングのための適応的でスパースなアーキテクチャを提案する。 我々のモデルは、推論コストを増加させることなく、翻訳品質の点で強力なベースラインを上回る。
  論文  参考訳（メタデータ） (2021-04-15T10:31:07Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)
• That Sounds Familiar: an Analysis of Phonetic Representations Transfer Across Languages [72.9927937955371]
  我々は、他言語に存在するリソースを用いて、多言語自動音声認識モデルを訓練する。 我々は,多言語設定における全言語間での大幅な改善と,多言語設定におけるスターク劣化を観察した。 分析の結果、ひとつの言語に固有の電話でさえ、他の言語からのトレーニングデータを追加することで大きなメリットがあることがわかった。
  論文  参考訳（メタデータ） (2020-05-16T22:28:09Z)
• XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
  XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。 提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
  論文  参考訳（メタデータ） (2020-05-01T12:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。