論文の概要: Pretrained Models for Multilingual Federated Learning

• arxiv url: http://arxiv.org/abs/2206.02291v1
• Date: Mon, 6 Jun 2022 00:20:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-08 06:35:41.940848
• Title: Pretrained Models for Multilingual Federated Learning
• Title（参考訳）: 多言語フェデレーション学習のための事前学習モデル
• Authors: Orion Weller, Marc Marone, Vladimir Braverman, Dawn Lawrie, Benjamin Van Durme
• Abstract要約: 我々は,多言語テキストがフェデレートラーニング(FL)アルゴリズムに与える影響について検討する。 3つの多言語言語タスク、言語モデリング、機械翻訳、テキスト分類について検討する。 以上の結果から,事前学習モデルを用いることでFLの負の効果を低減し,集中学習(プライバシなし)よりも高い性能を達成できることが示唆された。
• 参考スコア（独自算出の注目度）: 38.19507070702635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Since the advent of Federated Learning (FL), research has applied these methods to natural language processing (NLP) tasks. Despite a plethora of papers in FL for NLP, no previous works have studied how multilingual text impacts FL algorithms. Furthermore, multilingual text provides an interesting avenue to examine the impact of non-IID text (e.g. different languages) on FL in naturally occurring data. We explore three multilingual language tasks, language modeling, machine translation, and text classification using differing federated and non-federated learning algorithms. Our results show that using pretrained models reduces the negative effects of FL, helping them to perform near or better than centralized (no privacy) learning, even when using non-IID partitioning.
• Abstract（参考訳）: 連合学習(fl)の出現以来、これらの手法は自然言語処理(nlp)タスクに応用されてきた。 FL for NLPの論文は数多いが、複数言語テキストがFLアルゴリズムにどのように影響するかは、これまでの研究では研究されていない。 さらに、多言語テキストは自然発生データにおけるFLに対する非IIDテキスト(例えば、異なる言語)の影響を調べる興味深い道筋を提供する。 我々は,異なるフェデレーションと非フェデレーションの学習アルゴリズムを用いた3つの多言語言語タスク,言語モデリング,機械翻訳,テキスト分類について検討する。 以上の結果から,事前学習モデルを用いることでflの悪影響を低減し,非iid分割を用いた場合であっても,集中型(プライバシなし)学習よりも精度が向上することが示された。

関連論文リスト

• Exploring transfer learning for Deep NLP systems on rarely annotated languages [0.0]
  本論文はヒンディー語とネパール語間のPOSタグ付けにおける移動学習の適用について考察する。 ヒンディー語におけるマルチタスク学習において,ジェンダーや単数/複数タグ付けなどの補助的なタスクがPOSタグ付け精度の向上に寄与するかどうかを評価する。
  論文  参考訳（メタデータ） (2024-10-15T13:33:54Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• AfroLM: A Self-Active Learning-based Multilingual Pretrained Language Model for 23 African Languages [0.021987601456703476]
  AfroLMは、23のアフリカ語でスクラッチから事前訓練された多言語言語モデルである。 AfroLMは、既存のベースラインよりも小さいデータセット14xで事前訓練される。 様々な領域にまたがってうまく一般化することができる。
  論文  参考訳（メタデータ） (2022-11-07T02:15:25Z)
• A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference [54.678516076366506]
  自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。 本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-31T05:54:18Z)
• LaoPLM: Pre-trained Language Models for Lao [3.2146309563776416]
  事前訓練された言語モデル(PLM)は、コンテキストにおける異なるレベルの概念をキャプチャし、普遍的な言語表現を生成する。 PTMは、ほとんどのNLPアプリケーションで広く使われているが、Lao NLP研究ではあまり使われていない。 ラオス語の資源管理状況を軽減するために,テキスト分類データセットを構築した。 本稿では,ラオスにおけるトランスフォーマーベースのPTMを,BERT-small,BERT-base,ELECTRA-small,ELECTRA-baseの4つのバージョンで提案する。
  論文  参考訳（メタデータ） (2021-10-12T11:13:07Z)
• Analysing The Impact Of Linguistic Features On Cross-Lingual Transfer [3.299672391663527]
  我々は、最先端の多言語モデルを分析し、言語間の良い伝達に何が影響するかを判断する。 また,特定の構文特徴を見ることは,構文的類似性の集合よりも,性能予測に2～4倍有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-12T21:22:58Z)
• FedNLP: A Research Platform for Federated Learning in Natural Language Processing [55.01246123092445]
  NLPのフェデレーションラーニングのための研究プラットフォームであるFedNLPを紹介します。 FedNLPは、テキスト分類、シーケンスタグ付け、質問応答、Seq2seq生成、言語モデリングなど、NLPで一般的なタスクの定式化をサポートしている。 FedNLPによる予備実験では、分散型データセットと集中型データセットの学習には大きなパフォーマンスギャップが存在することが明らかになった。
  論文  参考訳（メタデータ） (2021-04-18T11:04:49Z)
• X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
  言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。 しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。 我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
  論文  参考訳（メタデータ） (2020-10-13T05:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。