論文の概要: Pretrained Models for Multilingual Federated Learning
- arxiv url: http://arxiv.org/abs/2206.02291v1
- Date: Mon, 6 Jun 2022 00:20:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-08 06:35:41.940848
- Title: Pretrained Models for Multilingual Federated Learning
- Title(参考訳): 多言語フェデレーション学習のための事前学習モデル
- Authors: Orion Weller, Marc Marone, Vladimir Braverman, Dawn Lawrie, Benjamin
Van Durme
- Abstract要約: 我々は,多言語テキストがフェデレートラーニング(FL)アルゴリズムに与える影響について検討する。
3つの多言語言語タスク、言語モデリング、機械翻訳、テキスト分類について検討する。
以上の結果から,事前学習モデルを用いることでFLの負の効果を低減し,集中学習(プライバシなし)よりも高い性能を達成できることが示唆された。
- 参考スコア(独自算出の注目度): 38.19507070702635
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Since the advent of Federated Learning (FL), research has applied these
methods to natural language processing (NLP) tasks. Despite a plethora of
papers in FL for NLP, no previous works have studied how multilingual text
impacts FL algorithms. Furthermore, multilingual text provides an interesting
avenue to examine the impact of non-IID text (e.g. different languages) on FL
in naturally occurring data. We explore three multilingual language tasks,
language modeling, machine translation, and text classification using differing
federated and non-federated learning algorithms. Our results show that using
pretrained models reduces the negative effects of FL, helping them to perform
near or better than centralized (no privacy) learning, even when using non-IID
partitioning.
- Abstract(参考訳): 連合学習(fl)の出現以来、これらの手法は自然言語処理(nlp)タスクに応用されてきた。
FL for NLPの論文は数多いが、複数言語テキストがFLアルゴリズムにどのように影響するかは、これまでの研究では研究されていない。
さらに、多言語テキストは自然発生データにおけるFLに対する非IIDテキスト(例えば、異なる言語)の影響を調べる興味深い道筋を提供する。
我々は,異なるフェデレーションと非フェデレーションの学習アルゴリズムを用いた3つの多言語言語タスク,言語モデリング,機械翻訳,テキスト分類について検討する。
以上の結果から,事前学習モデルを用いることでflの悪影響を低減し,非iid分割を用いた場合であっても,集中型(プライバシなし)学習よりも精度が向上することが示された。
関連論文リスト
- How do Large Language Models Handle Multilingualism? [87.06210331315451]
大規模言語モデル(LLM)は、様々な言語で顕著な性能を示す。
LLMの多言語入力処理を記述したフレームワークを提案する。
さらに,特定の言語処理における言語特異的ニューロンの存在について検討する。
論文 参考訳(メタデータ) (2024-02-29T02:55:26Z) - Natural Language Processing for Dialects of a Language: A Survey [59.78833854847185]
最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。
この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。
方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
論文 参考訳(メタデータ) (2024-01-11T03:04:38Z) - Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。
我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。
また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
論文 参考訳(メタデータ) (2023-01-22T18:22:55Z) - AfroLM: A Self-Active Learning-based Multilingual Pretrained Language
Model for 23 African Languages [0.021987601456703476]
AfroLMは、23のアフリカ語でスクラッチから事前訓練された多言語言語モデルである。
AfroLMは、既存のベースラインよりも小さいデータセット14xで事前訓練される。
様々な領域にまたがってうまく一般化することができる。
論文 参考訳(メタデータ) (2022-11-07T02:15:25Z) - LaoPLM: Pre-trained Language Models for Lao [3.2146309563776416]
事前訓練された言語モデル(PLM)は、コンテキストにおける異なるレベルの概念をキャプチャし、普遍的な言語表現を生成する。
PTMは、ほとんどのNLPアプリケーションで広く使われているが、Lao NLP研究ではあまり使われていない。
ラオス語の資源管理状況を軽減するために,テキスト分類データセットを構築した。
本稿では,ラオスにおけるトランスフォーマーベースのPTMを,BERT-small,BERT-base,ELECTRA-small,ELECTRA-baseの4つのバージョンで提案する。
論文 参考訳(メタデータ) (2021-10-12T11:13:07Z) - Adversarial Training with Contrastive Learning in NLP [0.0]
本稿では,言語処理タスクを逆学習するために,比較学習(ATCL)を用いた逆学習を提案する。
中心となる考え方は、高速勾配法(FGM)によって入力の埋め込み空間に線形摂動を生じさせ、元の表現と摂動表現を対照的な学習によって密に保つようモデルを訓練することである。
この結果から, 定量的(複雑度, BLEU) のスコアは, ベースラインに比べて向上しただけでなく, 両タスクのセマンティックレベルにおいても, 質的な結果が得られた。
論文 参考訳(メタデータ) (2021-09-19T07:23:45Z) - Analysing The Impact Of Linguistic Features On Cross-Lingual Transfer [3.299672391663527]
我々は、最先端の多言語モデルを分析し、言語間の良い伝達に何が影響するかを判断する。
また,特定の構文特徴を見ることは,構文的類似性の集合よりも,性能予測に2~4倍有益であることを示す。
論文 参考訳(メタデータ) (2021-05-12T21:22:58Z) - FedNLP: A Research Platform for Federated Learning in Natural Language
Processing [55.01246123092445]
NLPのフェデレーションラーニングのための研究プラットフォームであるFedNLPを紹介します。
FedNLPは、テキスト分類、シーケンスタグ付け、質問応答、Seq2seq生成、言語モデリングなど、NLPで一般的なタスクの定式化をサポートしている。
FedNLPによる予備実験では、分散型データセットと集中型データセットの学習には大きなパフォーマンスギャップが存在することが明らかになった。
論文 参考訳(メタデータ) (2021-04-18T11:04:49Z) - X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained
Language Models [103.75890012041366]
言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。
しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。
我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
論文 参考訳(メタデータ) (2020-10-13T05:29:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。