論文の概要: FedNLP: A Research Platform for Federated Learning in Natural Language Processing

• arxiv url: http://arxiv.org/abs/2104.08815v1
• Date: Sun, 18 Apr 2021 11:04:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-21 13:20:41.786628
• Title: FedNLP: A Research Platform for Federated Learning in Natural Language Processing
• Title（参考訳）: FedNLP: 自然言語処理におけるフェデレーション学習のための研究プラットフォーム
• Authors: Bill Yuchen Lin, Chaoyang He, Zihang Zeng, Hulin Wang, Yufen Huang, Mahdi Soltanolkotabi, Xiang Ren, Salman Avestimehr
• Abstract要約: NLPのフェデレーションラーニングのための研究プラットフォームであるFedNLPを紹介します。 FedNLPは、テキスト分類、シーケンスタグ付け、質問応答、Seq2seq生成、言語モデリングなど、NLPで一般的なタスクの定式化をサポートしている。 FedNLPによる予備実験では、分散型データセットと集中型データセットの学習には大きなパフォーマンスギャップが存在することが明らかになった。
• 参考スコア（独自算出の注目度）: 55.01246123092445
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Increasing concerns and regulations about data privacy, necessitate the study of privacy-preserving methods for natural language processing (NLP) applications. Federated learning (FL) provides promising methods for a large number of clients (i.e., personal devices or organizations) to collaboratively learn a shared global model to benefit all clients, while allowing users to keep their data locally. To facilitate FL research in NLP, we present the FedNLP, a research platform for federated learning in NLP. FedNLP supports various popular task formulations in NLP such as text classification, sequence tagging, question answering, seq2seq generation, and language modeling. We also implement an interface between Transformer language models (e.g., BERT) and FL methods (e.g., FedAvg, FedOpt, etc.) for distributed training. The evaluation protocol of this interface supports a comprehensive collection of non-IID partitioning strategies. Our preliminary experiments with FedNLP reveal that there exists a large performance gap between learning on decentralized and centralized datasets -- opening intriguing and exciting future research directions aimed at developing FL methods suited to NLP tasks.
• Abstract（参考訳）: データプライバシに関する懸念や規制の増大は、自然言語処理(NLP)アプリケーションのためのプライバシ保護手法の研究を必要とする。 フェデレートラーニング(FL)は、多くのクライアント(例えばパーソナルデバイスや組織)が、すべてのクライアントに利益をもたらすために共有グローバルモデルを共同で学習し、ユーザがデータをローカルに保持できるようにする、有望な方法を提供する。 NLPにおけるFL研究を促進するために,NLPにおけるフェデレーション学習のための研究プラットフォームであるFedNLPを提案する。 FedNLPは、テキスト分類、シーケンスタグ付け、質問応答、Seq2seq生成、言語モデリングなど、NLPで一般的なタスクの定式化をサポートしている。 また、Transformer言語モデル(BERTなど)とFLメソッド(FedAvg、FedOptなど)のインターフェースも実装しています。 分散訓練の為です このインタフェースの評価プロトコルは、非IIDパーティショニング戦略の包括的な収集をサポートする。 FedNLPによる予備的な実験は、分散化されたデータセットと集中型データセットの学習の間に大きなパフォーマンスギャップがあることを明らかにします。

関連論文リスト

• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• DPP-based Client Selection for Federated Learning with Non-IID Data [97.1195165400568]
  本稿では,統合学習(FL)のコミュニケーションボトルネックに対処するクライアント選択(CS)手法を提案する。 まず、FLにおけるCSの効果を分析し、各学習ラウンドにおけるトレーニングデータセットの多様化に参加者を適切に選択することで、FLトレーニングを加速させることができることを示す。 我々は、データプロファイリングと決定点プロセス(DPP)サンプリング技術を活用し、DPPに基づく参加者選択(FL-DP$3$S)によるフェデレートラーニング(Federated Learning)と呼ばれるアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2023-03-30T13:14:54Z)
• HugNLP: A Unified and Comprehensive Library for Natural Language Processing [14.305751154503133]
  本稿では,HugingFace Transformersのバックエンドを備えた自然言語処理(NLP)ライブラリであるHugNLPを紹介する。 HugNLPは、モデル、プロセッサ、アプリケーションを含む階層構造で構成され、異なるNLPタスクで事前訓練された言語モデル(PLM)の学習プロセスを統一する。
  論文  参考訳（メタデータ） (2023-02-28T03:38:26Z)
• Collaborating Heterogeneous Natural Language Processing Tasks via Federated Learning [55.99444047920231]
  提案するATCフレームワークは, 各種ベースライン手法と比較して, 大幅な改善を実現している。 自然言語理解(NLU)タスクと自然言語生成(NLG)タスクを対象とする,広く使用されている6つのデータセットについて,広範な実験を行った。
  論文  参考訳（メタデータ） (2022-12-12T09:27:50Z)
• Pretrained Models for Multilingual Federated Learning [38.19507070702635]
  我々は,多言語テキストがフェデレートラーニング(FL)アルゴリズムに与える影響について検討する。 3つの多言語言語タスク、言語モデリング、機械翻訳、テキスト分類について検討する。 以上の結果から,事前学習モデルを用いることでFLの負の効果を低減し,集中学習(プライバシなし)よりも高い性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-06T00:20:30Z)
• Meta Learning for Natural Language Processing: A Survey [88.58260839196019]
  ディープラーニングは自然言語処理(NLP)分野において主要な技術である。 ディープラーニングには多くのラベル付きデータが必要です。 メタ学習は、より良いアルゴリズムを学ぶためのアプローチを研究する機械学習の分野である。
  論文  参考訳（メタデータ） (2022-05-03T13:58:38Z)
• Federated Learning Meets Natural Language Processing: A Survey [12.224792145700562]
  Federated Learningは、複数の分散エッジデバイス(モバイルなど)やサーバから、ローカルデータのプライバシを犠牲にすることなく、マシンラーニングモデルを学習することを目的としている。 最近の自然言語処理技術は、ディープラーニングと大規模な事前学習言語モデルに依存している。
  論文  参考訳（メタデータ） (2021-07-27T05:07:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。