論文の概要: Collaborating Heterogeneous Natural Language Processing Tasks via
Federated Learning
- arxiv url: http://arxiv.org/abs/2212.05789v1
- Date: Mon, 12 Dec 2022 09:27:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 16:11:54.510962
- Title: Collaborating Heterogeneous Natural Language Processing Tasks via
Federated Learning
- Title(参考訳): 連携学習による異種自然言語処理タスクの協調
- Authors: Chenhe Dong, Yuexiang Xie, Bolin Ding, Ying Shen, Yaliang Li
- Abstract要約: 提案するATCフレームワークは, 各種ベースライン手法と比較して, 大幅な改善を実現している。
自然言語理解(NLU)タスクと自然言語生成(NLG)タスクを対象とする,広く使用されている6つのデータセットについて,広範な実験を行った。
- 参考スコア(独自算出の注目度): 55.99444047920231
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The increasing privacy concerns on personal private text data promote the
development of federated learning (FL) in recent years. However, the existing
studies on applying FL in NLP are not suitable to coordinate participants with
heterogeneous or private learning objectives. In this study, we further broaden
the application scope of FL in NLP by proposing an Assign-Then-Contrast
(denoted as ATC) framework, which enables clients with heterogeneous NLP tasks
to construct an FL course and learn useful knowledge from each other.
Specifically, the clients are suggested to first perform local training with
the unified tasks assigned by the server rather than using their own learning
objectives, which is called the Assign training stage. After that, in the
Contrast training stage, clients train with different local learning objectives
and exchange knowledge with other clients who contribute consistent and useful
model updates. We conduct extensive experiments on six widely-used datasets
covering both Natural Language Understanding (NLU) and Natural Language
Generation (NLG) tasks, and the proposed ATC framework achieves significant
improvements compared with various baseline methods. The source code is
available at
\url{https://github.com/alibaba/FederatedScope/tree/master/federatedscope/nlp/hetero_tasks}.
- Abstract(参考訳): 個人のプライベートテキストデータに対するプライバシーの懸念が高まり、近年のフェデレートラーニング(FL)の発展が促進されている。
しかし、NLPにおけるFLの適用に関する既存の研究は、参加者を異種・プライベートな学習目標に合わせるのに適していない。
本研究では、異種NLPタスクを持つクライアントがFLコースを構築し、相互に有用な知識を学習できるようにするAssign-Then-Contrast(ATC)フレームワークを提案することにより、NLPにおけるFLの適用範囲をさらに広げる。
具体的には、クライアントは、アサイントレーニングステージと呼ばれる独自の学習目標を使用するのではなく、サーバが割り当てた統一タスクで最初にローカルトレーニングを行うように提案する。
その後、Contrastのトレーニング段階において、クライアントは異なるローカル学習目標でトレーニングを行い、一貫性と有用なモデル更新に貢献する他のクライアントと知識を交換する。
本研究では,自然言語理解(NLU)タスクと自然言語生成(NLG)タスクを対象とする6つの広義のデータセットについて広範な実験を行った。
ソースコードは \url{https://github.com/alibaba/FederatedScope/tree/federatedscope/nlp/hetero_tasks} で公開されている。
関連論文リスト
- Personalized Wireless Federated Learning for Large Language Models [75.22457544349668]
大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。
無線ネットワークへの展開は、プライバシとセキュリティ保護機構の欠如など、依然として課題に直面している。
通信オーバーヘッドの少ない2つのパーソナライズされた無線フェデレーションファインチューニング手法を提案する。
論文 参考訳(メタデータ) (2024-04-20T02:30:21Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Towards Building the Federated GPT: Federated Instruction Tuning [66.7900343035733]
本稿では,大規模言語モデル(LLM)の命令チューニングのための学習フレームワークとして,FedIT(Federated Instruction Tuning)を紹介する。
我々は,FedITを用いてクライアントの終端における多種多様な命令セットを活用することにより,ローカル命令のみを限定した集中学習に比べ,LLMの性能を向上させることを実証した。
論文 参考訳(メタデータ) (2023-05-09T17:42:34Z) - When Do Curricula Work in Federated Learning? [56.88941905240137]
カリキュラム学習は非IID性を大幅に軽減する。
クライアント間でデータ配布を多様化すればするほど、学習の恩恵を受けるようになる。
本稿では,クライアントの現実的格差を生かした新しいクライアント選択手法を提案する。
論文 参考訳(メタデータ) (2022-12-24T11:02:35Z) - FedClassAvg: Local Representation Learning for Personalized Federated
Learning on Heterogeneous Neural Networks [21.613436984547917]
我々は、フェデレーション分類器平均化(FedClassAvg)と呼ばれる、新しいパーソナライズされたフェデレーション学習手法を提案する。
FedClassAvgは、特徴空間上の決定境界に関する合意として重みを集約する。
異質なパーソナライズされたフェデレーション学習タスクにおいて、現在の最先端のアルゴリズムよりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-10-25T08:32:08Z) - Federated Continual Learning for Text Classification via Selective
Inter-client Transfer [21.419581793986378]
本研究では,クラウドエッジ連続体におけるテキスト分類タスクにおいて,フェデレートラーニング(FL)と継続ラーニング(CL)の2つのパラダイムを組み合わせる。
フェデレート・継続学習(FCL)の目的は、データを共有することなく、(関連的で効率的な)知識伝達により、各クライアントの生涯にわたってディープラーニングモデルを改善することである。
ここでは、FCLセットアップにおけるクライアント間の不均一なタスクによる知識共有において、クライアント間の干渉を最小限に抑えることの課題に対処する。
そこで本稿では,外部クライアントのモデルパラメータを選択的に組み合わせたFedSeIT(Federated Selective Inter-client Transfer)を提案する。
論文 参考訳(メタデータ) (2022-10-12T11:24:13Z) - FedNLP: A Research Platform for Federated Learning in Natural Language
Processing [55.01246123092445]
NLPのフェデレーションラーニングのための研究プラットフォームであるFedNLPを紹介します。
FedNLPは、テキスト分類、シーケンスタグ付け、質問応答、Seq2seq生成、言語モデリングなど、NLPで一般的なタスクの定式化をサポートしている。
FedNLPによる予備実験では、分散型データセットと集中型データセットの学習には大きなパフォーマンスギャップが存在することが明らかになった。
論文 参考訳(メタデータ) (2021-04-18T11:04:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。