論文の概要: Federated NLP in Few-shot Scenarios

• arxiv url: http://arxiv.org/abs/2212.05974v1
• Date: Mon, 12 Dec 2022 15:29:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 15:07:31.518455
• Title: Federated NLP in Few-shot Scenarios
• Title（参考訳）: ファウショットシナリオにおけるフェデレートNLP
• Authors: Dongqi Cai, Shangguang Wang, Yaozong Wu, Felix Xiaozhu Lin, Mengwei Xu
• Abstract要約: 本研究は,FedFSL(FedFSL)におけるフェデレーションNLPについて検討する。 まず、トレーニングデータの0.05%(100パーセント以下)しかラベル付けされていない場合に、競争精度を提供するトレーニングパイプラインを構築します。 次に,新しい設計による高い実行コストに対応するシステムFFNLPを提案する。
• 参考スコア（独自算出の注目度）: 2.6706511009396023
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural language processing (NLP) sees rich mobile applications. To support various language understanding tasks, a foundation NLP model is often fine-tuned in a federated, privacy-preserving setting (FL). This process currently relies on at least hundreds of thousands of labeled training samples from mobile clients; yet mobile users often lack willingness or knowledge to label their data. Such an inadequacy of data labels is known as a few-shot scenario; it becomes the key blocker for mobile NLP applications. For the first time, this work investigates federated NLP in the few-shot scenario (FedFSL). By retrofitting algorithmic advances of pseudo labeling and prompt learning, we first establish a training pipeline that delivers competitive accuracy when only 0.05% (fewer than 100) of the training data is labeled and the remaining is unlabeled. To instantiate the workflow, we further present a system FFNLP, addressing the high execution cost with novel designs. (1) Curriculum pacing, which injects pseudo labels to the training workflow at a rate commensurate to the learning progress; (2) Representational diversity, a mechanism for selecting the most learnable data, only for which pseudo labels will be generated; (3) Co-planning of a model's training depth and layer capacity. Together, these designs reduce the training delay, client energy, and network traffic by up to 46.0$\times$, 41.2$\times$ and 3000.0$\times$, respectively. Through algorithm/system co-design, FFNLP demonstrates that FL can apply to challenging settings where most training samples are unlabeled.
• Abstract（参考訳）: 自然言語処理(NLP)はリッチなモバイルアプリケーションである。 様々な言語理解タスクをサポートするため、基盤となるnlpモデルは、しばしば連合したプライバシー保護設定(fl)で微調整される。 このプロセスは現在、モバイルクライアントから少なくとも数十万のラベル付きトレーニングサンプルに依存しているが、モバイルユーザは自分のデータをラベル付けする意思や知識を欠いていることが多い。 このようなデータラベルの不十分さは、数ショットのシナリオとして知られており、モバイルNLPアプリケーションのキーブロッカーとなっている。 この研究は、数ショットシナリオ(FedFSL)におけるフェデレーションNLPを初めて調査する。 擬似ラベリングと即時学習のアルゴリズム的進歩を再現することにより、トレーニングデータの0.05%(100未満)しかラベル付けされず、残りがラベル付けされていない場合に競争精度を提供する訓練パイプラインを最初に構築する。 ワークフローをインスタンス化するために,新しい設計で高い実行コストに対応するシステムFFNLPを提案する。 1)疑似ラベルをトレーニングワークフローに、学習の進捗に合致するレートで注入するカリキュラムペーシング、(2)最も学習可能なデータを選択するためのメカニズムである表現多様性、(3)モデルのトレーニング深さと層容量のコプランニング。 これらの設計により、トレーニング遅延、クライアントエネルギー、ネットワークトラフィックがそれぞれ46.0$\times$、41.2$\times$、3000.0$\times$となる。 FFNLPはアルゴリズム/システムの共同設計を通じて、ほとんどのトレーニングサンプルがラベル付けされていない困難な設定にFLを適用することができることを示した。

関連論文リスト

• Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
  現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。 総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-11-12T18:57:59Z)
• (FL)$^2$: Overcoming Few Labels in Federated Semi-Supervised Learning [4.803231218533992]
  Federated Learning(FL)は、クライアントのプライバシに敏感なデータを保存しながら、正確なグローバルモデルをトレーニングする分散機械学習フレームワークである。 ほとんどのFLアプローチは、クライアントがラベル付きデータを持っていると仮定するが、実際にはそうではないことが多い。 本稿では、シャープネスを意識した整合性正規化を用いたラベルなしクライアントのための堅牢なトレーニング手法である$(FL)2$を提案する。
  論文  参考訳（メタデータ） (2024-10-30T17:15:02Z)
• FedAnchor: Enhancing Federated Semi-Supervised Learning with Label Contrastive Loss for Unlabeled Clients [19.3885479917635]
  Federated Learning(FL)は、デバイス間で共有されたグローバルモデルの協調トレーニングを促進する分散学習パラダイムである。 本稿では,サーバ上のラベル付きアンカーデータにのみ訓練された分類ヘッドと組み合わせて,アンカーヘッドと呼ばれるユニークな二重ヘッド構造を導入する,革新的なFSSL手法であるFedAnchorを提案する。 提案手法は, 高信頼度モデル予測サンプルに基づいて, 疑似ラベル技術に係わる検証バイアスと過度に適合する問題を緩和する。
  論文  参考訳（メタデータ） (2024-02-15T18:48:21Z)
• Collaborating Heterogeneous Natural Language Processing Tasks via Federated Learning [55.99444047920231]
  提案するATCフレームワークは, 各種ベースライン手法と比較して, 大幅な改善を実現している。 自然言語理解(NLU)タスクと自然言語生成(NLG)タスクを対象とする,広く使用されている6つのデータセットについて,広範な実験を行った。
  論文  参考訳（メタデータ） (2022-12-12T09:27:50Z)
• Pseudo-Labeling Based Practical Semi-Supervised Meta-Training for Few-Shot Learning [93.63638405586354]
  擬似ラベルベースメタラーニング(PLML)という,シンプルで効果的なメタトレーニングフレームワークを提案する。 まず、一般的な半教師付き学習(SSL)を用いて分類器を訓練し、ラベルなしデータの擬似ラベルを得る。 ラベル付きおよび擬似ラベル付きデータから数ショットのタスクを構築し、特徴の平滑化と雑音抑圧を伴う新しい微調整法を設計する。
  論文  参考訳（メタデータ） (2022-07-14T10:53:53Z)
• FedNLP: A Research Platform for Federated Learning in Natural Language Processing [55.01246123092445]
  NLPのフェデレーションラーニングのための研究プラットフォームであるFedNLPを紹介します。 FedNLPは、テキスト分類、シーケンスタグ付け、質問応答、Seq2seq生成、言語モデリングなど、NLPで一般的なタスクの定式化をサポートしている。 FedNLPによる予備実験では、分散型データセットと集中型データセットの学習には大きなパフォーマンスギャップが存在することが明らかになった。
  論文  参考訳（メタデータ） (2021-04-18T11:04:49Z)
• Federated Few-Shot Learning with Adversarial Learning [30.905239262227]
  少数のラベル付きサンプルだけで、見えないデータクラスを分類できる、数ショットの分類モデルを学ぶための、数ショット学習フレームワークを提案する。 学習視覚タスクは10%以上,言語タスクは5%以上,私たちのアプローチはベースラインよりも優れています。
  論文  参考訳（メタデータ） (2021-04-01T09:44:57Z)
• Adaptive Self-training for Few-shot Neural Sequence Labeling [55.43109437200101]
  ニューラルシークエンスラベリングモデルにおけるラベル不足問題に対処する手法を開発した。 自己学習は、大量のラベルのないデータから学ぶための効果的なメカニズムとして機能する。 メタラーニングは、適応的なサンプル再重み付けにおいて、ノイズのある擬似ラベルからのエラー伝播を軽減するのに役立つ。
  論文  参考訳（メタデータ） (2020-10-07T22:29:05Z)
• Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
  本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。 本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。 本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
  論文  参考訳（メタデータ） (2020-06-27T08:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。