論文の概要: Federated Distillation of Natural Language Understanding with Confident Sinkhorns

• arxiv url: http://arxiv.org/abs/2110.02432v1
• Date: Wed, 6 Oct 2021 00:44:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 06:55:50.285851
• Title: Federated Distillation of Natural Language Understanding with Confident Sinkhorns
• Title（参考訳）: 疑似シンクホーンを用いた自然言語理解のフェデレート蒸留
• Authors: Rishabh Bhardwaj, Tushar Vaidya, Soujanya Poria
• Abstract要約: ユーザデバイス上で訓練された(ローカル)モデルのフェデレーションから,中央(グローバル)モデルを学習するためのアプローチを提案する。 グローバルモデルを学ぶためには,局所モデルに割り当てられたソフトターゲットの信頼度から,グローバルモデル予測の最適輸送コストを最小化する。
• 参考スコア（独自算出の注目度）: 12.681983862338619
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Enhancing the user experience is an essential task for application service providers. For instance, two users living wide apart may have different tastes of food. A food recommender mobile application installed on an edge device might want to learn from user feedback (reviews) to satisfy the client's needs pertaining to distinct domains. Retrieving user data comes at the cost of privacy while asking for model parameters trained on a user device becomes space inefficient at a large scale. In this work, we propose an approach to learn a central (global) model from the federation of (local) models which are trained on user-devices, without disclosing the local data or model parameters to the server. We propose a federation mechanism for the problems with natural similarity metric between the labels which commonly appear in natural language understanding (NLU) tasks. To learn the global model, the objective is to minimize the optimal transport cost of the global model's predictions from the confident sum of soft-targets assigned by local models. The confidence (a model weighting scheme) score of a model is defined as the L2 distance of a model's prediction from its probability bias. The method improves the global model's performance over the baseline designed on three NLU tasks with intrinsic label space semantics, i.e., fine-grained sentiment analysis, emotion recognition in conversation, and natural language inference. We make our codes public at https://github.com/declare-lab/sinkhorn-loss.
• Abstract（参考訳）: ユーザエクスペリエンスの向上は、アプリケーションサービスプロバイダにとって不可欠なタスクです。 例えば、広い範囲に住んでいる2人のユーザーは、食べ物の味が違うかもしれない。 エッジデバイスにインストールされたfood recommenderモバイルアプリケーションは、異なるドメインに関するクライアントのニーズを満たすために、ユーザからのフィードバック(レビュー)から学びたい場合があります。 ユーザデータを取得するには、プライバシのコストがかかると同時に、ユーザデバイスでトレーニングされたモデルパラメータを大規模にスペース非効率にする。 本研究では、ローカルデータやモデルパラメータをサーバに公開することなく、ユーザデバイス上でトレーニングされた(ローカル)モデルのフェデレーションから中央(グローバル)モデルを学習するアプローチを提案する。 本稿では,自然言語理解(NLU)タスクに一般的に現れるラベル間の類似度指標の問題に対するフェデレーション機構を提案する。 グローバルモデルを学ぶためには,局所モデルに割り当てられたソフトターゲットの信頼度から,グローバルモデル予測の最適輸送コストを最小化する。 モデルの信頼度(モデル重み付けスキーム)スコアは、モデルの予測と確率バイアスとのL2距離として定義される。 本手法は,3つのNLUタスクに固有のラベル空間意味論(微粒な感情分析,会話における感情認識,自然言語推論)を組み込んだベースライン上でのグローバルモデルの性能を向上させる。 コードはhttps://github.com/declare-lab/sinkhorn-lossで公開しています。

関連論文リスト

• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Federated Select: A Primitive for Communication- and Memory-Efficient Federated Learning [4.873569522869751]
  Federated Learning(FL)は、異種クライアントデバイス間で機械学習を行うためのフレームワークである。 クライアントがどの値を送信するかを"選択"する,より一般的な手順を提案する。 これにより、クライアントは小さなデータ依存スライスで操作できる。
  論文  参考訳（メタデータ） (2022-08-19T16:26:03Z)
• Federated Split GANs [12.007429155505767]
  ユーザデバイス自体でMLモデルをトレーニングするための代替手法を提案する。 我々は、GAN(ジェネレーティブ・逆境ネットワーク)に注目し、その固有のプライバシー保護属性を活用する。 我々のシステムはデータのプライバシを保ち、短時間のトレーニング時間を保ち、制約のないデバイスで同じ精度でモデルトレーニングを行う。
  論文  参考訳（メタデータ） (2022-07-04T23:53:47Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• FedBE: Making Bayesian Model Ensemble Applicable to Federated Learning [23.726336635748783]
  フェデレートラーニング(Federated Learning)は、ユーザのローカルにトレーニングされたモデルにアクセスして、自身のデータではなく、強力なグローバルモデルを協調的にトレーニングすることを目的としている。 したがって、ローカルモデルをグローバルモデルに集約することが重要なステップであり、これはユーザーが非i.d.データを持つ場合に困難であることが示されている。 我々は,ハイクオリティなグローバルモデルをサンプリングすることによってベイズ推論の観点から,FedBEという新しい集約アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-04T01:18:25Z)
• Information-Theoretic Bounds on the Generalization Error and Privacy Leakage in Federated Learning [96.38757904624208]
  モバイルネットワーク上の機械学習アルゴリズムは、3つのカテゴリに分類される。 この研究の主な目的は、前述のすべての学習パラダイムに対する情報理論のフレームワークを提供することである。
  論文  参考訳（メタデータ） (2020-05-05T21:23:45Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)
• Think Locally, Act Globally: Federated Learning with Local and Global Representations [92.68484710504666]
  フェデレートラーニング(Federated Learning)とは、複数のデバイスに分散したプライベートデータ上でモデルをトレーニングする手法である。 本稿では,各デバイス上でコンパクトな局所表現を共同で学習する新しいフェデレーション学習アルゴリズムを提案する。 また、プライバシが鍵となる実世界のモバイルデータから、パーソナライズされた気分予測のタスクを評価する。
  論文  参考訳（メタデータ） (2020-01-06T12:40:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。