論文の概要: Aggregate or Not? Exploring Where to Privatize in DNN Based Federated Learning Under Different Non-IID Scenes

• arxiv url: http://arxiv.org/abs/2107.11954v1
• Date: Mon, 26 Jul 2021 04:33:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-27 15:57:18.923905
• Title: Aggregate or Not? Exploring Where to Privatize in DNN Based Federated Learning Under Different Non-IID Scenes
• Title（参考訳）: Aggregate or not? 異なる非IIDシーン下でのDNNに基づくフェデレーション学習におけるプライバタイズ手法の探索
• Authors: Xin-Chun Li, Le Gan, De-Chuan Zhan, Yunfeng Shao, Bingshuai Li, Shaoming Song
• Abstract要約: 効率的な分散トレーニングとデータプライバシ保護のためのフェデレーション学習(FL)が最近提案されている。 そのうちの1つは、クライアント間で自然に存在する統計的不均一性であり、局所的なデータ分布を独立に、同一に分散させる。 ディープニューラルネットワーク(DNN)を持つFLでは、一部のレイヤを民営化することは、非イド問題に対して単純だが効果的なソリューションである。
• 参考スコア（独自算出の注目度）: 17.06472579581974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although federated learning (FL) has recently been proposed for efficient distributed training and data privacy protection, it still encounters many obstacles. One of these is the naturally existing statistical heterogeneity among clients, making local data distributions non independently and identically distributed (i.e., non-iid), which poses challenges for model aggregation and personalization. For FL with a deep neural network (DNN), privatizing some layers is a simple yet effective solution for non-iid problems. However, which layers should we privatize to facilitate the learning process? Do different categories of non-iid scenes have preferred privatization ways? Can we automatically learn the most appropriate privatization way during FL? In this paper, we answer these questions via abundant experimental studies on several FL benchmarks. First, we present the detailed statistics of these benchmarks and categorize them into covariate and label shift non-iid scenes. Then, we investigate both coarse-grained and fine-grained network splits and explore whether the preferred privatization ways have any potential relations to the specific category of a non-iid scene. Our findings are exciting, e.g., privatizing the base layers could boost the performances even in label shift non-iid scenes, which are inconsistent with some natural conjectures. We also find that none of these privatization ways could improve the performances on the Shakespeare benchmark, and we guess that Shakespeare may not be a seriously non-iid scene. Finally, we propose several approaches to automatically learn where to aggregate via cross-stitch, soft attention, and hard selection. We advocate the proposed methods could serve as a preliminary try to explore where to privatize for a novel non-iid scene.
• Abstract（参考訳）: 連合学習(FL)は、分散トレーニングとデータプライバシ保護のために最近提案されているが、それでも多くの障害に直面している。 これらのうちの1つは、クライアント間で自然に存在する統計的不均一性であり、局所的なデータ分布を独立に、同一に分散させる(つまり、非id)。 ディープニューラルネットワーク(DNN)を持つFLでは、一部のレイヤを民営化することは、非イド問題に対して単純だが効果的なソリューションである。 しかし、学習プロセスを促進するために、どの層を民営化するべきか? 非iidシーンの異なるカテゴリは民営化の方法を好むか? FL中で最も適切な民営化方法を自動的に学べるだろうか? 本稿では,複数のflベンチマークを用いた実験を通じて,これらの疑問に答える。 まず、これらのベンチマークの詳細な統計データを示し、それを共変量およびラベルシフト非イドシーンに分類する。 そこで我々は,粗粒度と細粒度の両方のネットワーク分割を調査し,優先的な民営化手法が,非イドシーンの特定のカテゴリと潜在的な関係があるかどうかを考察する。 私たちの発見はエキサイティングで、例えば、基盤層を民営化することで、ラベルシフトの非iidシーンでもパフォーマンスが向上する可能性がある。 また、これらの民営化方法がシェイクスピアのベンチマークの演奏を改善できないことも分かり、シェイクスピアは真面目なノンアイドシーンではないと推測する。 最後に, クロスストッチ, ソフトアテンション, ハードセレクションなどを通じて, 集約する場所を自動的に学習する手法を提案する。 提案手法は,新たな非イドシーンの民営化の方法を探究するための予備的試みとして有効である。

関連論文リスト

• A Stochastic Optimization Framework for Private and Fair Learning From Decentralized Data [14.748203847227542]
  プライベート・フェア・フェデレーション・ラーニング(FL)のための新しいアルゴリズムを開発した。 我々のアルゴリズムは、サイロ間レコードレベル差分プライバシー(ISRL-DP)を満たす。 実験では、さまざまなプライバシレベルにわたるアルゴリズムのトレードオフとして、最先端の公正性・正確性フレームワークが実証されている。
  論文  参考訳（メタデータ） (2024-11-12T15:51:35Z)
• Mitigating Boundary Ambiguity and Inherent Bias for Text Classification in the Era of Large Language Models [24.085614720512744]
  本研究では,大規模言語モデル (LLM) がテキスト分類における選択肢の数や配置の変化に対して脆弱であることを示す。 重要なボトルネックは、曖昧な決定境界と、特定のトークンや位置に対する固有のバイアスから生じます。 我々のアプローチは、ペア比較が境界のあいまいさと固有のバイアスを効果的に緩和できるという経験的観察に基づいている。
  論文  参考訳（メタデータ） (2024-06-11T06:53:19Z)
• Federated Learning Empowered by Generative Content [55.576885852501775]
  フェデレートラーニング(FL)は、プライバシ保護方法でモデルのトレーニングに分散プライベートデータを活用可能にする。 本稿では,FedGCと呼ばれる新しいFLフレームワークを提案する。 我々は、さまざまなベースライン、データセット、シナリオ、モダリティをカバーする、FedGCに関する体系的な実証的研究を行う。
  論文  参考訳（メタデータ） (2023-12-10T07:38:56Z)
• Training Private Models That Know What They Don't Know [40.19666295972155]
  いくつかの一般的な選択的予測手法は、差分的にプライベートな環境では効果がないことがわかった。 モデルユーティリティレベルを越えた選択予測性能を分離する新しい評価機構を提案する。
  論文  参考訳（メタデータ） (2023-05-28T12:20:07Z)
• Increasing Probability Mass on Answer Choices Does Not Always Improve Accuracy [60.18632773935895]
  同一の意味を持つ複数の曲面に確率質量を分散させることは、モデルの真の性能の過小評価を引き起こすと考えられている。 我々はSFCの数学的形式論を提案し、初めてその影響を定量化し、束縛することができる。 提案手法は,各回答選択の確率質量をaで増加させるという単純な方法であり,プロンプトに含め,bに含めた確率質量をbで増加させる手法である。
  論文  参考訳（メタデータ） (2023-05-24T00:27:00Z)
• FedABC: Targeting Fair Competition in Personalized Federated Learning [76.9646903596757]
  フェデレートラーニングは、クライアントのローカルプライベートデータにアクセスすることなく、モデルを協調的にトレーニングすることを目的としている。 我々はFedABCと呼ばれるバイナリ分類によるFederated Averagingと呼ばれる新規で汎用的なPFLフレームワークを提案する。 特に、各クライアントに1対1のトレーニング戦略を採用して、クラス間の不公平な競争を軽減する。
  論文  参考訳（メタデータ） (2023-02-15T03:42:59Z)
• Federated Learning with Privacy-Preserving Ensemble Attention Distillation [63.39442596910485]
  Federated Learning(FL)は、多くのローカルノードがトレーニングデータを分散化しながら、中央モデルを協調的にトレーニングする機械学習パラダイムである。 本稿では,未ラベル公開データを利用した一方向オフライン知識蒸留のためのプライバシー保護FLフレームワークを提案する。 我々の技術は、既存のFLアプローチのような分散的で異質なローカルデータを使用するが、より重要なのは、プライバシー漏洩のリスクを著しく低減することです。
  論文  参考訳（メタデータ） (2022-10-16T06:44:46Z)
• Semi-Supervised Temporal Action Detection with Proposal-Free Masking [134.26292288193298]
  PropOsal-free Temporal mask (SPOT) に基づく新しい半教師付き時間行動検出モデルを提案する。 SPOTは最先端の代替品よりも優れている。
  論文  参考訳（メタデータ） (2022-07-14T16:58:47Z)
• On Privacy and Personalization in Cross-Silo Federated Learning [39.031422430404405]
  本研究では,クロスサイロ学習(FL)における差分プライバシーの適用について考察する。 平均正規化マルチタスク学習(MR-MTL)がクロスサイロFLの強力なベースラインであることを示す。 平均推定問題に対するMR-MTLの理論的評価とともに,競合する手法の徹底的な実証研究を行った。
  論文  参考訳（メタデータ） (2022-06-16T03:26:48Z)
• Mixed Differential Privacy in Computer Vision [133.68363478737058]
  AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。 プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
  論文  参考訳（メタデータ） (2022-03-22T06:15:43Z)
• Heterogeneous Data-Aware Federated Learning [10.590129221143222]
  フェデレートラーニング(FL)は、データをプライベートに保ちながら、ニューラルネットワーク(NN)の分散トレーニングを実行するための魅力的な概念である。 本稿では,サーバ上のジェネリックモデルパラメータを集約し,各クライアント固有のパラメータの集合を保持する新しい手法を提案する。 その結果,極端に有利な症例で,本手法の利点が示された。
  論文  参考訳（メタデータ） (2020-11-12T14:07:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。