論文の概要: OCTOPUS: Overcoming Performance andPrivatization Bottlenecks in Distributed Learning

• arxiv url: http://arxiv.org/abs/2105.00602v1
• Date: Mon, 3 May 2021 02:24:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-04 22:56:32.664495
• Title: OCTOPUS: Overcoming Performance andPrivatization Bottlenecks in Distributed Learning
• Title（参考訳）: OCTOPUS:分散学習におけるパフォーマンスと生産性の向上
• Authors: Shuo Wang, Surya Nepal, Kristen Moore, Marthie Grobler, Carsten Rudolph, Alsharif Abuadbba
• Abstract要約: フェデレーションラーニングは、分散参加者がデータをローカルに保持しながら、共通共有モデルを共同学習することを可能にする。 遅延圧縮による通信オーバーヘッドに対処するための,新たな分散学習方式を提案する。 コンパクトな潜在表現の下流タスクは集中学習に匹敵する精度が得られることを示す。
• 参考スコア（独自算出の注目度）: 16.98452728773235
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The diversity and quantity of the data warehousing, gathering data from distributed devices such as mobile phones, can enhance machine learning algorithms' success and robustness. Federated learning enables distributed participants to collaboratively learn a commonly-shared model while holding data locally. However, it is also faced with expensive communication and limitations due to the heterogeneity of distributed data sources and lack of access to global data. In this paper, we investigate a practical distributed learning scenario where multiple downstream tasks (e.g., classifiers) could be learned from dynamically-updated and non-iid distributed data sources, efficiently and providing local privatization. We introduce a new distributed learning scheme to address communication overhead via latent compression, leveraging global data while providing local privatization of local data without additional cost due to encryption or perturbation. This scheme divides the learning into (1) informative feature encoding, extracting and transmitting the latent space compressed representation features of local data at each node to address communication overhead; (2) downstream tasks centralized at the server using the encoded codes gathered from each node to address computing and storage overhead. Besides, a disentanglement strategy is applied to address the privatization of sensitive components of local data. Extensive experiments are conducted on image and speech datasets. The results demonstrate that downstream tasks on the compact latent representations can achieve comparable accuracy to centralized learning with the privatization of local data.
• Abstract（参考訳）: 携帯電話などの分散デバイスからデータを収集するデータウェアハウスの多様性と量により、機械学習アルゴリズムの成功と堅牢性を高めることができる。 フェデレーション学習(federated learning)は、分散参加者がローカルにデータを保持しながら、共通共有モデルの学習を可能にする。 しかし、分散データソースの不均一性とグローバルデータへのアクセスの欠如により、高価な通信や制限にも直面している。 本稿では,複数のダウンストリームタスク(例えば分類器)を動的に更新された分散データソースから学習し,効率よく局所的な民営化を実現する,実践的な分散学習シナリオについて検討する。 本稿では,グローバルデータを活用しつつ,暗号化や摂動による付加的なコストを伴わずにローカルデータの民営化を実現する,潜在圧縮による通信オーバーヘッドに対処するための新しい分散学習方式を提案する。 本手法は,(1)ノード間の通信オーバーヘッドに対処するために,各ノードのローカルデータの潜在空間圧縮表現特徴を情報的特徴エンコーディング,抽出,伝達する,(2)各ノードから収集された符号化コードを用いてサーバに集中したダウンストリームタスクを処理および記憶オーバーヘッドに割り当てる。 さらに、局所データの機密成分の民営化に対処するために、ゆがみ戦略を適用する。 画像と音声のデータセットに関する広範な実験が行われている。 その結果、コンパクトな潜在表現上の下流タスクは、局所データの民営化を伴う集中学習に匹敵する精度を達成できることを示した。

関連論文リスト

• Federated Impression for Learning with Distributed Heterogeneous Data [19.50235109938016]
  フェデレートラーニング(FL)は、データを共有することなく、クライアント間で分散データセットから学習できるパラダイムを提供する。 FLでは、データ収集プロトコルや患者人口の多様さにより、異なる保健所のデータに準最適収束が一般的である。 我々は,グローバル情報を表す合成データをフェデレーションとして復元することで,破滅的な忘れを緩和するFedImpresを提案する。
  論文  参考訳（メタデータ） (2024-09-11T15:37:52Z)
• One-Shot Collaborative Data Distillation [9.428116807615407]
  大規模な機械学習トレーニングデータセットは、情報的合成データサンプルの小さなコレクションに蒸留することができる。 これらの合成セットは効率的なモデル学習をサポートし、データ共有の通信コストを低減する。 分散環境で合成セットを構築するための簡単な方法は、各クライアントがローカルデータ蒸留を行い、中央サーバでローカルデータ蒸留をマージできるようにすることである。 私たちはCollabDMと呼ばれる最初の共同データ蒸留技術を導入し、これはデータのグローバルな分布を捉え、クライアントとサーバ間の通信を1ラウンドだけ必要とします。
  論文  参考訳（メタデータ） (2024-08-05T06:47:32Z)
• Benchmarking FedAvg and FedCurv for Image Classification Tasks [1.376408511310322]
  本稿では,同じフェデレーションネットワークにおけるデータの統計的不均一性の問題に焦点をあてる。 FedAvg、FedProx、Federated Curvature(FedCurv)など、いくつかのフェデレートラーニングアルゴリズムがすでに提案されている。 この研究の副産物として、FLコミュニティからのさらなる比較を容易にするために使用したデータセットの非IIDバージョンをリリースします。
  論文  参考訳（メタデータ） (2023-03-31T10:13:01Z)
• Does Decentralized Learning with Non-IID Unlabeled Data Benefit from Self Supervision? [51.00034621304361]
  自己教師型学習(SSL)のレンズによるラベルなしデータによる分散学習の研究 本研究では,分散学習環境下でのコントラスト学習アルゴリズムの有効性について検討する。
  論文  参考訳（メタデータ） (2022-10-20T01:32:41Z)
• Personalization Improves Privacy-Accuracy Tradeoffs in Federated Optimization [57.98426940386627]
  局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。 合成および実世界のデータセットに関する実験により理論的結果について述べる。
  論文  参考訳（メタデータ） (2022-02-10T20:44:44Z)
• DQRE-SCnet: A novel hybrid approach for selecting users in Federated Learning with Deep-Q-Reinforcement Learning based on Spectral Clustering [1.174402845822043]
  実世界の機密データに基づく機械学習モデルは、医療スクリーニングから病気の発生、農業、産業、防衛科学など幅広い分野で進歩している。 多くのアプリケーションにおいて、学習参加者のコミュニケーションラウンドは、独自のプライベートデータセットを収集し、実際のデータに対して詳細な機械学習モデルを教え、これらのモデルを使用することの利点を共有することの恩恵を受ける。 既存のプライバシとセキュリティ上の懸念から、ほとんどの人はトレーニング用の機密データ共有を回避している。各ユーザがローカルデータを中央サーバにデモしない限り、フェデレートラーニングは、さまざまなパーティが共用データ上で機械学習アルゴリズムをトレーニングすることを可能にする。
  論文  参考訳（メタデータ） (2021-11-07T15:14:29Z)
• RelaySum for Decentralized Deep Learning on Heterogeneous Data [71.36228931225362]
  分散機械学習では、労働者はローカルデータのモデル更新を計算する。 労働者は中心的な調整なしに隣人とのみ通信するため、これらの更新はネットワーク上で徐々に伝播する。 このパラダイムは、全接続のないネットワーク上での分散トレーニングを可能にし、データのプライバシ保護と、データセンタでの分散トレーニングの通信コストの削減を支援する。
  論文  参考訳（メタデータ） (2021-10-08T14:55:32Z)
• Federated Learning from Small Datasets [48.879172201462445]
  フェデレーション学習は、複数のパーティが、ローカルデータを共有せずに、共同モデルを共同でトレーニングすることを可能にする。 そこで本研究では,局所モデルの置換とモデルアグリゲーションを連動させる新しい手法を提案する。 置換は、各ローカルモデルをローカルデータセットのデージーチェーンに公開することで、データスパースドメインでのより効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2021-10-07T13:49:23Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• FedOCR: Communication-Efficient Federated Learning for Scene Text Recognition [76.26472513160425]
  本研究では、分散化されたデータセットを用いて、ロバストなシーンテキスト認識器を訓練する方法について研究する。 FedOCRをエンドデバイスにデプロイするのに適したものにするために、軽量モデルとハッシュ技術の使用を含む2つの改善を行った。
  論文  参考訳（メタデータ） (2020-07-22T14:30:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。