論文の概要: Collaborative Unsupervised Visual Representation Learning from Decentralized Data

• arxiv url: http://arxiv.org/abs/2108.06492v1
• Date: Sat, 14 Aug 2021 08:34:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-17 15:28:58.684568
• Title: Collaborative Unsupervised Visual Representation Learning from Decentralized Data
• Title（参考訳）: 分散データからの協調的教師なし視覚表現学習
• Authors: Weiming Zhuang, Xin Gan, Yonggang Wen, Shuai Zhang, Shuai Yi
• Abstract要約: 我々は、新しいフェデレーション付き教師なし学習フレームワーク、FedUを提案する。 このフレームワークでは、オンラインネットワークとターゲットネットワークとの対比学習を用いて、各パーティが、ラベルのないデータから独立してモデルをトレーニングする。 FedUはデータのプライバシを保護している。
• 参考スコア（独自算出の注目度）: 34.06624704343615
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised representation learning has achieved outstanding performances using centralized data available on the Internet. However, the increasing awareness of privacy protection limits sharing of decentralized unlabeled image data that grows explosively in multiple parties (e.g., mobile phones and cameras). As such, a natural problem is how to leverage these data to learn visual representations for downstream tasks while preserving data privacy. To address this problem, we propose a novel federated unsupervised learning framework, FedU. In this framework, each party trains models from unlabeled data independently using contrastive learning with an online network and a target network. Then, a central server aggregates trained models and updates clients' models with the aggregated model. It preserves data privacy as each party only has access to its raw data. Decentralized data among multiple parties are normally non-independent and identically distributed (non-IID), leading to performance degradation. To tackle this challenge, we propose two simple but effective methods: 1) We design the communication protocol to upload only the encoders of online networks for server aggregation and update them with the aggregated encoder; 2) We introduce a new module to dynamically decide how to update predictors based on the divergence caused by non-IID. The predictor is the other component of the online network. Extensive experiments and ablations demonstrate the effectiveness and significance of FedU. It outperforms training with only one party by over 5% and other methods by over 14% in linear and semi-supervised evaluation on non-IID data.
• Abstract（参考訳）: 教師なし表現学習は、インターネットで利用可能な集中型データを使用して優れたパフォーマンスを達成している。 しかし、プライバシー保護に対する意識の高まりは、複数の当事者(携帯電話やカメラなど)で爆発的に増加する非ラベル画像データの分散化を制限する。 そのため、データプライバシを保ちながら、これらのデータを活用して下流タスクの視覚的表現を学習する方法が自然な問題である。 この問題に対処するために,新しいフェデレーション付き教師なし学習フレームワークであるFedUを提案する。 このフレームワークでは、オンラインネットワークとターゲットネットワークとの対比学習を用いて、各パーティはラベルのないデータからモデルを独立に訓練する。 そして、中央サーバが訓練されたモデルを集約し、集約されたモデルでクライアントのモデルを更新する。 データのプライバシは、各パーティが生のデータのみにアクセスできることから保護する。 複数のパーティ間の分散データは、通常非独立で同一の分散(非IID)であり、性能劣化を引き起こす。 この課題に対処するために,1) サーバ集約のためのオンラインネットワークのエンコーダのみをアップロードし,それを集約したエンコーダで更新するための通信プロトコルを設計し,2) 非IID によるばらつきに基づいた予測器の更新方法を動的に決定する新しいモジュールを提案する。 予測器はオンラインネットワークの他のコンポーネントである。 広範囲な実験とアブレーションがfeduの有効性と意義を示している。 非IIDデータに対する線形および半教師付き評価において、一方の当事者のみによるトレーニングを5%以上、その他の手法で14%以上上回っている。

関連論文リスト

• Federated Face Forgery Detection Learning with Personalized Representation [63.90408023506508]
  ディープジェネレータ技術は、区別がつかない高品質のフェイクビデオを制作し、深刻な社会的脅威をもたらす可能性がある。 従来の偽造検出手法は、データを直接集中的に訓練する。 本稿では,個人化表現を用いた新しいフェデレーション顔偽造検出学習を提案する。
  論文  参考訳（メタデータ） (2024-06-17T02:20:30Z)
• Practical, Private Assurance of the Value of Collaboration via Fully Homomorphic Encryption [3.929854470352013]
  2つのパーティーは、データセットで協力したいと思っています。 一方の当事者は、他方の当事者からのデータを取り入れることで、予測モデルの改善を約束する。 当事者は、更新されたモデルが正確性の向上を示した場合にのみ、さらなる協力を希望する。
  論文  参考訳（メタデータ） (2023-10-04T03:47:21Z)
• Benchmarking FedAvg and FedCurv for Image Classification Tasks [1.376408511310322]
  本稿では,同じフェデレーションネットワークにおけるデータの統計的不均一性の問題に焦点をあてる。 FedAvg、FedProx、Federated Curvature(FedCurv)など、いくつかのフェデレートラーニングアルゴリズムがすでに提案されている。 この研究の副産物として、FLコミュニティからのさらなる比較を容易にするために使用したデータセットの非IIDバージョンをリリースします。
  論文  参考訳（メタデータ） (2023-03-31T10:13:01Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• RelaySum for Decentralized Deep Learning on Heterogeneous Data [71.36228931225362]
  分散機械学習では、労働者はローカルデータのモデル更新を計算する。 労働者は中心的な調整なしに隣人とのみ通信するため、これらの更新はネットワーク上で徐々に伝播する。 このパラダイムは、全接続のないネットワーク上での分散トレーニングを可能にし、データのプライバシ保護と、データセンタでの分散トレーニングの通信コストの削減を支援する。
  論文  参考訳（メタデータ） (2021-10-08T14:55:32Z)
• Aggregation Delayed Federated Learning [20.973999078271483]
  フェデレーション学習(Federated Learning)は、複数のデータ所有者(クライアント)が、自身のデバイスにデータを保持しながら、ひとつのマシンラーニングモデルを協調的にトレーニングする分散機械学習パラダイムである。 非IIDデータ上では、FedAvgのような標準フェデレーションアルゴリズムによる性能低下が報告されている。 非IIDデータを扱うための多くの既存の作業は、FedAvgと同じ集約フレームワークを採用し、サーバ側またはクライアントでモデル更新を改善することに重点を置いている。 本研究では, 集約を遅らせる再分配ラウンドを導入することで, この課題に取り組み, 複数タスクの実験を行い, 提案したフレームワークが非IIDの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2021-08-17T04:06:10Z)
• Joint Optimization in Edge-Cloud Continuum for Federated Unsupervised Person Re-identification [24.305773593017932]
  FedUReIDは、個人のReIDモデルをラベルなしで学習し、プライバシを保護するための、フェデレートされた教師なしのReIDシステムである。 エッジがデータ量や分布によって異なる問題に対処するために,クラウドとエッジの共同最適化によるエッジでのトレーニングを個人化する。 8人のReIDデータセットの実験では、FedUReIDは高い精度を達成するが、計算コストを29%削減することを示した。
  論文  参考訳（メタデータ） (2021-08-14T08:35:55Z)
• Decentralized federated learning of deep neural networks on non-iid data [0.6335848702857039]
  分散環境でパーソナライズされたディープラーニングモデルを学ぶことの難しさに対処する。 本稿では,PENS(Performance-Based Neighbor Selection)という手法を提案する。 PENSは強力なベースラインに比べて高い精度を達成することができる。
  論文  参考訳（メタデータ） (2021-07-18T19:05:44Z)
• Decentralized Federated Learning Preserves Model and Data Privacy [77.454688257702]
  我々は、訓練されたモデル間で知識を共有することができる、完全に分散化されたアプローチを提案する。 生徒は、合成された入力データを通じて教師の出力を訓練する。 その結果,教師が学習した未学習学生モデルが,教師と同等のF1スコアに達することがわかった。
  論文  参考訳（メタデータ） (2021-02-01T14:38:54Z)
• Decentralised Learning from Independent Multi-Domain Labels for Person Re-Identification [69.29602103582782]
  ディープラーニングは多くのコンピュータビジョンタスクで成功している。 しかし、プライバシー問題に対する意識の高まりは、特に人物の再識別(Re-ID)において、ディープラーニングに新たな課題をもたらす。 我々は,複数のプライバシ保護されたローカルモデル(ローカルクライアント)を同時に学習することにより,汎用的なグローバルモデル(中央サーバ)を構築するための,フェデレート・パーソナライゼーション(FedReID)と呼ばれる新しいパラダイムを提案する。 このクライアントサーバ共同学習プロセスは、プライバシコントロールの下で反復的に実行されるため、分散データを共有したり、収集したりすることなく、分散学習を実現することができる。
  論文  参考訳（メタデータ） (2020-06-07T13:32:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。