論文の概要: Does Decentralized Learning with Non-IID Unlabeled Data Benefit from Self Supervision?

• arxiv url: http://arxiv.org/abs/2210.10947v1
• Date: Thu, 20 Oct 2022 01:32:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-21 13:20:59.910646
• Title: Does Decentralized Learning with Non-IID Unlabeled Data Benefit from Self Supervision?
• Title（参考訳）: 非IID非ラベルデータを用いた分散学習は自己監督に有利か?
• Authors: Lirui Wang, Kaiqing Zhang, Yunzhu Li, Yonglong Tian, Russ Tedrake
• Abstract要約: 自己教師型学習(SSL)のレンズによるラベルなしデータによる分散学習の研究 本研究では,分散学習環境下でのコントラスト学習アルゴリズムの有効性について検討する。
• 参考スコア（独自算出の注目度）: 51.00034621304361
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized learning has been advocated and widely deployed to make efficient use of distributed datasets, with an extensive focus on supervised learning (SL) problems. Unfortunately, the majority of real-world data are unlabeled and can be highly heterogeneous across sources. In this work, we carefully study decentralized learning with unlabeled data through the lens of self-supervised learning (SSL), specifically contrastive visual representation learning. We study the effectiveness of a range of contrastive learning algorithms under decentralized learning settings, on relatively large-scale datasets including ImageNet-100, MS-COCO, and a new real-world robotic warehouse dataset. Our experiments show that the decentralized SSL (Dec-SSL) approach is robust to the heterogeneity of decentralized datasets, and learns useful representation for object classification, detection, and segmentation tasks. This robustness makes it possible to significantly reduce communication and reduce the participation ratio of data sources with only minimal drops in performance. Interestingly, using the same amount of data, the representation learned by Dec-SSL can not only perform on par with that learned by centralized SSL which requires communication and excessive data storage costs, but also sometimes outperform representations extracted from decentralized SL which requires extra knowledge about the data labels. Finally, we provide theoretical insights into understanding why data heterogeneity is less of a concern for Dec-SSL objectives, and introduce feature alignment and clustering techniques to develop a new Dec-SSL algorithm that further improves the performance, in the face of highly non-IID data. Our study presents positive evidence to embrace unlabeled data in decentralized learning, and we hope to provide new insights into whether and why decentralized SSL is effective.
• Abstract（参考訳）: 分散学習は、教師あり学習(SL)問題に重点を置き、分散データセットを効率的に活用するために広く普及してきた。 残念なことに、現実世界のデータの大部分はラベルがなく、ソース間で非常に異種である。 本研究では,非ラベルデータを用いた分散学習を自己教師あり学習(ssl)のレンズを通して慎重に研究する。 我々は、ImageNet-100、MS-COCO、および新しい現実世界のロボット倉庫データセットを含む比較的大規模なデータセットに対して、分散学習環境下でのコントラスト学習アルゴリズムの有効性を検討した。 分散ssl(dec-ssl)アプローチは,分散データセットの不均一性に頑健であり,オブジェクト分類,検出,セグメンテーションタスクに有用な表現を学習することを示す。 この堅牢性により、通信を著しく削減し、パフォーマンスが最小限に抑えられたデータソースの参加比率を削減できる。 興味深いことに、同じ量のデータを使用して、Dec-SSLで学んだ表現は、通信と過剰なデータストレージコストを必要とする集中型SSLで学んだ表現と同等に機能するだけでなく、データラベルに関する余分な知識を必要とする分散SLから抽出された表現よりも優れていることがある。 最後に,データの不均一性がDec-SSL目標に対する懸念の少ない理由の理解に関する理論的洞察を提供し,高非IIDデータに直面するパフォーマンスをさらに向上させる新しいDec-SSLアルゴリズムを開発するために,機能アライメントとクラスタリング技術を導入する。 本研究は,非ラベルデータを分散学習に取り入れる肯定的な証拠を示し,分散sslが有効かどうかについて新たな知見を提供したい。

関連論文リスト

• A Survey of the Self Supervised Learning Mechanisms for Vision Transformers [5.152455218955949]
  視覚タスクにおける自己教師あり学習(SSL)の適用は注目されている。 SSL手法を体系的に分類する包括的分類法を開発した。 SSLの背後にあるモチベーションについて議論し、人気のある事前トレーニングタスクをレビューし、この分野の課題と進歩を強調します。
  論文  参考訳（メタデータ） (2024-08-30T07:38:28Z)
• What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
  大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。 事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。 CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
  論文  参考訳（メタデータ） (2024-05-31T17:57:24Z)
• Language Semantic Graph Guided Data-Efficient Learning [10.039953846594805]
  本稿では,自然言語記述として表されるラベルから構築した言語意味グラフ(LSG)を紹介する。 補助グラフニューラルネットワークは、ハイレベルな意味関係を抽出し、プライマリモデルのトレーニングをガイドするために使用される。 奥行き分析の結果,LSG法はトレーニングプロセスの高速化にも寄与することがわかった。
  論文  参考訳（メタデータ） (2023-11-15T08:54:57Z)
• Towards Realistic Semi-Supervised Learning [73.59557447798134]
  オープンワールド環境でSSLに取り組み、未知のクラスと未知のクラスを同時に分類する新しい手法を提案する。 我々のアプローチは、既存の最先端の7つのデータセットよりも大幅に優れています。
  論文  参考訳（メタデータ） (2022-07-05T19:04:43Z)
• Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
  半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。 サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T16:09:17Z)
• FedSEAL: Semi-Supervised Federated Learning with Self-Ensemble Learning and Negative Learning [7.771967424619346]
  Federated Learning (FL) は、分散化されたプライバシ保護機械学習(FL)フレームワークとして人気がある。 本稿では,この半教師付きフェデレート学習(SSFL)問題を解くために,FedSEALと呼ばれる新しいFLアルゴリズムを提案する。 提案アルゴリズムは,自己アンサンブル学習と相補的負学習を利用して,未ラベルデータに対するクライアントの教師なし学習の精度と効率を両立させる。
  論文  参考訳（メタデータ） (2021-10-15T03:03:23Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。