論文の概要: FedCoCo: A Memory Efficient Federated Self-supervised Framework for
On-Device Visual Representation Learning
- arxiv url: http://arxiv.org/abs/2212.01006v1
- Date: Fri, 2 Dec 2022 07:22:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-05 16:48:12.721103
- Title: FedCoCo: A Memory Efficient Federated Self-supervised Framework for
On-Device Visual Representation Learning
- Title（参考訳）: FedCoCo: デバイス上でのビジュアル表現学習のためのメモリ効率の良いフェデレーション自己管理フレームワーク
- Authors: Jiahe Shi, Yawen Wu, Dewen Zeng, Jingtong Hu, Yiyu Shi
- Abstract要約: We propose a Federated on-device Contrastive Learning framework with Coreset selection, we called FedCoCo, to automatically select a coreset。
視覚表現学習における提案手法の有効性と意義について実験を行った。
- 参考スコア（独自算出の注目度）: 14.55908585061041
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ubiquity of edge devices has led to a growing amount of unlabeled data
produced at the edge. Deep learning models deployed on edge devices are
required to learn from these unlabeled data to continuously improve accuracy.
Self-supervised representation learning has achieved promising performances
using centralized unlabeled data. However, the increasing awareness of privacy
protection limits centralizing the distributed unlabeled image data on edge
devices. While federated learning has been widely adopted to enable distributed
machine learning with privacy preservation, without a data selection method to
efficiently select streaming data, the traditional federated learning framework
fails to handle these huge amounts of decentralized unlabeled data with limited
storage resources on edge. To address these challenges, we propose a Federated
on-device Contrastive learning framework with Coreset selection, which we call
FedCoCo, to automatically select a coreset that consists of the most
representative samples into the replay buffer on each device. It preserves data
privacy as each client does not share raw data while learning good visual
representations. Experiments demonstrate the effectiveness and significance of
the proposed method in visual representation learning.
- Abstract（参考訳）: エッジデバイスの普及により、エッジで生成されるラベルなしデータの量が増加している。
エッジデバイスにデプロイされるディープラーニングモデルは、これらのラベルのないデータから学び、精度を継続的に改善する必要がある。
自己教師付き表現学習は、集中型ラベルなしデータを用いて有望なパフォーマンスを達成した。
しかし、プライバシー保護に対する意識の高まりにより、エッジデバイス上の分散ラベルなしイメージデータの集中化が制限される。
プライバシ保護による分散機械学習を可能にするために、フェデレーション学習が広く採用されているが、ストリーミングデータを効率的に選択するためのデータ選択方法がないため、従来のフェデレーション学習フレームワークでは、エッジ上の限られたストレージリソースを備えた、膨大な量の分散非ラベルデータの処理に失敗している。
これらの課題に対処するため、FedCoCoと呼ばれるCoreset選択を備えたFederated On-Device Contrastive Learningフレームワークを提案し、各デバイス上のリプレイバッファに最も代表的なサンプルで構成されるコアセットを自動的に選択する。
各クライアントは生データを共有せず、優れた視覚的表現を学習しているため、データのプライバシは保持される。
視覚表現学習における提案手法の有効性と意義を実証する実験を行った。
関連論文リスト
- Navigating Data Heterogeneity in Federated Learning A Semi-Supervised
Federated Object Detection [3.7398615061365206]
フェデレートラーニング(FL)は、分散データソース間でモデルをトレーニングするための強力なフレームワークとして登場した。
特に自動運転のようなアプリケーションでは、高品質なラベルや、IID以外のクライアントデータに制限がある。
クライアントがラベル付きデータを持っている間、ラベル付きデータがサーバにのみ存在するシナリオ用に設計された、先駆的なSSFODフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-26T01:40:28Z) - Joint Optimization in Edge-Cloud Continuum for Federated Unsupervised
Person Re-identification [24.305773593017932]
FedUReIDは、個人のReIDモデルをラベルなしで学習し、プライバシを保護するための、フェデレートされた教師なしのReIDシステムである。
エッジがデータ量や分布によって異なる問題に対処するために,クラウドとエッジの共同最適化によるエッジでのトレーニングを個人化する。
8人のReIDデータセットの実験では、FedUReIDは高い精度を達成するが、計算コストを29%削減することを示した。
論文 参考訳（メタデータ） (2021-08-14T08:35:55Z) - Enabling On-Device Self-Supervised Contrastive Learning With Selective
Data Contrast [13.563747709789387]
ラベルなし入力ストリームから最も代表的なデータを自動的に選択するフレームワークを提案する。
実験により、精度と学習速度が大幅に向上していることが示された。
論文 参考訳（メタデータ） (2021-06-07T17:04:56Z) - ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for
Semi-supervised Continual Learning [52.831894583501395]
連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。
我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。
ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
論文 参考訳（メタデータ） (2021-01-02T09:04:14Z) - Out-distribution aware Self-training in an Open World Setting [62.19882458285749]
オープンワールド環境ではラベルのないデータを活用して予測性能をさらに向上します。
注意深いサンプル選択戦略を含む,自己学習を意識したアウト・ディストリビューションを導入する。
当社の分類器は、設計外分布を意識しており、タスク関連の入力と無関係な入力を区別できます。
論文 参考訳（メタデータ） (2020-12-21T12:25:04Z) - Adversarial Knowledge Transfer from Unlabeled Data [62.97253639100014]
本稿では,インターネット規模の未ラベルデータから知識を伝達し,分類器の性能を向上させるための新しいAdversarial Knowledge Transferフレームワークを提案する。
我々の手法の重要な新しい側面は、ラベル付けされていないソースデータは、ラベル付けされたターゲットデータと異なるクラスであることができ、個別のプリテキストタスクを定義する必要がないことである。
論文 参考訳（メタデータ） (2020-08-13T08:04:27Z) - Federated Self-Supervised Learning of Multi-Sensor Representations for
Embedded Intelligence [8.110949636804772]
スマートフォン、ウェアラブル、IoT(Internet of Things)デバイスは、教師付きモデルを学習するための集中リポジトリに蓄積できない豊富なデータを生成する。
本稿では,ウェーブレット変換に基づくテキストカルグラム・信号対応学習という自己教師付きアプローチを提案し,ラベルなしセンサ入力から有用な表現を学習する。
さまざまなパブリックデータセットのマルチビュー戦略を用いて,学習機能の品質を広範囲に評価し,すべての領域で高いパフォーマンスを実現している。
論文 参考訳（メタデータ） (2020-07-25T21:59:17Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳（メタデータ） (2020-05-18T09:36:51Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳（メタデータ） (2020-05-03T09:14:31Z) - Leveraging Semi-Supervised Learning for Fairness using Neural Networks [49.604038072384995]
機械学習に基づく意思決定システムの公平性に対する懸念が高まっている。
本稿では,ラベルのないデータから得られるニューラルネットワークを用いた半教師付きアルゴリズムを提案する。
提案したSSFairと呼ばれるモデルは、ラベルのないデータの情報を活用して、トレーニングデータのバイアスを軽減する。
論文 参考訳（メタデータ） (2019-12-31T09:11:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。