論文の概要: FedMAE: Federated Self-Supervised Learning with One-Block Masked
Auto-Encoder
- arxiv url: http://arxiv.org/abs/2303.11339v1
- Date: Mon, 20 Mar 2023 10:27:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-22 17:53:55.651597
- Title: FedMAE: Federated Self-Supervised Learning with One-Block Masked
Auto-Encoder
- Title(参考訳): FedMAE: One-Block Masked Auto-Encoderによるフェデレーション型自己指導型学習
- Authors: Nan Yang, Xuanyu Chen, Charles Z. Liu, Dong Yuan, Wei Bao and Lizhen
Cui
- Abstract要約: 我々は,フェデレート・マスケッド・オートエンコーダ(Federated Masked AutoEncoder)を表す新しいフレームワークFedMAEを導入する。
具体的には、FedMAEは軽量クライアントデバイスで大きなイメージを使用して1ブロックのMasked AutoEncoder(MAE)を事前トレーニングし、サーバ内の複数の1ブロックのMAEをカスケードして、下流タスクのためのマルチブロックのViTバックボーンを構築することができる。
- 参考スコア(独自算出の注目度): 30.057513351230927
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Latest federated learning (FL) methods started to focus on how to use
unlabeled data in clients for training due to users' privacy concerns, high
labeling costs, or lack of expertise. However, current Federated
Semi-Supervised/Self-Supervised Learning (FSSL) approaches fail to learn
large-scale images because of the limited computing resources of local clients.
In this paper, we introduce a new framework FedMAE, which stands for Federated
Masked AutoEncoder, to address the problem of how to utilize unlabeled
large-scale images for FL. Specifically, FedMAE can pre-train one-block Masked
AutoEncoder (MAE) using large images in lightweight client devices, and then
cascades multiple pre-trained one-block MAEs in the server to build a
multi-block ViT backbone for downstream tasks. Theoretical analysis and
experimental results on image reconstruction and classification show that our
FedMAE achieves superior performance compared to the state-of-the-art FSSL
methods.
- Abstract(参考訳): 最新のfederated learning(fl)手法では,ユーザのプライバシの懸念やラベリングコストの上昇,専門知識の欠如などにより,ラベルのないデータをクライアントでトレーニングに使用する方法が注目されるようになった。
しかし、現在のFederated Semi-Supervised/Self-Supervised Learning (FSSL)アプローチは、ローカルクライアントの限られたコンピューティングリソースのため、大規模な画像の学習に失敗している。
本稿では,federated masked autoencoder(フェデレーションマスクオートエンコーダ)の略であるfeedmae(フェデレーションマスクオートエンコーダ)という新しいフレームワークを提案する。
具体的には、FedMAEは軽量クライアントデバイスで大きなイメージを使用して1ブロックのMasked AutoEncoder(MAE)を事前トレーニングし、サーバ内で複数の事前トレーニングされた1ブロックのMAEをカスケードして、下流タスクのためのマルチブロックのViTバックボーンを構築することができる。
画像再構成と分類に関する理論的解析と実験結果から,FedMAEは最先端のFSSL法と比較して優れた性能を示した。
関連論文リスト
- Communication Efficient ConFederated Learning: An Event-Triggered SAGA
Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。
単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。
本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文 参考訳(メタデータ) (2024-02-28T03:27:10Z) - Maximum Knowledge Orthogonality Reconstruction with Gradients in
Federated Learning [12.709670487307294]
フェデレートラーニング(FL)は、プライバシーを守るためにクライアントデータをローカルに保つことを目的としている。
既存のFLアプローチの多くは、非現実的に小さなバッチサイズでFL設定を仮定している。
本稿では,クライアントの入力データを再構築するための,新しい,完全に解析的なアプローチを提案する。
論文 参考訳(メタデータ) (2023-10-30T02:01:48Z) - Masked Autoencoders are Efficient Class Incremental Learners [64.90846899051164]
クラスインクリメンタルラーニング(CIL)は,過去の知識の破滅的な忘れを回避しつつ,新しいクラスを逐次学習することを目的としている。
本稿では,CIL の学習に Masked Autoencoders (MAEs) を用いることを提案する。
論文 参考訳(メタデータ) (2023-08-24T02:49:30Z) - Improving Adversarial Robustness of Masked Autoencoders via Test-time
Frequency-domain Prompting [133.55037976429088]
BERTプリトレーニング(BEiT, MAE)を備えた視覚変換器の対向ロバスト性について検討する。
意外な観察は、MAEが他のBERT事前訓練法よりも敵の頑健さが著しく悪いことである。
我々は,MAEの対角的堅牢性を高めるための,シンプルで効果的な方法を提案する。
論文 参考訳(メタデータ) (2023-08-20T16:27:17Z) - Unmasked Teacher: Towards Training-Efficient Video Foundation Models [50.19560876891811]
ビデオファウンデーションモデル(VFM)は、高い計算コストとデータ不足のため、限られた探索を受けている。
本稿では,既存の手法の利点を生かした時間感応型VFMの訓練効率向上手法を提案する。
我々のモデルは、シーン関連、時間関連、複雑なビデオ言語理解を含む様々なタスクを処理できる。
論文 参考訳(メタデータ) (2023-03-28T15:39:28Z) - FLAIR: Federated Learning Annotated Image Repository [40.87802770571535]
クロスデバイス・フェデレーション・ラーニング(クロスデバイス・フェデレーション・ラーニング)は、機械学習(ML)パラダイムである。
本稿では,フェデレート学習に適した多ラベル分類のための大規模アノテート画像データセットFLAIRを紹介する。
このデータセット上で異なるタスクのために、異なる学習設定で複数のベースラインを実装します。
論文 参考訳(メタデータ) (2022-07-18T18:27:04Z) - The Devil is in the Frequency: Geminated Gestalt Autoencoder for
Self-Supervised Visual Pre-Training [13.087987450384036]
視覚前訓練のための新しいMasked Image Modeling (MIM) をGeminated Autoencoder (Ge$2-AE) と呼ぶ。
具体的には、画素と周波数空間の両方から画像内容を再構成するgeminated decoderをモデルに装備する。
論文 参考訳(メタデータ) (2022-04-18T09:22:55Z) - Efficient Image Representation Learning with Federated Sampled Softmax [2.5557803548119464]
Federated sampled softmax (FedSS)は、Federated Learningを用いて画像表現を学習するためのリソース効率の高いアプローチである。
提案手法は,クライアントデバイスに転送・最適化されるパラメータの数を大幅に削減することを示す。
論文 参考訳(メタデータ) (2022-03-09T17:00:32Z) - Robust Semi-supervised Federated Learning for Images Automatic
Recognition in Internet of Drones [57.468730437381076]
プライバシー保護型UAV画像認識のための半教師付きフェデレートラーニング(SSFL)フレームワークを提案する。
異なるカメラモジュールを使用したUAVによって収集されたローカルデータの数、特徴、分布には大きな違いがある。
本稿では,クライアントがトレーニングに参加する頻度,すなわちFedFreqアグリゲーションルールに基づくアグリゲーションルールを提案する。
論文 参考訳(メタデータ) (2022-01-03T16:49:33Z) - An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。
本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。
我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文 参考訳(メタデータ) (2021-11-19T12:58:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。