論文の概要: Federated Self-supervised Learning for Video Understanding

• arxiv url: http://arxiv.org/abs/2207.01975v1
• Date: Tue, 5 Jul 2022 11:39:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-06 14:54:52.962560
• Title: Federated Self-supervised Learning for Video Understanding
• Title（参考訳）: 映像理解のための連合型自己教師付き学習
• Authors: Yasar Abbas Ur Rehman, Yan Gao, Jiajun Shen, Pedro Porto Buarque de Gusmao, Nicholas Lane
• Abstract要約: 我々は,現在最先端(SOTA)ビデオSSL技術の性能を評価し,その欠点を同定する。 我々は、異なるアグリゲーション戦略と部分的な重み更新を統合するFedVSSLと呼ばれる、ビデオのための新しいフェデレーションSSLフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.982533507013129
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ubiquity of camera-enabled mobile devices has lead to large amounts of unlabelled video data being produced at the edge. Although various self-supervised learning (SSL) methods have been proposed to harvest their latent spatio-temporal representations for task-specific training, practical challenges including privacy concerns and communication costs prevent SSL from being deployed at large scales. To mitigate these issues, we propose the use of Federated Learning (FL) to the task of video SSL. In this work, we evaluate the performance of current state-of-the-art (SOTA) video-SSL techniques and identify their shortcomings when integrated into the large-scale FL setting simulated with kinetics-400 dataset. We follow by proposing a novel federated SSL framework for video, dubbed FedVSSL, that integrates different aggregation strategies and partial weight updating. Extensive experiments demonstrate the effectiveness and significance of FedVSSL as it outperforms the centralized SOTA for the downstream retrieval task by 6.66% on UCF-101 and 5.13% on HMDB-51.
• Abstract（参考訳）: カメラ搭載のモバイルデバイスのユビキタス性は、エッジで大量のラベルなしのビデオデータを生成することに繋がる。 タスク固有のトレーニングのために,多種多様な自己教師付き学習(SSL)手法が提案されているが,プライバシの問題や通信コストといった実践的な課題により,SSLの大規模展開が妨げられている。 これらの問題を緩和するために、ビデオSSLのタスクにフェデレートラーニング(FL)を使用することを提案する。 本研究では,現在のsof-the-art (sota) ビデオssl技術の性能を評価し,kinetics-400データセットをシミュレートした大規模fl設定に組み込んだ場合の問題点を明らかにする。 我々は、異なるアグリゲーション戦略と部分的なウェイト更新を統合した、FedVSSLと呼ばれる新しいビデオ用フェデレーションSSLフレームワークを提案する。 UCF-101では6.66%、HMDB-51では5.13%の集中型SOTAを上回り、FedVSSLの有効性と重要性を実証した。

関連論文リスト

• Erasing the Bias: Fine-Tuning Foundation Models for Semi-Supervised Learning [4.137391543972184]
  半教師付き学習(SSL)は目覚ましい進歩をみせており、多くの方法のバリエーションをもたらしている。 本稿では,FinSSLという新しいSSLアプローチを提案する。 我々は、FineSSLが複数のベンチマークデータセットにSSLの新たな状態を設定し、トレーニングコストを6倍以上削減し、さまざまな微調整と現代的なSSLアルゴリズムをシームレスに統合できることを実証した。
  論文  参考訳（メタデータ） (2024-05-20T03:33:12Z)
• Towards Adversarial Robustness And Backdoor Mitigation in SSL [0.562479170374811]
  Self-Supervised Learning (SSL)は、ラベルのないデータから表現を学習する際の大きな可能性を示している。 SSLメソッドは、最近、バックドア攻撃に対して脆弱であることが示されている。 この作業はSSLのバックドア攻撃に対する防御に対処することを目的としている。
  論文  参考訳（メタデータ） (2024-03-23T19:21:31Z)
• On Pretraining Data Diversity for Self-Supervised Learning [57.91495006862553]
  我々は、より多様なデータセットを用いたトレーニングが、固定された計算予算の下での自己教師付き学習(SSL)のパフォーマンスに与える影響について検討する。 以上の結果から,事前学習データの多様性の増大はSSL性能を向上させるが,下流データへの分布距離が最小である場合に限る。
  論文  参考訳（メタデータ） (2024-03-20T17:59:58Z)
• Exploring Federated Self-Supervised Learning for General Purpose Audio Understanding [14.468870364990291]
  本稿では,大規模な分散異種クライアントから中間機能表現を学習可能な新しいF-SSLフレームワークであるFASSLを提案する。 本研究は,音声-検索タスクにおける集中型音声-SSLアプローチと同等に音声F-SSLアプローチが動作することを示した。
  論文  参考訳（メタデータ） (2024-02-05T10:57:48Z)
• FedDBL: Communication and Data Efficient Federated Deep-Broad Learning for Histopathological Tissue Classification [65.7405397206767]
  本稿では,FedDBL(Federated Deep-Broad Learning)を提案する。 FedDBLは1ラウンドの通信と限られたトレーニングサンプルで競合相手をはるかに上回り、マルチラウンドの通信で同等のパフォーマンスを達成している。 異なるクライアント間でのデータやディープモデルを共有しないため、プライバシ問題は十分に解決されており、モデルのセキュリティはモデル反転攻撃のリスクなしに保証される。
  論文  参考訳（メタデータ） (2023-02-24T14:27:41Z)
• A Hybrid Self-Supervised Learning Framework for Vertical Federated Learning [18.82819245937653]
  我々はFedHSSLという,Federated Hybrid Self-Supervised Learningフレームワークを提案する。 我々はFedHSSLメソッドがベースラインよりも大きなマージンで優れていることを実証的に実証した。 ラベルリークに関するFedHSSLの詳細な分析を行い、既存の自己監督型VFL作品ではめったに研究されていない。
  論文  参考訳（メタデータ） (2022-08-18T16:15:15Z)
• On Higher Adversarial Susceptibility of Contrastive Self-Supervised Learning [104.00264962878956]
  コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。 2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。 我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。 CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
  論文  参考訳（メタデータ） (2022-07-22T03:49:50Z)
• Divergence-aware Federated Self-Supervised Learning [16.025681567222477]
  我々は、Siameseネットワークに基づく既存のSSLメソッドを取り入れた一般化されたFedSSLフレームワークを紹介する。 次に、モデル更新のための新しいアプローチであるFederated Divergence-aware Exponential moving Average update (FedEMA)を提案する。
  論文  参考訳（メタデータ） (2022-04-09T04:15:02Z)
• DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
  我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。 提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
  論文  参考訳（メタデータ） (2022-03-17T02:38:49Z)
• Sound and Visual Representation Learning with Multiple Pretraining Tasks [104.11800812671953]
  自己管理タスク(SSL)は、データと異なる特徴を明らかにする。 この作業は、下流のすべてのタスクをうまく一般化する複数のSSLタスク(Multi-SSL)を組み合わせることを目的としている。 音響表現の実験では、SSLタスクのインクリメンタルラーニング(IL)によるマルチSSLが、単一のSSLタスクモデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2022-01-04T09:09:38Z)
• CoSSL: Co-Learning of Representation and Classifier for Imbalanced Semi-Supervised Learning [98.89092930354273]
  本稿では,非バランスなSSLのための非結合表現学習と分類器学習を用いた新しいコラーニングフレームワーク(CoSSL)を提案する。 データ不均衡に対処するため、分類器学習のためのTFE(Tail-class Feature Enhancement)を考案した。 実験により,本手法は様々な分散分布において,他の手法よりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-12-08T20:13:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。