論文の概要: Federated Self-Supervised Learning of Multi-Sensor Representations for Embedded Intelligence

• arxiv url: http://arxiv.org/abs/2007.13018v1
• Date: Sat, 25 Jul 2020 21:59:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 00:42:24.559268
• Title: Federated Self-Supervised Learning of Multi-Sensor Representations for Embedded Intelligence
• Title（参考訳）: 組込みインテリジェンスのための多センサ表現のフェデレーション自己監督学習
• Authors: Aaqib Saeed, Flora D. Salim, Tanir Ozcelebi, and Johan Lukkien
• Abstract要約: スマートフォン、ウェアラブル、IoT(Internet of Things)デバイスは、教師付きモデルを学習するための集中リポジトリに蓄積できない豊富なデータを生成する。 本稿では,ウェーブレット変換に基づくテキストカルグラム・信号対応学習という自己教師付きアプローチを提案し,ラベルなしセンサ入力から有用な表現を学習する。 さまざまなパブリックデータセットのマルチビュー戦略を用いて,学習機能の品質を広範囲に評価し,すべての領域で高いパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 8.110949636804772
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Smartphones, wearables, and Internet of Things (IoT) devices produce a wealth of data that cannot be accumulated in a centralized repository for learning supervised models due to privacy, bandwidth limitations, and the prohibitive cost of annotations. Federated learning provides a compelling framework for learning models from decentralized data, but conventionally, it assumes the availability of labeled samples, whereas on-device data are generally either unlabeled or cannot be annotated readily through user interaction. To address these issues, we propose a self-supervised approach termed \textit{scalogram-signal correspondence learning} based on wavelet transform to learn useful representations from unlabeled sensor inputs, such as electroencephalography, blood volume pulse, accelerometer, and WiFi channel state information. Our auxiliary task requires a deep temporal neural network to determine if a given pair of a signal and its complementary viewpoint (i.e., a scalogram generated with a wavelet transform) align with each other or not through optimizing a contrastive objective. We extensively assess the quality of learned features with our multi-view strategy on diverse public datasets, achieving strong performance in all domains. We demonstrate the effectiveness of representations learned from an unlabeled input collection on downstream tasks with training a linear classifier over pretrained network, usefulness in low-data regime, transfer learning, and cross-validation. Our methodology achieves competitive performance with fully-supervised networks, and it outperforms pre-training with autoencoders in both central and federated contexts. Notably, it improves the generalization in a semi-supervised setting as it reduces the volume of labeled data required through leveraging self-supervised learning.
• Abstract（参考訳）: スマートフォン、ウェアラブル、IoT(Internet of Things)デバイスは、プライバシ、帯域幅の制限、アノテーションの禁止コストによる教師付きモデル学習のための集中リポジトリに蓄積できない豊富なデータを生成する。 フェデレーション学習は、分散データからモデルを学習するための説得力のあるフレームワークを提供するが、従来はラベル付きサンプルの可用性を前提としていた。 そこで本研究では,ウェーブレット変換に基づく自己教師あり方式である \textit{scalogram-signal correspondence learning} を提案し,脳波,血圧パルス,加速度計,wifiチャネル状態情報などのラベル付センサ入力から有用な表現を学習する。 補助タスクでは、信号の任意の対とその補完的視点(すなわちウェーブレット変換によって生成されたスカルグラム)が、コントラスト目標を最適化することによって互いに一致するかどうかを判断するために、深い時間的ニューラルネットワークが必要である。 さまざまなパブリックデータセットのマルチビュー戦略を用いて,学習機能の品質を広範囲に評価し,すべての領域で高いパフォーマンスを実現している。 本研究では,事前学習されたネットワーク上での線形分類器の訓練,低データ環境における有用性,トランスファー学習,クロスバリデーションを用いて,ラベルなし入力コレクションから学習した表現の有効性を示す。 提案手法は,完全教師付きネットワークによる競合性能を達成し,中央およびフェデレーションの文脈において,自動エンコーダによる事前学習よりも優れる。 特に、自己教師付き学習を活用することで必要なラベル付きデータの量を減らすため、半教師付き設定での一般化を改善する。

関連論文リスト

• Lightweight Unsupervised Federated Learning with Pretrained Vision Language Model [32.094290282897894]
  フェデレートラーニングは、物理的に孤立したクライアントから、ユーザのデータのプライバシを保護しながら、集合モデルをトレーニングすることを目的としている。 本稿では,各クライアントのラベルのないデータを活用して,軽量なモデルトレーニングとコミュニケーションを行う,軽量な非教師付きフェデレーション学習手法を提案する。 提案手法は,CLIPのゼロショット予測と比較してモデル性能を大幅に向上させるとともに,教師付きフェデレーション学習ベンチマーク手法よりも優れる。
  論文  参考訳（メタデータ） (2024-04-17T03:42:48Z)
• Deep Feature Learning for Wireless Spectrum Data [0.5809784853115825]
  本稿では,無線通信クラスタリングのための特徴表現を教師なしで学習する手法を提案する。 自動表現学習は,無線伝送バーストの形状を含む微細なクラスタを抽出できることを示す。
  論文  参考訳（メタデータ） (2023-08-07T12:27:19Z)
• Self-supervised On-device Federated Learning from Unlabeled Streams [15.94978097767473]
  我々はSOFedと呼ばれるコアセット選択機能を備えた自己教師型オンデバイスフェデレーション学習フレームワークを提案し,コアセットを自動的に選択する。 視覚表現学習における提案手法の有効性と意義について実験を行った。
  論文  参考訳（メタデータ） (2022-12-02T07:22:00Z)
• Imposing Consistency for Optical Flow Estimation [73.53204596544472]
  プロキシタスクによる一貫性の導入は、データ駆動学習を強化することが示されている。 本稿では,光フロー推定のための新しい,効果的な整合性戦略を提案する。
  論文  参考訳（メタデータ） (2022-04-14T22:58:30Z)
• Attentive Prototypes for Source-free Unsupervised Domain Adaptive 3D Object Detection [85.11649974840758]
  3Dオブジェクト検出ネットワークは、トレーニングされたデータに対してバイアスを受ける傾向がある。 そこで本研究では,ライダーを用いた3次元物体検出器のソースレス・教師なし領域適応のための単一フレーム手法を提案する。
  論文  参考訳（メタデータ） (2021-11-30T18:42:42Z)
• Clustering augmented Self-Supervised Learning: Anapplication to Land Cover Mapping [10.720852987343896]
  本稿では,自己教師型学習のためのクラスタリングに基づくプレテキストタスクを用いて,土地被覆マッピングの新しい手法を提案する。 社会的に関係のある2つのアプリケーションに対して,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-08-16T19:35:43Z)
• Self-supervised Audiovisual Representation Learning for Remote Sensing Data [96.23611272637943]
  遠隔センシングにおける深層ニューラルネットワークの事前学習のための自己教師型アプローチを提案する。 ジオタグ付きオーディオ記録とリモートセンシングの対応を利用して、これは完全にラベルなしの方法で行われる。 提案手法は,既存のリモートセンシング画像の事前学習方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-02T07:50:50Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
  連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。 我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
  論文  参考訳（メタデータ） (2021-01-02T09:04:14Z)
• Sense and Learn: Self-Supervision for Omnipresent Sensors [9.442811508809994]
  我々は、生の知覚データから表現や特徴学習のためのSense and Learnというフレームワークを提案する。 これは、面倒なラベル付けプロセスに人間が関与することなく、注釈のないデータから、高レベルで広範囲に有用な特徴を学習できる補助的なタスクで構成されている。 提案手法は、教師付きアプローチと競合する結果を達成し、ネットワークを微調整し、ほとんどの場合、下流タスクを学習することでギャップを埋める。
  論文  参考訳（メタデータ） (2020-09-28T11:57:43Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。