論文の概要: FedSSC: Shared Supervised-Contrastive Federated Learning

• arxiv url: http://arxiv.org/abs/2301.05797v1
• Date: Sat, 14 Jan 2023 00:52:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-18 18:52:42.516828
• Title: FedSSC: Shared Supervised-Contrastive Federated Learning
• Title（参考訳）: fedssc: 教師付き連帯学習の共有
• Authors: Sirui Hu, Ling Feng, Xiaohan Yang, Yongchao Chen
• Abstract要約: フェデレーション学習は、複数のデバイス上でグローバルモデルの分散トレーニングを実行するために広く使用されている。 集中トレーニングと同じレベルの精度に到達するのが困難になるトレーニングデバイス毎の不均一なローカルデータに悩まされる。 そこで我々は,学習したクラスワイドな特徴空間を相互に共有できる「スーパーバイザード・コントラシティブ・フェデレーション・ラーニング」を提案する。
• 参考スコア（独自算出の注目度）: 3.727226857611761
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Federated learning is widely used to perform decentralized training of a global model on multiple devices while preserving the data privacy of each device. However, it suffers from heterogeneous local data on each training device which increases the difficulty to reach the same level of accuracy as the centralized training. Supervised Contrastive Learning which outperform cross-entropy tries to minimizes the difference between feature space of points belongs to the same class and pushes away points from different classes. We propose Supervised Contrastive Federated Learning in which devices can share the learned class-wise feature spaces with each other and add the supervised-contrastive learning loss as a regularization term to foster the feature space learning. The loss tries to minimize the cosine similarity distance between the feature map and the averaged feature map from another device in the same class and maximizes the distance between the feature map and that in a different class. This new regularization term when added on top of the moon regularization term is found to outperform the other state-of-the-art regularization terms in solving the heterogeneous data distribution problem.
• Abstract（参考訳）: フェデレーション学習は、各デバイスのデータプライバシを維持しながら、複数のデバイス上のグローバルモデルの分散トレーニングを実行するために広く使われている。 しかし、各訓練装置上の異種局所データに苦しむため、集中訓練と同等の精度に達することが困難になる。 クロスエントロピーを上回る教師付きコントラスト学習は、同じクラスに属する点の特徴空間間の差を最小化し、異なるクラスからポイントを取り除こうとする。 そこで本研究では,学習したクラス間特徴空間をデバイスが共有できる教師付きコントラスト学習を提案し,教師付きコントラスト学習損失を正規化用語として加え,特徴空間学習を促進する。 この損失は、同一クラス内の他のデバイスからの特徴マップと平均された特徴マップとの間のコサインの類似度距離を最小化し、特徴マップと別のクラスとの距離を最大化しようとするものである。 この新たな正規化項を月正規化項の上に加えることにより、異種データ分布問題を解決する際の他の最先端正規化項よりも優れていることが分かる。

関連論文リスト

• Federated Learning under Partially Class-Disjoint Data via Manifold Reshaping [64.58402571292723]
  我々はFedMRと呼ばれる多様体再構成手法を提案し、局所訓練の特徴空間を校正する。 我々は、FedMRがはるかに高い精度と通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行います。
  論文  参考訳（メタデータ） (2024-05-29T10:56:13Z)
• Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning [60.058083574671834]
  本稿では,新しいFCCL+,フェデレーション相関と非ターゲット蒸留との類似性学習を提案する。 不均一な問題に対しては、無関係な公開データを通信に活用する。 局所的な更新段階における破滅的な忘れ物として、FCCL+はFederated Non Target Distillationを導入している。
  論文  参考訳（メタデータ） (2023-09-28T09:32:27Z)
• Neural Collapse Terminus: A Unified Solution for Class Incremental Learning and Its Variants [166.916517335816]
  本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。 ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。 本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
  論文  参考訳（メタデータ） (2023-08-03T13:09:59Z)
• Hyperspherical Consistency Regularization [45.00073340936437]
  我々は,自己教師あり学習と教師あり学習の関係について検討し,自己教師あり学習がデータ効率のよい深層学習にどのように役立つかを検討する。 超球面整合正則化(HCR)を提案し,特徴依存情報を用いた分類器の正規化を行い,ラベルからのバイアスを回避する。
  論文  参考訳（メタデータ） (2022-06-02T02:41:13Z)
• FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
  フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。 本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。 これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
  論文  参考訳（メタデータ） (2022-05-19T03:32:03Z)
• Leveraging Ensembles and Self-Supervised Learning for Fully-Unsupervised Person Re-Identification and Text Authorship Attribution [77.85461690214551]
  完全ラベル付きデータからの学習は、Person Re-IdentificationやText Authorship Attributionなどのマルチメディアフォレスト問題において困難である。 近年の自己教師型学習法は,基礎となるクラスに意味的差異が有る場合に,完全ラベル付きデータを扱う際に有効であることが示されている。 本研究では,異なるクラスからのサンプルが顕著に多様性を持っていない場合でも,ラベルのないデータから学習できるようにすることにより,個人再認識とテキストオーサシップの属性に対処する戦略を提案する。
  論文  参考訳（メタデータ） (2022-02-07T13:08:11Z)
• Comparative assessment of federated and centralized machine learning [0.0]
  Federated Learning(FL)は、デバイス間でフェデレーションされたデータによってトレーニングが行われる、プライバシ保護機械学習スキームである。 本稿では,非IID分散データの性質から,フェデレーション学習に影響を及ぼす諸要因について論じる。 トレーニング対象のモデルサイズが合理的に大きくない場合には,フェデレーション学習がコスト面で有利であることを示す。
  論文  参考訳（メタデータ） (2022-02-03T11:20:47Z)
• Targeted Supervised Contrastive Learning for Long-Tailed Recognition [50.24044608432207]
  実世界のデータは、しばしば重いクラス不均衡の長い尾の分布を示す。 教師付きコントラスト学習は性能向上に寄与するが、過去のベースラインは不均衡なデータ分布によってもたらされる不均一さに悩まされている。 我々は,超球面上の特徴分布の均一性を改善するための教師付きコントラスト学習(TSC)を提案する。
  論文  参考訳（メタデータ） (2021-11-27T22:40:10Z)
• Federated Learning Based on Dynamic Regularization [43.137064459520886]
  本稿では,ニューラルネットワークモデルを分散学習するための新しいフェデレーション学習手法を提案する。 サーバは、各ラウンドでランダムに選択されたデバイスのサブセット間の協力を編成する。
  論文  参考訳（メタデータ） (2021-11-08T03:58:28Z)
• Improving Deep Metric Learning by Divide and Conquer [11.380358587116683]
  ディープ・メトリック・ラーニング(DML)は多くのコンピュータ・ビジョン・アプリケーションの基盤となっている。 入力ドメインから埋め込み空間へのマッピングを学習することを目的としている。 埋め込み空間とデータを階層的に小さな部分に分割することで、より表現力のある表現を構築することを提案する。
  論文  参考訳（メタデータ） (2021-09-09T02:57:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。