論文の概要: Cross-feature Contrastive Loss for Decentralized Deep Learning on Heterogeneous Data

• arxiv url: http://arxiv.org/abs/2310.15890v3
• Date: Tue, 5 Dec 2023 20:31:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 17:59:57.873388
• Title: Cross-feature Contrastive Loss for Decentralized Deep Learning on Heterogeneous Data
• Title（参考訳）: 不均一データに基づく分散深層学習のためのクロスファインコントラスト損失
• Authors: Sai Aparna Aketi and Kaushik Roy
• Abstract要約: 異種データに基づく分散学習のための新しい手法を提案する。 一対の隣接するエージェントのクロスフィーチャーは、他のエージェントのモデルパラメータに関するエージェントのデータから得られる特徴である。 実験の結果,提案手法は異種データを用いた分散学習手法に比べて性能(テスト精度が0.2～4%向上)が優れていることがわかった。
• 参考スコア（独自算出の注目度）: 8.946847190099206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The current state-of-the-art decentralized learning algorithms mostly assume the data distribution to be Independent and Identically Distributed (IID). However, in practical scenarios, the distributed datasets can have significantly heterogeneous data distributions across the agents. In this work, we present a novel approach for decentralized learning on heterogeneous data, where data-free knowledge distillation through contrastive loss on cross-features is utilized to improve performance. Cross-features for a pair of neighboring agents are the features (i.e., last hidden layer activations) obtained from the data of an agent with respect to the model parameters of the other agent. We demonstrate the effectiveness of the proposed technique through an exhaustive set of experiments on various Computer Vision datasets (CIFAR-10, CIFAR-100, Fashion MNIST, Imagenette, and ImageNet), model architectures, and network topologies. Our experiments show that the proposed method achieves superior performance (0.2-4% improvement in test accuracy) compared to other existing techniques for decentralized learning on heterogeneous data.
• Abstract（参考訳）: 現在の最先端の分散学習アルゴリズムは、データ分散を独立的かつ特定的分散(IID)とみなしている。 しかし、実際のシナリオでは、分散データセットはエージェント間で著しく異質なデータ分布を持つことができる。 本研究では,異種データを用いた分散学習の新たな手法を提案する。 一対の隣接するエージェントのクロスフィーチャは、他のエージェントのモデルパラメータに関してエージェントのデータから得られる特徴(すなわち最後の隠れ層活性化)である。 提案手法は,様々なコンピュータビジョンデータセット(cifar-10,cifar-100, fashion mnist,imagenette,imagenet),モデルアーキテクチャ,ネットワークトポロジ上で徹底的に実験を行い,その効果を示す。 実験の結果,提案手法は異種データを用いた分散学習手法に比べて性能(テスト精度0.2～4%向上)が優れていることがわかった。

関連論文リスト

• FedSym: Unleashing the Power of Entropy for Benchmarking the Algorithms for Federated Learning [1.4656078321003647]
  Federated Learning(FL)は、独立した学習者がデータをプライベートに処理する分散機械学習アプローチである。 現在普及しているデータ分割技術について検討し、その主な欠点を可視化する。 エントロピーと対称性を利用して「最も困難」かつ制御可能なデータ分布を構築する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T18:39:08Z)
• Global Update Tracking: A Decentralized Learning Algorithm for Heterogeneous Data [14.386062807300666]
  本稿では,デバイス間のデータ分散の変化の影響を受けにくい分散学習アルゴリズムの設計に焦点をあてる。 我々は,分散学習における異種データの影響を,通信オーバーヘッドを伴わずに緩和することを目的とした,新たなトラッキングベース手法であるGUTを提案する。 提案手法は,既存手法と比較して1～6%の精度向上により,異種データの分散学習における最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-05-08T15:48:53Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Neighborhood Gradient Clustering: An Efficient Decentralized Learning Method for Non-IID Data Distributions [5.340730281227837]
  現在の最先端の分散アルゴリズムは、主にデータ分散が独立的で、明確に分散していると仮定している。 textitNeighborhood Gradient Clustering (NGC) は,各エージェントの局所勾配を自己および横断的情報を用いて修正する,分散学習アルゴリズムである。
  論文  参考訳（メタデータ） (2022-09-28T19:28:54Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Cross-Gradient Aggregation for Decentralized Learning from Non-IID data [34.23789472226752]
  分散学習により、コラボレーションエージェントのグループは、中央パラメータサーバーを必要とせずに、分散データセットを使用してモデルを学ぶことができる。 本稿では,新たな分散学習アルゴリズムであるクロスグラディエント・アグリゲーション(CGA)を提案する。 既存の最先端の分散学習アルゴリズムよりも優れたCGA学習性能を示す。
  論文  参考訳（メタデータ） (2021-03-02T21:58:12Z)
• Negative Data Augmentation [127.28042046152954]
  負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。 我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。 実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
  論文  参考訳（メタデータ） (2021-02-09T20:28:35Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。