論文の概要: Deep Class Incremental Learning from Decentralized Data

• arxiv url: http://arxiv.org/abs/2203.05984v1
• Date: Fri, 11 Mar 2022 15:09:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-14 14:01:37.255756
• Title: Deep Class Incremental Learning from Decentralized Data
• Title（参考訳）: 分散データからのディープクラスインクリメンタル学習
• Authors: Xiaohan Zhang, Songlin Dong, Jinjie Chen, Qi Tian, Yihong Gong, Xiaopeng Hong
• Abstract要約: 我々は、対処すべきデータの継続的な流入がある、新しい、挑戦的な分散機械学習パラダイムに焦点を当てています。 典型的な(分散化された)クラスインクリメンタルな学習手法の基本的な分散化を実現するためのパラダイムを導入する。 本稿では, 歴史的モデルや複数のローカルサイトからの知識を連続的に一般モデルに伝達するための分散複合知識増分蒸留フレームワーク(DCID)を提案する。
• 参考スコア（独自算出の注目度）: 103.2386956343121
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we focus on a new and challenging decentralized machine learning paradigm in which there are continuous inflows of data to be addressed and the data are stored in multiple repositories. We initiate the study of data decentralized class-incremental learning (DCIL) by making the following contributions. Firstly, we formulate the DCIL problem and develop the experimental protocol. Secondly, we introduce a paradigm to create a basic decentralized counterpart of typical (centralized) class-incremental learning approaches, and as a result, establish a benchmark for the DCIL study. Thirdly, we further propose a Decentralized Composite knowledge Incremental Distillation framework (DCID) to transfer knowledge from historical models and multiple local sites to the general model continually. DCID consists of three main components namely local class-incremental learning, collaborated knowledge distillation among local models, and aggregated knowledge distillation from local models to the general one. We comprehensively investigate our DCID framework by using different implementations of the three components. Extensive experimental results demonstrate the effectiveness of our DCID framework. The codes of the baseline methods and the proposed DCIL will be released at https://github.com/zxxxxh/DCIL.
• Abstract（参考訳）: 本稿では、処理すべきデータの連続的な流入と、複数のリポジトリに格納されるデータを含む、新たな分散機械学習パラダイムに焦点を当てる。 本稿では,データ分散型クラスインクリメンタルラーニング(dcil)の研究を開始する。 まず、DCIL問題を定式化し、実験プロトコルを開発する。 第二に,典型的(集中型)クラスインクリメンタルな学習アプローチの基本的な分散化手法を作成するためのパラダイムを導入し,その結果,dcil研究のベンチマークを確立する。 第3に, 分散複合知識増分蒸留フレームワーク(DCID)を提案する。 dcidは3つの主要な構成要素からなる: ローカルクラスインクリメンタルラーニング、ローカルモデル間の協調知識蒸留、およびローカルモデルから一般モデルへの集約知識蒸留である。 3つのコンポーネントの異なる実装を使用することで、DCIDフレームワークを包括的に調査する。 大規模実験によりDCIDフレームワークの有効性が示された。 ベースラインメソッドと提案されたDCILのコードはhttps://github.com/zxxxxh/DCILでリリースされる。

関連論文リスト

• Distribution Shift Matters for Knowledge Distillation with Webly Collected Images [91.66661969598755]
  異なる分布間の知識蒸留という新しい手法を提案する(KD$3$)。 まず,教師ネットワークと学生ネットワークの併用予測に基づいて,Webで収集したデータから有用なトレーニングインスタンスを動的に選択する。 また、MixDistributionと呼ばれる新しいコントラスト学習ブロックを構築して、新しい分散のインスタンスアライメントで摂動データを生成します。
  論文  参考訳（メタデータ） (2023-07-21T10:08:58Z)
• DCID: Deep Canonical Information Decomposition [84.59396326810085]
  本稿では,2つの1次元目標変数間で共有される信号の同定について考察する。 そこで本研究では,地中トラスラベルの存在下で使用可能な評価指標であるICMを提案する。 また、共有変数を学習するための単純かつ効果的なアプローチとして、Deep Canonical Information Decomposition (DCID)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T16:59:06Z)
• CMD: Self-supervised 3D Action Representation Learning with Cross-modal Mutual Distillation [130.08432609780374]
  3D行動認識では、骨格のモダリティの間に豊富な相補的な情報が存在する。 本稿では,CMD(Cross-modal Mutual Distillation)フレームワークを提案する。 提案手法は,既存の自己管理手法より優れ,新しい記録を多数設定する。
  論文  参考訳（メタデータ） (2022-08-26T06:06:09Z)
• Point-to-Voxel Knowledge Distillation for LiDAR Semantic Segmentation [74.67594286008317]
  本稿では,大きな教師モデルから,LiDARセマンティックセグメンテーションのためのスリムな学生ネットワークへの知識の抽出の問題に対処する。 本稿では,点レベルとボクセルレベルの両方から隠れた知識を伝達するPVDを提案する。
  論文  参考訳（メタデータ） (2022-06-05T05:28:32Z)
• FedDKD: Federated Learning with Decentralized Knowledge Distillation [3.9084449541022055]
  分散知識蒸留法(FedDKD)を応用した新しいフェデレートラーニングフレームワークを提案する。 我々は、FedDKDが、いくつかのDKDステップにおいて、より効率的なコミュニケーションと訓練により最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-02T07:54:07Z)
• Static-Dynamic Co-Teaching for Class-Incremental 3D Object Detection [71.18882803642526]
  ディープラーニングアプローチは、3Dオブジェクト検出タスクにおいて顕著なパフォーマンスを示している。 古いデータを再考することなく、新しいクラスを漸進的に学習するときに、破滅的なパフォーマンス低下に悩まされる。 この「破滅的な忘れ物」現象は、現実世界のシナリオにおける3Dオブジェクト検出アプローチの展開を妨げる。 SDCoTは,新しい静的なコティーチング手法である。
  論文  参考訳（メタデータ） (2021-12-14T09:03:41Z)
• Cross-Gradient Aggregation for Decentralized Learning from Non-IID data [34.23789472226752]
  分散学習により、コラボレーションエージェントのグループは、中央パラメータサーバーを必要とせずに、分散データセットを使用してモデルを学ぶことができる。 本稿では,新たな分散学習アルゴリズムであるクロスグラディエント・アグリゲーション(CGA)を提案する。 既存の最先端の分散学習アルゴリズムよりも優れたCGA学習性能を示す。
  論文  参考訳（メタデータ） (2021-03-02T21:58:12Z)
• Adaptive Distillation for Decentralized Learning from Heterogeneous Clients [9.261720698142097]
  適応蒸留(DLAD)を用いた分散学習という新しい分散学習手法を提案する。 提案するDLADは, 所定の蒸留試料に高い信頼性を有するクライアントモデルを適応的に強調しながら, クライアントモデルの出力を集約する。 提案手法の有効性を実証するため,複数の公開データセットに対する広範囲な実験的評価を行った。
  論文  参考訳（メタデータ） (2020-08-18T14:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。