論文の概要: Projected Latent Distillation for Data-Agnostic Consolidation in Distributed Continual Learning

• arxiv url: http://arxiv.org/abs/2303.15888v1
• Date: Tue, 28 Mar 2023 11:04:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 15:25:48.434587
• Title: Projected Latent Distillation for Data-Agnostic Consolidation in Distributed Continual Learning
• Title（参考訳）: 分散連続学習におけるデータ非依存統合のための投影型潜在蒸留
• Authors: Antonio Carta, Andrea Cossu, Vincenzo Lomonaco, Davide Bacciu, Joost van de Weijer
• Abstract要約: 自己中心型デバイス(SCD)は、ローカルタスクを独立して学習し、他のSDCのパフォーマンスに貢献することを望まない。 SCDがローカルなタスクに適応し、CLモデルがSCDのプライベートデータを見ることなく、結果のモデルストリームからの知識を集約する分散連続学習シナリオとして、この問題を形式化する。 本研究では,従来のデータを用いずにSCモデルのストリームを集約する新しい二重知識蒸留法であるData-Agnostic Consolidation (DAC)を提案する。
• 参考スコア（独自算出の注目度）: 43.52045412898321
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed learning on the edge often comprises self-centered devices (SCD) which learn local tasks independently and are unwilling to contribute to the performance of other SDCs. How do we achieve forward transfer at zero cost for the single SCDs? We formalize this problem as a Distributed Continual Learning scenario, where SCD adapt to local tasks and a CL model consolidates the knowledge from the resulting stream of models without looking at the SCD's private data. Unfortunately, current CL methods are not directly applicable to this scenario. We propose Data-Agnostic Consolidation (DAC), a novel double knowledge distillation method that consolidates the stream of SC models without using the original data. DAC performs distillation in the latent space via a novel Projected Latent Distillation loss. Experimental results show that DAC enables forward transfer between SCDs and reaches state-of-the-art accuracy on Split CIFAR100, CORe50 and Split TinyImageNet, both in reharsal-free and distributed CL scenarios. Somewhat surprisingly, even a single out-of-distribution image is sufficient as the only source of data during consolidation.
• Abstract（参考訳）: エッジ上の分散学習は、ローカルタスクを独立して学習し、他のSDCのパフォーマンスに寄与することを望まない自己中心型デバイス(SCD)を含むことが多い。 単一SCDの転送をゼロコストで行うにはどうすればよいか? SCDがローカルなタスクに適応し、CLモデルがSCDのプライベートデータを見ることなく、結果のモデルストリームからの知識を集約する分散連続学習シナリオとして、この問題を形式化する。 残念ながら、現在のCLメソッドはこのシナリオに直接適用できない。 本研究では,従来のデータを用いずにSCモデルのストリームを集約する新しい二重知識蒸留法であるData-Agnostic Consolidation (DAC)を提案する。 DACは、新しい射影潜水蒸留損失を通じて潜水空間で蒸留を行う。 実験結果から,DACはスプリットCIFAR100,CORe50,およびスプリットTinyImageNetにおいて,リハーサルフリーおよび分散CLシナリオの両方において,SCD間の転送と最先端の精度に達することができることがわかった。 多少意外なことに、単一の分散イメージでさえ、統合中の唯一のデータソースとして十分である。

関連論文リスト

• Towards Effective Data-Free Knowledge Distillation via Diverse Diffusion Augmentation [20.556083321381514]
  データフリー知識蒸留(DFKD)は、モデル圧縮の領域において重要な技術である。 本稿では,多種拡散増強(DDA)によるDFKDの革新的アプローチを紹介する。 CIFAR-10, CIFAR-100, Tiny-ImageNetデータセットの総合的な実験により, 本手法の優れた性能が示された。
  論文  参考訳（メタデータ） (2024-10-23T07:01:16Z)
• Mitigating Embedding Collapse in Diffusion Models for Categorical Data [52.90687881724333]
  我々は,学習を安定させる埋め込み空間内の連続拡散フレームワークであるCATDMを紹介する。 ベンチマーク実験により、CATDMは埋没崩壊を緩和し、FFHQ、LSUN教会、LSUNベッドルームにおいて優れた結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-10-18T09:12:33Z)
• CoopASD: Cooperative Machine Anomalous Sound Detection with Privacy Concerns [13.721711457376776]
  産業用モノのインターネット(Industrial Internet of Things, IIoT)における最も有望な応用の1つとして、ASD(Machine Anomalous Sound Detection)が登場した。 そこで我々は,各工場がローカルデータセット上でASDモデルをトレーニングし,中央サーバが定期的にこれらのローカルモデルを集約する,CoopASDという新しいフレームワークを提案する。 集中的な設定でトレーニングされた従来の最先端(SOTA)モデルと比較して、CoopASDは、無視可能な0.08%の劣化を伴う競争結果を示している。
  論文  参考訳（メタデータ） (2024-08-27T03:07:03Z)
• Small Scale Data-Free Knowledge Distillation [37.708282211941416]
  小型データフリーな知識蒸留SSD-KDを提案する。 SSD-KDは、適切なサンプルを選択するために、合成サンプルと優先サンプリング関数のバランスをとる。 非常に少量の合成サンプルで蒸留訓練を行うことができる。
  論文  参考訳（メタデータ） (2024-06-12T05:09:41Z)
• Distilling Diffusion Models into Conditional GANs [90.76040478677609]
  複雑な多段階拡散モデルを1段階条件付きGAN学生モデルに蒸留する。 E-LatentLPIPSは,拡散モデルの潜在空間で直接動作する知覚的損失である。 我々は, 最先端の1ステップ拡散蒸留モデルよりも優れた1ステップ発生器を実証した。
  論文  参考訳（メタデータ） (2024-05-09T17:59:40Z)
• Dynamic Sub-graph Distillation for Robust Semi-supervised Continual Learning [52.046037471678005]
  半教師付き連続学習(SSCL)に焦点をあて、そのモデルが未知のカテゴリを持つ部分ラベル付きデータから徐々に学習する。 半教師付き連続学習のための動的サブグラフ蒸留法(DSGD)を提案する。
  論文  参考訳（メタデータ） (2023-12-27T04:40:12Z)
• Confidence Attention and Generalization Enhanced Distillation for Continuous Video Domain Adaptation [62.458968086881555]
  連続ビデオドメイン適応(CVDA、Continuous Video Domain Adaptation)は、ソースモデルが個々の変更対象ドメインに適応する必要があるシナリオである。 CVDAの課題に対処するため,遺伝子組み換え型自己知識解離(CART)を用いた信頼性保証ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-03-18T16:40:10Z)
• Revisiting Consistency Regularization for Semi-supervised Change Detection in Remote Sensing Images [60.89777029184023]
  教師付きクロスエントロピー(CE)損失に加えて、教師なしCD損失を定式化する半教師付きCDモデルを提案する。 2つの公開CDデータセットを用いて実験を行った結果,提案手法は教師付きCDの性能に近づきやすいことがわかった。
  論文  参考訳（メタデータ） (2022-04-18T17:59:01Z)
• Continual Density Ratio Estimation in an Online Setting [12.516472146904375]
  ストリーミングデータを持つオンラインアプリケーションでは、トレーニングやテストセットが元のデータセットからどの程度離れているかを認識することが、モデルのパフォーマンスに不可欠である。 本研究では,初期分布と電流分布の密度比を推定するための連続密度比推定法(CDRE)を提案する。 その結果,cdreは標準dreよりも,原分布からのサンプルを必要とせずとも,分布間のばらつきを推定できることがわかった。
  論文  参考訳（メタデータ） (2021-03-09T07:56:36Z)
• FedCD: Improving Performance in non-IID Federated Learning [0.0]
  フェデレーション学習は、それぞれ独自のローカルデータを持つ分散デバイスで、共有モデルを学ぶために広く適用されてきた。 我々はFedCDという新しいアプローチを提案し、類似したデータを動的にグループ化するためにモデルをクローンし削除する。
  論文  参考訳（メタデータ） (2020-06-17T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。