論文の概要: Projected Latent Distillation for Data-Agnostic Consolidation in Distributed Continual Learning

• arxiv url: http://arxiv.org/abs/2303.15888v1
• Date: Tue, 28 Mar 2023 11:04:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 15:25:48.434587
• Title: Projected Latent Distillation for Data-Agnostic Consolidation in Distributed Continual Learning
• Title（参考訳）: 分散連続学習におけるデータ非依存統合のための投影型潜在蒸留
• Authors: Antonio Carta, Andrea Cossu, Vincenzo Lomonaco, Davide Bacciu, Joost van de Weijer
• Abstract要約: 自己中心型デバイス(SCD)は、ローカルタスクを独立して学習し、他のSDCのパフォーマンスに貢献することを望まない。 SCDがローカルなタスクに適応し、CLモデルがSCDのプライベートデータを見ることなく、結果のモデルストリームからの知識を集約する分散連続学習シナリオとして、この問題を形式化する。 本研究では,従来のデータを用いずにSCモデルのストリームを集約する新しい二重知識蒸留法であるData-Agnostic Consolidation (DAC)を提案する。
• 参考スコア（独自算出の注目度）: 43.52045412898321
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed learning on the edge often comprises self-centered devices (SCD) which learn local tasks independently and are unwilling to contribute to the performance of other SDCs. How do we achieve forward transfer at zero cost for the single SCDs? We formalize this problem as a Distributed Continual Learning scenario, where SCD adapt to local tasks and a CL model consolidates the knowledge from the resulting stream of models without looking at the SCD's private data. Unfortunately, current CL methods are not directly applicable to this scenario. We propose Data-Agnostic Consolidation (DAC), a novel double knowledge distillation method that consolidates the stream of SC models without using the original data. DAC performs distillation in the latent space via a novel Projected Latent Distillation loss. Experimental results show that DAC enables forward transfer between SCDs and reaches state-of-the-art accuracy on Split CIFAR100, CORe50 and Split TinyImageNet, both in reharsal-free and distributed CL scenarios. Somewhat surprisingly, even a single out-of-distribution image is sufficient as the only source of data during consolidation.
• Abstract（参考訳）: エッジ上の分散学習は、ローカルタスクを独立して学習し、他のSDCのパフォーマンスに寄与することを望まない自己中心型デバイス(SCD)を含むことが多い。 単一SCDの転送をゼロコストで行うにはどうすればよいか? SCDがローカルなタスクに適応し、CLモデルがSCDのプライベートデータを見ることなく、結果のモデルストリームからの知識を集約する分散連続学習シナリオとして、この問題を形式化する。 残念ながら、現在のCLメソッドはこのシナリオに直接適用できない。 本研究では,従来のデータを用いずにSCモデルのストリームを集約する新しい二重知識蒸留法であるData-Agnostic Consolidation (DAC)を提案する。 DACは、新しい射影潜水蒸留損失を通じて潜水空間で蒸留を行う。 実験結果から,DACはスプリットCIFAR100,CORe50,およびスプリットTinyImageNetにおいて,リハーサルフリーおよび分散CLシナリオの両方において,SCD間の転送と最先端の精度に達することができることがわかった。 多少意外なことに、単一の分散イメージでさえ、統合中の唯一のデータソースとして十分である。

関連論文リスト

• DASK: Distribution Rehearsing via Adaptive Style Kernel Learning for Exemplar-Free Lifelong Person Re-Identification [36.13760389545136]
  生涯人物再識別(LReID)は、破滅的な忘れ込みに苦しむ重要な課題であるが難しい課題である。 既存のLReIDアプローチは通常、この問題を軽減するためにデータ再生と知識蒸留に依存している。 本稿では,知識統合を強化するために,旧領域の分布をモデル化し,リハーサルする新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-12-12T12:26:08Z)
• Towards Effective Data-Free Knowledge Distillation via Diverse Diffusion Augmentation [20.556083321381514]
  データフリー知識蒸留(DFKD)は、モデル圧縮の領域において重要な技術である。 本稿では,多種拡散増強(DDA)によるDFKDの革新的アプローチを紹介する。 CIFAR-10, CIFAR-100, Tiny-ImageNetデータセットの総合的な実験により, 本手法の優れた性能が示された。
  論文  参考訳（メタデータ） (2024-10-23T07:01:16Z)
• Mitigating Embedding Collapse in Diffusion Models for Categorical Data [52.90687881724333]
  我々は,学習を安定させる埋め込み空間内の連続拡散フレームワークであるCATDMを紹介する。 ベンチマーク実験により、CATDMは埋没崩壊を緩和し、FFHQ、LSUN教会、LSUNベッドルームにおいて優れた結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-10-18T09:12:33Z)
• CoopASD: Cooperative Machine Anomalous Sound Detection with Privacy Concerns [13.721711457376776]
  産業用モノのインターネット(Industrial Internet of Things, IIoT)における最も有望な応用の1つとして、ASD(Machine Anomalous Sound Detection)が登場した。 そこで我々は,各工場がローカルデータセット上でASDモデルをトレーニングし,中央サーバが定期的にこれらのローカルモデルを集約する,CoopASDという新しいフレームワークを提案する。 集中的な設定でトレーニングされた従来の最先端(SOTA)モデルと比較して、CoopASDは、無視可能な0.08%の劣化を伴う競争結果を示している。
  論文  参考訳（メタデータ） (2024-08-27T03:07:03Z)
• Guided Score identity Distillation for Data-Free One-Step Text-to-Image Generation [62.30570286073223]
  拡散に基づくテキスト・画像生成モデルは、テキスト記述と整合した画像を生成する能力を実証している。 本研究では, 実データにアクセスすることなく, 事前学習した拡散モデルの効率的な蒸留を可能にする, データフリーガイド蒸留法を提案する。 データフリー蒸留法は, 1ステップ生成装置で生成した合成画像のみをトレーニングすることにより, FIDとCLIPのスコアを急速に向上させ, 競争力のあるCLIPスコアを維持しつつ, 最先端のFID性能を実現する。
  論文  参考訳（メタデータ） (2024-06-03T17:44:11Z)
• Distilling Diffusion Models into Conditional GANs [90.76040478677609]
  複雑な多段階拡散モデルを1段階条件付きGAN学生モデルに蒸留する。 E-LatentLPIPSは,拡散モデルの潜在空間で直接動作する知覚的損失である。 我々は, 最先端の1ステップ拡散蒸留モデルよりも優れた1ステップ発生器を実証した。
  論文  参考訳（メタデータ） (2024-05-09T17:59:40Z)
• Confidence Attention and Generalization Enhanced Distillation for Continuous Video Domain Adaptation [62.458968086881555]
  連続ビデオドメイン適応(CVDA、Continuous Video Domain Adaptation)は、ソースモデルが個々の変更対象ドメインに適応する必要があるシナリオである。 CVDAの課題に対処するため,遺伝子組み換え型自己知識解離(CART)を用いた信頼性保証ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-03-18T16:40:10Z)
• Revisiting Consistency Regularization for Semi-supervised Change Detection in Remote Sensing Images [60.89777029184023]
  教師付きクロスエントロピー(CE)損失に加えて、教師なしCD損失を定式化する半教師付きCDモデルを提案する。 2つの公開CDデータセットを用いて実験を行った結果,提案手法は教師付きCDの性能に近づきやすいことがわかった。
  論文  参考訳（メタデータ） (2022-04-18T17:59:01Z)
• Continual Density Ratio Estimation in an Online Setting [12.516472146904375]
  ストリーミングデータを持つオンラインアプリケーションでは、トレーニングやテストセットが元のデータセットからどの程度離れているかを認識することが、モデルのパフォーマンスに不可欠である。 本研究では,初期分布と電流分布の密度比を推定するための連続密度比推定法(CDRE)を提案する。 その結果,cdreは標準dreよりも,原分布からのサンプルを必要とせずとも,分布間のばらつきを推定できることがわかった。
  論文  参考訳（メタデータ） (2021-03-09T07:56:36Z)
• FedCD: Improving Performance in non-IID Federated Learning [0.0]
  フェデレーション学習は、それぞれ独自のローカルデータを持つ分散デバイスで、共有モデルを学ぶために広く適用されてきた。 我々はFedCDという新しいアプローチを提案し、類似したデータを動的にグループ化するためにモデルをクローンし削除する。
  論文  参考訳（メタデータ） (2020-06-17T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。