論文の概要: Joint Diffusion models in Continual Learning

• arxiv url: http://arxiv.org/abs/2411.08224v1
• Date: Tue, 12 Nov 2024 22:35:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:10:50.095789
• Title: Joint Diffusion models in Continual Learning
• Title（参考訳）: 連続学習における連成拡散モデル
• Authors: Paweł Skierś, Kamil Deja,
• Abstract要約: 共同拡散モデルに基づく生成的リハーサルを用いた連続学習法であるJDCLを紹介する。 生成的再生に基づく連続学習手法は、生成的モデルからサンプリングされた新しいデータとリハーサルデータを組み合わせたモデルの再学習によってこの問題を緩和しようとする。 このような共有パラメトリゼーションと知識蒸留技術を組み合わせることで、破滅的な忘れをせずに新しいタスクに安定した適応ができることを示す。
• 参考スコア（独自算出の注目度）: 4.013156524547073
• License:
• Abstract: In this work, we introduce JDCL - a new method for continual learning with generative rehearsal based on joint diffusion models. Neural networks suffer from catastrophic forgetting defined as abrupt loss in the model's performance when retrained with additional data coming from a different distribution. Generative-replay-based continual learning methods try to mitigate this issue by retraining a model with a combination of new and rehearsal data sampled from a generative model. In this work, we propose to extend this idea by combining a continually trained classifier with a diffusion-based generative model into a single - jointly optimized neural network. We show that such shared parametrization, combined with the knowledge distillation technique allows for stable adaptation to new tasks without catastrophic forgetting. We evaluate our approach on several benchmarks, where it outperforms recent state-of-the-art generative replay techniques. Additionally, we extend our method to the semi-supervised continual learning setup, where it outperforms competing buffer-based replay techniques, and evaluate, in a self-supervised manner, the quality of trained representations.
• Abstract（参考訳）: 本稿では,共同拡散モデルに基づく生成的リハーサルを用いた継続学習手法であるJDCLを紹介する。 ニューラルネットワークは、異なる分布から来る追加データで再トレーニングされた場合、モデルのパフォーマンスが突然低下すると定義される破滅的な忘れ込みに悩まされる。 生成的再生に基づく連続学習手法は、生成的モデルからサンプリングされた新しいデータとリハーサルデータを組み合わせたモデルの再学習によってこの問題を緩和しようとする。 本研究では、連続的に訓練された分類器と拡散に基づく生成モデルを組み合わせることで、このアイデアを1つの共同最適化ニューラルネットワークに拡張することを提案する。 このような共有パラメトリゼーションと知識蒸留技術を組み合わせることで、破滅的な忘れをせずに新しいタスクに安定した適応ができることを示す。 提案手法をいくつかのベンチマークで評価し,近年の最先端の再生技術より優れていることを示す。 さらに,提案手法を半教師付き連続学習装置に拡張し,バッファベースのリプレイ技術より優れ,自己教師付き表現の質を評価する。

関連論文リスト

• Adv-KD: Adversarial Knowledge Distillation for Faster Diffusion Sampling [2.91204440475204]
  拡散確率モデル(DPM)は、深層生成モデルの強力なクラスとして登場した。 それらは、サンプル生成中にシーケンシャルなデノイングステップに依存している。 モデルアーキテクチャに直接位相を分解する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-31T08:19:44Z)
• BEND: Bagging Deep Learning Training Based on Efficient Neural Network Diffusion [56.9358325168226]
  BEND(Efficient Neural Network Diffusion)に基づくバッグング深層学習学習アルゴリズムを提案する。 我々のアプローチは単純だが効果的であり、まず複数のトレーニングされたモデルの重みとバイアスを入力として、オートエンコーダと潜伏拡散モデルを訓練する。 提案したBENDアルゴリズムは,元のトレーニングモデルと拡散モデルの両方の平均および中央値の精度を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2024-03-23T08:40:38Z)
• Improved off-policy training of diffusion samplers [93.66433483772055]
  本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。 シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。 我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-07T18:51:49Z)
• Adapt & Align: Continual Learning with Generative Models Latent Space Alignment [15.729732755625474]
  本稿では、生成モデルにおける潜在表現を整列させることにより、ニューラルネットワークの連続的な学習方法であるAdapt & Alignを紹介する。 ニューラルネットワークは、追加データで再トレーニングされた場合、突然のパフォーマンスが低下する。 生成モデルを導入し,その更新過程を2つの部分に分割することで,これらの問題を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-21T10:02:17Z)
• Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
  合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。 実験結果から,本手法は既存手法よりも一貫した改善が得られた。 我々の手法はデータ効率が良く、競争のベースラインより優れています。
  論文  参考訳（メタデータ） (2023-11-27T06:19:50Z)
• Continual Learning of Diffusion Models with Generative Distillation [34.52513912701778]
  拡散モデルは画像合成における最先端性能を達成する強力な生成モデルである。 本稿では,拡散モデルの全逆過程を除去する生成蒸留法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T14:33:03Z)
• Phasic Content Fusing Diffusion Model with Directional Distribution Consistency for Few-Shot Model Adaption [73.98706049140098]
  本稿では,方向分布の整合性を損なう少数ショット拡散モデルを用いた新しいファシックコンテンツを提案する。 具体的には、ファシックコンテンツ融合を用いたファシックトレーニング戦略を設計し、tが大きければ、モデルがコンテンツやスタイル情報を学ぶのに役立てる。 最後に、ドメイン適応時の構造整合性を高めるクロスドメイン構造ガイダンス戦略を提案する。
  論文  参考訳（メタデータ） (2023-09-07T14:14:11Z)
• Exploring Continual Learning of Diffusion Models [24.061072903897664]
  拡散モデルの連続学習(CL)特性を評価する。 我々は,拡散の時間経過にまたがる多様な行動を示す,忘れのダイナミクスに関する洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-27T15:52:14Z)
• Learning Data Representations with Joint Diffusion Models [20.25147743706431]
  データの合成と分類を可能にする統合機械学習モデルは、多くの場合、それらのタスク間の不均一なパフォーマンスを提供するか、トレーニングが不安定である。 それらの目的間のパラメータ化を共用した安定な連立エンドツーエンドトレーニングを可能にする分類器を用いて,バニラ拡散モデルを拡張した。 結果として得られた共同拡散モデルは、評価された全てのベンチマークにおいて、分類と生成品質の両方の観点から、最近の最先端のハイブリッド手法よりも優れている。
  論文  参考訳（メタデータ） (2023-01-31T13:29:19Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。