論文の概要: GUIDE: Guidance-based Incremental Learning with Diffusion Models

• arxiv url: http://arxiv.org/abs/2403.03938v2
• Date: Fri, 31 May 2024 15:31:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 19:42:50.735964
• Title: GUIDE: Guidance-based Incremental Learning with Diffusion Models
• Title（参考訳）: GUIDE:拡散モデルを用いた指導型インクリメンタルラーニング
• Authors: Bartosz Cywiński, Kamil Deja, Tomasz Trzciński, Bartłomiej Twardowski, Łukasz Kuciński,
• Abstract要約: GUIDEは,拡散モデルからサンプルのリハーサルを誘導する,新しい連続学習手法である。 実験の結果,GUIDEは破滅的忘れを著しく減らし,従来のランダムサンプリング手法より優れ,生成的再生を伴う継続的な学習における最近の最先端の手法を超越した。
• 参考スコア（独自算出の注目度）: 3.046689922445082
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce GUIDE, a novel continual learning approach that directs diffusion models to rehearse samples at risk of being forgotten. Existing generative strategies combat catastrophic forgetting by randomly sampling rehearsal examples from a generative model. Such an approach contradicts buffer-based approaches where sampling strategy plays an important role. We propose to bridge this gap by incorporating classifier guidance into the diffusion process to produce rehearsal examples specifically targeting information forgotten by a continuously trained model. This approach enables the generation of samples from preceding task distributions, which are more likely to be misclassified in the context of recently encountered classes. Our experimental results show that GUIDE significantly reduces catastrophic forgetting, outperforming conventional random sampling approaches and surpassing recent state-of-the-art methods in continual learning with generative replay.
• Abstract（参考訳）: GUIDEは,拡散モデルからサンプルのリハーサルを誘導する,新しい連続学習手法である。 既存の生成戦略は、生成モデルからランダムにリハーサル例をサンプリングすることで破滅的忘れと戦う。 このようなアプローチは、サンプリング戦略が重要な役割を果たすバッファベースのアプローチと矛盾する。 このギャップを拡散過程に分類器ガイダンスを組み込むことで橋渡しし、連続訓練モデルで忘れられた情報を対象としたリハーサル例を作成することを提案する。 このアプローチは、最近遭遇したクラスのコンテキストで誤って分類される可能性が高い、前のタスク分布からサンプルを生成することを可能にする。 実験の結果,GUIDEは破滅的忘れを著しく減らし,従来のランダムサンプリング手法より優れ,生成的再生を伴う継続的な学習における最近の最先端手法を超越した。

関連論文リスト

• Joint Diffusion models in Continual Learning [4.013156524547073]
  共同拡散モデルに基づく生成的リハーサルを用いた連続学習法であるJDCLを紹介する。 生成的再生に基づく連続学習手法は、生成的モデルからサンプリングされた新しいデータとリハーサルデータを組み合わせたモデルの再学習によってこの問題を緩和しようとする。 このような共有パラメトリゼーションと知識蒸留技術を組み合わせることで、破滅的な忘れをせずに新しいタスクに安定した適応ができることを示す。
  論文  参考訳（メタデータ） (2024-11-12T22:35:44Z)
• Learned Reference-based Diffusion Sampling for multi-modal distributions [2.1383136715042417]
  本稿では,学習参照に基づく拡散サンプリング(LRDS)について紹介する。 LRDSは、高密度空間領域にあるサンプルの参照拡散モデルを学ぶことによって、2段階で進行する。 LRDSは、様々な難解な分布上の競合するアルゴリズムと比較して、目標分布に関する事前知識を最大限に活用することが実験的に実証された。
  論文  参考訳（メタデータ） (2024-10-25T10:23:34Z)
• Which Pretrain Samples to Rehearse when Finetuning Pretrained Models? [60.59376487151964]
  特定のタスクに関する微調整済みモデルが、テキストとビジョンタスクの事実上のアプローチになった。 このアプローチの落とし穴は、微調整中に起こる事前学習の知識を忘れることである。 本研究では,実際に忘れられているサンプルを識別・優先順位付けする新しいサンプリング手法であるmix-cdを提案する。
  論文  参考訳（メタデータ） (2024-02-12T22:32:12Z)
• Improved off-policy training of diffusion samplers [93.66433483772055]
  本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。 シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。 我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-07T18:51:49Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Touring sampling with pushforward maps [3.5897534810405403]
  本稿では、生成モデル設定における多くのサンプリングアプローチをレビューし、整理するために理論的スタンスをとる。 拡散モデルを用いたサンプリングにおける現在の課題のいくつかを克服するのに役立つかもしれない。
  論文  参考訳（メタデータ） (2023-11-23T08:23:43Z)
• Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
  マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。 我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
  論文  参考訳（メタデータ） (2023-08-10T08:43:20Z)
• Exploring Continual Learning of Diffusion Models [24.061072903897664]
  拡散モデルの連続学習(CL)特性を評価する。 我々は,拡散の時間経過にまたがる多様な行動を示す,忘れのダイナミクスに関する洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-27T15:52:14Z)
• Less is More: Mitigate Spurious Correlations for Open-Domain Dialogue Response Generation Models by Causal Discovery [52.95935278819512]
  本研究で得られたCGDIALOGコーパスに基づくオープンドメイン応答生成モデルのスプリアス相関に関する最初の研究を行った。 因果探索アルゴリズムに着想を得て,反応生成モデルの学習と推論のための新しいモデル非依存手法を提案する。
  論文  参考訳（メタデータ） (2023-03-02T06:33:48Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。