論文の概要: GUIDE: Guidance-based Incremental Learning with Diffusion Models

• arxiv url: http://arxiv.org/abs/2403.03938v1
• Date: Wed, 6 Mar 2024 18:47:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 13:51:38.756680
• Title: GUIDE: Guidance-based Incremental Learning with Diffusion Models
• Title（参考訳）: ガイド:拡散モデルを用いた指導ベースインクリメンタル学習
• Authors: Bartosz Cywi\'nski, Kamil Deja, Tomasz Trzci\'nski, Bart{\l}omiej Twardowski, {\L}ukasz Kuci\'nski
• Abstract要約: 既存の生成戦略は、生成モデルからランダムにリハーサル例をサンプリングすることで破滅的忘れと戦う。 このギャップを拡散モデルと誘導手法を統合することで橋渡しし、継続的に訓練されたモデルで忘れられた情報を対象としたリハーサル例を作成することを提案する。 実験の結果,GUIDEは破滅的忘れを著しく減らし,従来のランダムサンプリング手法より優れ,生成的再生を伴う継続的な学習における最近の最先端手法を超越した。
• 参考スコア（独自算出の注目度）: 21.259034167927975
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce GUIDE, a novel continual learning approach that directs diffusion models to rehearse samples at risk of being forgotten. Existing generative strategies combat catastrophic forgetting by randomly sampling rehearsal examples from a generative model. Such an approach contradicts buffer-based approaches where sampling strategy plays an important role. We propose to bridge this gap by integrating diffusion models with classifier guidance techniques to produce rehearsal examples specifically targeting information forgotten by a continuously trained model. This approach enables the generation of samples from preceding task distributions, which are more likely to be misclassified in the context of recently encountered classes. Our experimental results show that GUIDE significantly reduces catastrophic forgetting, outperforming conventional random sampling approaches and surpassing recent state-of-the-art methods in continual learning with generative replay.
• Abstract（参考訳）: 我々は,新しい連続学習手法であるガイドを紹介する。この手法は拡散モデルに,忘れられるリスクのあるサンプルのリハーサルを指示するものである。 既存の生成戦略は、生成モデルからランダムにリハーサルの例をサンプリングすることで破滅的な放棄と戦う。 このようなアプローチは,サンプリング戦略が重要な役割を果たすバッファベースのアプローチと矛盾する。 このギャップを拡散モデルと分類器誘導技術を統合することで橋渡しし、連続訓練されたモデルで忘れられた情報を対象としたリハーサル例を作成することを提案する。 このアプローチにより、最近遭遇したクラスのコンテキストで誤って分類される可能性が高いタスク分布からサンプルを生成することができる。 実験の結果,GUIDEは破滅的忘れを著しく減らし,従来のランダムサンプリング手法より優れ,生成的再生を伴う継続的な学習における最近の最先端手法を超越した。

関連論文リスト

• Learned Reference-based Diffusion Sampling for multi-modal distributions [2.1383136715042417]
  本稿では,学習参照に基づく拡散サンプリング(LRDS)について紹介する。 LRDSは、高密度空間領域にあるサンプルの参照拡散モデルを学ぶことによって、2段階で進行する。 LRDSは、様々な難解な分布上の競合するアルゴリズムと比較して、目標分布に関する事前知識を最大限に活用することが実験的に実証された。
  論文  参考訳（メタデータ） (2024-10-25T10:23:34Z)
• Learning Diffusion Priors from Observations by Expectation Maximization [6.224769485481242]
  不完全および雑音のみから拡散モデルをトレーニングするための予測最大化アルゴリズムに基づく新しい手法を提案する。 提案手法は,非条件拡散モデルに対する改良された後続サンプリング方式の提案と動機付けである。
  論文  参考訳（メタデータ） (2024-05-22T15:04:06Z)
• Which Pretrain Samples to Rehearse when Finetuning Pretrained Models? [60.59376487151964]
  特定のタスクに関する微調整済みモデルが、テキストとビジョンタスクの事実上のアプローチになった。 このアプローチの落とし穴は、微調整中に起こる事前学習の知識を忘れることである。 本研究では,実際に忘れられているサンプルを識別・優先順位付けする新しいサンプリング手法であるmix-cdを提案する。
  論文  参考訳（メタデータ） (2024-02-12T22:32:12Z)
• Improved off-policy training of diffusion samplers [93.66433483772055]
  本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。 シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。 我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-07T18:51:49Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Touring sampling with pushforward maps [3.5897534810405403]
  本稿では、生成モデル設定における多くのサンプリングアプローチをレビューし、整理するために理論的スタンスをとる。 拡散モデルを用いたサンプリングにおける現在の課題のいくつかを克服するのに役立つかもしれない。
  論文  参考訳（メタデータ） (2023-11-23T08:23:43Z)
• Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
  マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。 我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
  論文  参考訳（メタデータ） (2023-08-10T08:43:20Z)
• Exploring Continual Learning of Diffusion Models [24.061072903897664]
  拡散モデルの連続学習(CL)特性を評価する。 我々は,拡散の時間経過にまたがる多様な行動を示す,忘れのダイナミクスに関する洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-27T15:52:14Z)
• Less is More: Mitigate Spurious Correlations for Open-Domain Dialogue Response Generation Models by Causal Discovery [52.95935278819512]
  本研究で得られたCGDIALOGコーパスに基づくオープンドメイン応答生成モデルのスプリアス相関に関する最初の研究を行った。 因果探索アルゴリズムに着想を得て,反応生成モデルの学習と推論のための新しいモデル非依存手法を提案する。
  論文  参考訳（メタデータ） (2023-03-02T06:33:48Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。