論文の概要: Moderating the Generalization of Score-based Generative Model

• arxiv url: http://arxiv.org/abs/2412.07229v1
• Date: Tue, 10 Dec 2024 06:41:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:38:28.105241
• Title: Moderating the Generalization of Score-based Generative Model
• Title（参考訳）: スコアベース生成モデルの一般化のモデレーション
• Authors: Wan Jiang, He Wang, Xin Zhang, Dan Guo, Zhaoxin Fan, Yunfeng Diao, Richang Hong,
• Abstract要約: 我々は,第1次モデレートスコアベース生成モデル(MSGM)を提案する。 MSGMは、連続時間微分方程式過程において、望ましくないデータからスコア関数をリダイレクトする。 大規模な実験結果から,MSGMは望ましくないコンテンツを生成する可能性を著しく低下させることが示された。
• 参考スコア（独自算出の注目度）: 44.65543170692539
• License:
• Abstract: Score-based Generative Models (SGMs) have demonstrated remarkable generalization abilities, e.g. generating unseen, but natural data. However, the greater the generalization power, the more likely the unintended generalization, and the more dangerous the abuse. Research on moderated generalization in SGMs remains limited. To fill this gap, we first examine the current 'gold standard' in Machine Unlearning (MU), i.e., re-training the model after removing the undesirable training data, and find it does not work in SGMs. Further analysis of score functions reveals that the MU 'gold standard' does not alter the original score function, which explains its ineffectiveness. Based on this insight, we propose the first Moderated Score-based Generative Model (MSGM), which introduces a novel score adjustment strategy that redirects the score function away from undesirable data during the continuous-time stochastic differential equation process. Extensive experimental results demonstrate that MSGM significantly reduces the likelihood of generating undesirable content while preserving high visual quality for normal image generation. Albeit designed for SGMs, MSGM is a general and flexible MU framework that is compatible with diverse diffusion architectures (SGM and DDPM) and training strategies (re-training and fine-tuning), and enables zero-shot transfer of the pre-trained models to downstream tasks, e.g. image inpainting and reconstruction. The code will be shared upon acceptance.
• Abstract（参考訳）: スコアベース生成モデル(SGM)は、例えば目に見えないが自然なデータを生成するなど、顕著な一般化能力を示している。 しかし、一般化力が大きいほど、意図しない一般化がより多くなり、乱用がより危険になる。 SGMにおける中等化一般化の研究は依然として限られている。 このギャップを埋めるために、まず、マシン・アンラーニング(MU)における現在の「ゴールドスタンダード」、すなわち、望ましくないトレーニングデータを取り除いた後にモデルを再トレーニングし、SGMでは機能しないことを示す。 スコア関数のさらなる解析により、MUの「ゴールドスタンダード」が元のスコア関数を変更せず、その非効率性を説明することが分かる。 この知見に基づいて, 連続時間確率微分方程式プロセスにおいて, 好ましくないデータからスコア関数をリダイレクトする新しいスコア調整戦略を提案する。 広汎な実験結果から,MSGMは通常の画像生成に高画質を保ちながら,望ましくないコンテンツを生成する可能性を大幅に低下させることが示された。 SGM用に設計されたMSGMは汎用的で柔軟なMUフレームワークであり、多様な拡散アーキテクチャ(SGMとDDPM)やトレーニング戦略(トレーニングと微調整)と互換性があり、事前訓練されたモデルの下流タスクへのゼロショット転送を可能にする。 コードは受理時に共有されます。

関連論文リスト

• Score-based Conditional Generation with Fewer Labeled Data by Self-calibrating Classifier Guidance [16.025002076222002]
  SGM(Score-based Generative Model)は、画像生成品質の高い深層生成モデルのファミリである。 この問題は、下層の非条件分布とコーディネートすることなく、分類器が過度に適合する傾向に根ざしていると論じる。 分類器自身を正規化させることにより、分類器誘導型SGMを改善することを提案する。
  論文  参考訳（メタデータ） (2023-07-09T01:41:22Z)
• Deep Generative Modeling on Limited Data with Regularization by Nontransferable Pre-trained Models [32.52492468276371]
  本稿では,限られたデータを用いた生成モデルの分散を低減するために,正規化深層生成モデル(Reg-DGM)を提案する。 Reg-DGMは、ある発散の重み付け和とエネルギー関数の期待を最適化するために、事前訓練されたモデルを使用する。 実験的に、様々な事前訓練された特徴抽出器とデータ依存エネルギー関数により、Reg-DGMはデータ制限のある強力なDGMの生成性能を一貫して改善する。
  論文  参考訳（メタデータ） (2022-08-30T10:28:50Z)
• Score-based Generative Modeling in Latent Space [93.8985523558869]
  スコアベース生成モデル(SGM)は,最近,サンプル品質と分布範囲の両面で顕著な結果を示した。 本稿では,Latent Score-based Generative Model (LSGM)を提案する。 データから潜在空間への移動により、より表現力のある生成モデルをトレーニングし、非連続データにSGMを適用し、よりスムーズなSGMをより小さな空間で学習することができる。
  論文  参考訳（メタデータ） (2021-06-10T17:26:35Z)
• Continual Learning with Fully Probabilistic Models [70.3497683558609]
  機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。 生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。 我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-04-19T12:26:26Z)
• On the Generalization of Stochastic Gradient Descent with Momentum [58.900860437254885]
  まず,アルゴリズムの安定性が一般化保証の確立に失敗する凸損失関数が存在することを示す。 滑らかなリプシッツ損失関数に対して、修正モーメントに基づく更新規則を解析し、一般化誤差の上界を認めることを示す。 強凸損失関数の特別な場合において、標準 SGDM の複数のエポックが SGDEM の特別な形式として一般化されるような運動量の範囲を見出す。
  論文  参考訳（メタデータ） (2021-02-26T18:58:29Z)
• Adversarially-learned Inference via an Ensemble of Discrete Undirected Graphical Models [3.04585143845864]
  我々は、無限大のグラフィカルモデル(AGM)のアンサンブルを生成する推論非依存の敵対的トレーニングフレームワークを提案する。 AGMは、GibsNetやVAEACといったディープニューラルネットワークと同様に、EGMと比較して、目に見えない推論タスクに対して、はるかに優れた一般化を示している。
  論文  参考訳（メタデータ） (2020-07-09T19:13:36Z)
• MMCGAN: Generative Adversarial Network with Explicit Manifold Prior [78.58159882218378]
  本稿では,モード崩壊を緩和し,GANのトレーニングを安定させるために,明示的な多様体学習を採用することを提案する。 玩具データと実データの両方を用いた実験により,MMCGANのモード崩壊緩和効果,トレーニングの安定化,生成サンプルの品質向上効果が示された。
  論文  参考訳（メタデータ） (2020-06-18T07:38:54Z)
• On the Generalization of Stochastic Gradient Descent with Momentum [84.54924994010703]
  運動量に基づく勾配降下(SGD)の加速変種は、機械学習モデルを訓練する際に広く用いられる。 まず,標準重球運動量(SGDM)を持つSGDの複数のエポックに対する安定性ギャップが非有界となる凸損失関数が存在することを示す。 滑らかなリプシッツ損失関数に対しては、修正モーメントベースの更新規則、すなわち、幅広いステップサイズで初期運動量(SGDEM)を解析する。
  論文  参考訳（メタデータ） (2018-09-12T17:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。