論文の概要: Understanding and Mitigating Memorization in Diffusion Models for Tabular Data
- arxiv url: http://arxiv.org/abs/2412.11044v1
- Date: Sun, 15 Dec 2024 04:04:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 13:56:03.749745
- Title: Understanding and Mitigating Memorization in Diffusion Models for Tabular Data
- Title（参考訳）: 語彙データの拡散モデルにおける記憶の理解と緩和
- Authors: Zhengyu Fang, Zhimeng Jiang, Huiyuan Chen, Xiao Li, Jing Li,
- Abstract要約: メモリ化は、モデルが正確にまたはほぼ同一のトレーニングデータを不注意に複製した場合に発生する。
本稿では,TabCutMixを提案する。
また,TabCutMixは,高品質なデータ生成を維持しつつ,メモリ化を効果的に軽減することを示す。
- 参考スコア（独自算出の注目度）: 16.02060275534452
- License:
- Abstract: Tabular data generation has attracted significant research interest in recent years, with the tabular diffusion models greatly improving the quality of synthetic data. However, while memorization, where models inadvertently replicate exact or near-identical training data, has been thoroughly investigated in image and text generation, its effects on tabular data remain largely unexplored. In this paper, we conduct the first comprehensive investigation of memorization phenomena in diffusion models for tabular data. Our empirical analysis reveals that memorization appears in tabular diffusion models and increases with larger training epochs. We further examine the influence of factors such as dataset sizes, feature dimensions, and different diffusion models on memorization. Additionally, we provide a theoretical explanation for why memorization occurs in tabular diffusion models. To address this issue, we propose TabCutMix, a simple yet effective data augmentation technique that exchanges randomly selected feature segments between random same-class training sample pairs. Building upon this, we introduce TabCutMixPlus, an enhanced method that clusters features based on feature correlations and ensures that features within the same cluster are exchanged together during augmentation. This clustering mechanism mitigates out-of-distribution (OOD) generation issues by maintaining feature coherence. Experimental results across various datasets and diffusion models demonstrate that TabCutMix effectively mitigates memorization while maintaining high-quality data generation.
- Abstract（参考訳）: 近年、表層拡散モデルにより合成データの質が大幅に向上し、タブラルデータ生成が大きな研究関心を集めている。
しかし,モデルが意図せず正確にあるいはほぼ同一のトレーニングデータを複製する記憶化は,画像やテキスト生成において徹底的に研究されているが,表形式データに対するその影響は未解明のままである。
本稿では,表データの拡散モデルにおける暗記現象を包括的に調査する。
実験により, 表層拡散モデルに記憶が出現し, トレーニングのエポックが大きくなることが明らかとなった。
さらに,データセットサイズ,特徴次元,異なる拡散モデルなどの要因が記憶に与える影響について検討する。
さらに,なぜ表層拡散モデルに記憶が生じるのかを理論的に説明する。
この問題を解決するためにTabCutMixを提案する。TabCutMixは、ランダムに選択された特徴セグメントをランダムに同一クラスのトレーニングサンプルペア間で交換する、シンプルで効果的なデータ拡張手法である。
これに基づいて,TabCutMixPlusを導入する。これは,特徴相関に基づいて特徴をクラスタ化する拡張手法であり,拡張中に同一クラスタ内の特徴が一緒に交換されることを保証する。
このクラスタリング機構は、特徴コヒーレンスを維持することにより、アウト・オブ・ディストリビューション(OOD)生成問題を緩和する。
各種データセットおよび拡散モデルに対する実験結果から,TabCutMixは高品質なデータ生成を維持しつつ,記憶を効果的に緩和することを示した。
関連論文リスト
- How compositional generalization and creativity improve as diffusion models are trained [82.08869888944324]
生成モデルでは、多くの新しいデータを生成するために、構成規則を学習する必要があるサンプルはいくつありますか?
言語や画像などのデータ構造を表現するために,木のようなグラフィカルモデルを用いて,単純な文脈自由文法に基づいて学習した拡散モデルを考察する。
拡散モデルは,統計学的に類似したコンテキストを持つクラスタリング機能に必要なサンプル複雑度で構成規則を学習する。
論文 参考訳（メタデータ） (2025-02-17T18:06:33Z) - TabDiff: a Mixed-type Diffusion Model for Tabular Data Generation [91.50296404732902]
グラフデータの混合型分布を1つのモデルでモデル化する共同拡散フレームワークであるTabDiffを紹介する。
我々の重要な革新は、数値データと分類データのための連立連続時間拡散プロセスの開発である。
TabDiffは、既存の競合ベースラインよりも優れた平均性能を実現し、ペアワイドカラム相関推定における最先端モデルよりも最大で22.5%改善されている。
論文 参考訳（メタデータ） (2024-10-27T22:58:47Z) - Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文 参考訳（メタデータ） (2024-02-19T02:08:09Z) - On Memorization in Diffusion Models [44.031805633114985]
より小さなデータセットでは記憶の挙動が生じる傾向があることを示す。
我々は、有効モデル記憶(EMM)の観点から、影響因子がこれらの記憶行動に与える影響を定量化する。
本研究は,拡散モデル利用者にとって実用的意義を持ち,深部生成モデルの理論研究の手がかりを提供する。
論文 参考訳（メタデータ） (2023-10-04T09:04:20Z) - Generating tabular datasets under differential privacy [0.0]
ディープニューラルネットワークのトレーニングプロセスに差分プライバシー(DP)を導入する。
これにより、結果データの品質とプライバシの間にトレードオフが生じます。
我々は、注意機構を活用する新しいエンドツーエンドモデルを実装している。
論文 参考訳（メタデータ） (2023-08-28T16:35:43Z) - MissDiff: Training Diffusion Models on Tabular Data with Missing Values [29.894691645801597]
この研究は、欠落した値を持つデータから学習するための統一的で原則化された拡散ベースのフレームワークを示す。
まず、広く採用されている「インプット・ザ・ジェネレーション」パイプラインが、バイアスのある学習目標に繋がる可能性があることを観察する。
提案手法は,データ分布のスコアの学習に一貫性があることを証明し,提案手法は特定の場合において負の確率の上限として機能する。
論文 参考訳（メタデータ） (2023-07-02T03:49:47Z) - Stubborn Lexical Bias in Data and Models [50.79738900885665]
我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。
トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。
驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
論文 参考訳（メタデータ） (2023-06-03T20:12:27Z) - Analyzing Bias in Diffusion-based Face Generation Models [75.80072686374564]
拡散モデルは、合成データ生成と画像編集アプリケーションでますます人気がある。
本研究では, 性別, 人種, 年齢などの属性に関して, 拡散型顔生成モデルにおけるバイアスの存在について検討する。
本研究は,GAN(Generative Adversarial Network)とGAN(Generative Adversarial Network)をベースとした顔生成モデルにおいて,データセットサイズが属性組成および知覚品質に与える影響について検討する。
論文 参考訳（メタデータ） (2023-05-10T18:22:31Z) - Class-Balancing Diffusion Models [57.38599989220613]
クラスバランシング拡散モデル(CBDM)は、分散調整正規化器をソリューションとして訓練する。
提案手法は,CIFAR100/CIFAR100LTデータセットで生成結果をベンチマークし,下流認識タスクにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2023-04-30T20:00:14Z) - Diffusion models for missing value imputation in tabular data [10.599563005836066]
機械学習における値計算の欠落は、利用可能な情報を用いてデータセットの欠落値を正確に推定するタスクである。
本稿では,タブラルデータに対する連続スコアベース拡散モデル (CSDI_T) と呼ばれる拡散モデル手法を提案する。
分類変数と数値変数を同時に処理するために, ワンホット符号化, アナログビット符号化, 特徴トークン化という3つの手法を検討した。
論文 参考訳（メタデータ） (2022-10-31T08:13:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。