論文の概要: Generalization of Diffusion Models Arises with a Balanced Representation Space
- arxiv url: http://arxiv.org/abs/2512.20963v1
- Date: Wed, 24 Dec 2025 05:40:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-25 19:43:21.690133
- Title: Generalization of Diffusion Models Arises with a Balanced Representation Space
- Title（参考訳）: 均衡表現空間を持つ拡散モデルの一般化
- Authors: Zekai Zhang, Xiao Li, Xiang Li, Lianghe Shi, Meng Wu, Molei Tao, Qing Qu,
- Abstract要約: 我々は,表現学習のレンズを用いて,拡散モデルにおける記憶と一般化の区別を分析する。
暗記は,学習重みに生のトレーニングサンプルを格納し,符号化と復号を行い,局所的な「スピーキー」表現を生成するモデルに対応することを示す。
本稿では,表現ステアリングによる正確な制御を可能にする,暗記検出のための表現ベース手法と,トレーニング不要な編集手法を提案する。
- 参考スコア（独自算出の注目度）: 32.68561555837436
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models excel at generating high-quality, diverse samples, yet they risk memorizing training data when overfit to the training objective. We analyze the distinctions between memorization and generalization in diffusion models through the lens of representation learning. By investigating a two-layer ReLU denoising autoencoder (DAE), we prove that (i) memorization corresponds to the model storing raw training samples in the learned weights for encoding and decoding, yielding localized "spiky" representations, whereas (ii) generalization arises when the model captures local data statistics, producing "balanced" representations. Furthermore, we validate these theoretical findings on real-world unconditional and text-to-image diffusion models, demonstrating that the same representation structures emerge in deep generative models with significant practical implications. Building on these insights, we propose a representation-based method for detecting memorization and a training-free editing technique that allows precise control via representation steering. Together, our results highlight that learning good representations is central to novel and meaningful generative modeling.
- Abstract（参考訳）: 拡散モデルは高品質で多様なサンプルを生成するのに優れていますが、トレーニング目標に過度に適合する場合、トレーニングデータを記憶するリスクがあります。
我々は,表現学習のレンズを用いて,拡散モデルにおける記憶と一般化の区別を分析する。
2層型ReLU復号化オートエンコーダ(DAE)について検討し、その証明を行う。
(i)暗記は、学習重量に生のトレーニングサンプルを格納して符号化・復号し、局所的な「スパイキー」表現を生成するモデルに対応する。
(ii)モデルが局所的なデータ統計をキャプチャして「バランスの取れた」表現を生成すると一般化が生じる。
さらに, 実世界の無条件およびテキスト・ツー・イメージ拡散モデルにおいて, これらの理論的知見を検証し, 重要な実用的意味を持つ深部生成モデルに同じ表現構造が現れることを示した。
これらの知見に基づいて,記憶を検出する表現ベース手法と,表現ステアリングによる正確な制御を可能にするトレーニング不要な編集手法を提案する。
この結果から,優れた表現の学習が,新規で意味のある生成モデルの中心であることを示唆した。
関連論文リスト
- Disentangled representations via score-based variational autoencoders [21.955536401578616]
マルチスケール推論のためのスコアベースオートエンコーダ(SAMI)を提案する。
SAMIは、基礎となる拡散過程のスコアベースのガイダンスを通じて表現を学ぶ、原則化された目的を定式化する。
最小限の追加訓練で事前学習した拡散モデルから有用な表現を抽出することができる。
論文 参考訳（メタデータ） (2025-12-18T23:42:10Z) - GloTok: Global Perspective Tokenizer for Image Reconstruction and Generation [51.95701097588426]
トークン化された特徴のより均一な意味分布をモデル化するために,Global Perspective Tokenizer(GloTok)を導入する。
量子化による再構成誤差を最小限に抑えるために, 微細な細部を復元するために, 残差学習モジュールを提案する。
標準のImageNet-1kベンチマーク実験により,提案手法が最先端の復元性能と生成品質を実現することを確認した。
論文 参考訳（メタデータ） (2025-11-18T06:40:26Z) - Learning Diffusion Models with Flexible Representation Guidance [49.26046407886349]
本稿では,表現指導を拡散モデルに組み込むための体系的枠組みを提案する。
拡散モデルにおける表現アライメントを強化するための2つの新しい戦略を導入する。
画像、タンパク質配列、分子生成タスクにわたる実験は、優れた性能を示し、訓練を加速する。
論文 参考訳（メタデータ） (2025-07-11T19:29:02Z) - Diffusion models under low-noise regime [3.729242965449096]
拡散モデルは, 汚損レベルが小さい場合に有効であることを示す。
トレーニングセットのサイズ,データ幾何,および客観選択形状のモデル化方法の定量化を行う。
この研究は、実用的なアプリケーションにおける生成モデルの信頼性に対する理解のギャップに対処し始めます。
論文 参考訳（メタデータ） (2025-06-09T15:07:16Z) - Understanding Representation Dynamics of Diffusion Models via Low-Dimensional Modeling [29.612011138019255]
拡散モデルにおける一様表現ダイナミクスの出現について検討する。
この一様性は、ノイズスケールをまたいだデノイング強度とクラス信頼の相互作用から生じる。
分類タスクでは、単調力学の存在は拡散モデルの一般化を確実に反映する。
論文 参考訳（メタデータ） (2025-02-09T01:58:28Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳（メタデータ） (2023-04-10T17:54:38Z) - Diffusion-Based Representation Learning [65.55681678004038]
教師付き信号のない表現学習を実現するために,デノナイズスコアマッチングフレームワークを拡張した。
対照的に、拡散に基づく表現学習は、デノナイジングスコアマッチング目的の新しい定式化に依存している。
同じ手法を用いて,半教師付き画像分類における最先端モデルの改善を実現する無限次元潜在符号の学習を提案する。
論文 参考訳（メタデータ） (2021-05-29T09:26:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。