論文の概要: Grokking of Diffusion Models: Case Study on Modular Addition
- arxiv url: http://arxiv.org/abs/2604.17673v1
- Date: Mon, 20 Apr 2026 00:02:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-21 21:52:52.631725
- Title: Grokking of Diffusion Models: Case Study on Modular Addition
- Title（参考訳）: 拡散モデルのグロッキング:モジュラー付加のケーススタディ
- Authors: Joon Hyeok Kim, Yong-Hyun Park, Mattis Dalsætra Østby, Jiatao Gu,
- Abstract要約: フローマッチングの目的を学習した拡散モデルでは, 過度に適合した後, 一般化が遅れ, モジュラー加法が現れる。
我々の研究は拡散モデルにおけるアルゴリズム学習の機械的分解を提供する。
- 参考スコア（独自算出の注目度）: 20.821116485381154
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite their empirical success, how diffusion models generalize remains poorly understood from a mechanistic perspective. We demonstrate that diffusion models trained with flow-matching objectives exhibit grokking--delayed generalization after overfitting--on modular addition, enabling controlled analysis of their internal computations. We study this phenomenon across two levels of data regime. In a single-image regime, mechanistic dissection reveals that the model implements modular addition by composing periodic representations of individual operands. In a diverse-image regime with high intraclass variability, we find that the model leverages its iterative sampling process to partition the task into an arithmetic computation phase followed by a visual denoising phase, separated by a critical timestep threshold. Our work provides the mechanistic decomposition of algorithmic learning in diffusion models, revealing how these models bridge continuous pixel-space generation and discrete symbolic reasoning.
- Abstract（参考訳）: その経験的成功にもかかわらず、拡散模型の一般化の仕方は、力学的な観点からはほとんど理解されていない。
フローマッチングの目的を学習した拡散モデルでは, 過適合後の一般化の遅れが示され, 内部計算の制御が可能となった。
我々はこの現象を2つのレベルのデータレギュレーションで研究する。
シングルイメージのシステムでは、メカニスティックな解法により、個々のオペランドの周期的表現を構成することによって、モデルがモジュラー加法を実装していることが明らかになった。
クラス内変動度の高い多種多様な画像システムにおいて、このモデルはその反復サンプリングプロセスを利用して、タスクを算術計算フェーズに分割し、臨界時間ステップしきい値で分離した視覚認知フェーズで処理する。
我々の研究は拡散モデルにおけるアルゴリズム学習の機械的分解を提供し、これらのモデルが連続したピクセル空間の生成と離散的なシンボリック推論を橋渡しする方法を明らかにした。
関連論文リスト
- Simple and Critical Iterative Denoising: A Recasting of Discrete Diffusion in Graph Generation [0.0]
中間ノイズ状態間の依存関係は、逆ノイズ化プロセス中にエラーの蓄積と伝播を引き起こす。
本稿では, 離散拡散を単純化し, 問題を回避し, 簡易反復分解という新しい枠組みを提案する。
実験により,提案手法はグラフ生成タスクにおいて既存の離散拡散ベースラインを著しく上回ることを示す。
論文 参考訳（メタデータ） (2025-03-27T15:08:58Z) - Continuous Diffusion Model for Language Modeling [64.7425225935854]
離散的データに対する既存の連続拡散モデルは離散的手法と比較して性能が劣る。
本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。
本手法は,既存の離散拡散モデルより優れ,自己回帰モデルの性能にアプローチする。
論文 参考訳（メタデータ） (2025-02-17T08:54:29Z) - Understanding Representation Dynamics of Diffusion Models via Low-Dimensional Modeling [29.612011138019255]
拡散モデルにおける一様表現ダイナミクスの出現について検討する。
この一様性は、ノイズスケールをまたいだデノイング強度とクラス信頼の相互作用から生じる。
分類タスクでは、単調力学の存在は拡散モデルの一般化を確実に反映する。
論文 参考訳（メタデータ） (2025-02-09T01:58:28Z) - Distillation of Discrete Diffusion through Dimensional Correlations [21.078500510691747]
「ミクチャー」モデルは、拡張性を維持しながら次元相関を扱える。
損失関数により、混合モデルは、次元相関を学習することで、そのような多くのステップの従来のモデルをほんの数ステップに蒸留することができる。
その結果、画像領域と言語領域をまたいだ事前学習した離散拡散モデルの蒸留における提案手法の有効性が示された。
論文 参考訳（メタデータ） (2024-10-11T10:53:03Z) - An Expectation-Maximization Algorithm for Training Clean Diffusion Models from Corrupted Observations [21.411327264448058]
本稿では, 予測最大化(EM)手法を提案し, 劣化した観測から拡散モデルを訓練する。
本手法は, 既知拡散モデル(E-step)を用いた劣化データからのクリーン画像の再構成と, これらの再構成(M-step)に基づく拡散モデル重みの精製とを交互に行う。
この反復過程は、学習された拡散モデルを真のクリーンなデータ分布に徐々に収束させる。
論文 参考訳（メタデータ） (2024-07-01T07:00:17Z) - The Emergence of Reproducibility and Generalizability in Diffusion Models [10.188731323681575]
同じスタートノイズ入力と決定論的サンプリングが与えられた場合、異なる拡散モデルはしばしば驚くほど類似した出力が得られる。
拡散モデルはトレーニングデータサイズの影響を受けやすい分布を学習していることを示す。
この価値ある性質は、条件付き使用、逆問題解決、モデル微調整など、拡散モデルの多くの変種に一般化される。
論文 参考訳（メタデータ） (2023-10-08T19:02:46Z) - Diffusion Models in Vision: A Survey [73.10116197883303]
拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。
拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
論文 参考訳（メタデータ） (2022-09-10T22:00:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。