論文の概要: A Theoretical Analysis of Memory and Overfitting Phenomena in Stochastic Interpolation Models

• arxiv url: http://arxiv.org/abs/2606.08554v1
• Date: Sun, 07 Jun 2026 10:14:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.204044
• Title: A Theoretical Analysis of Memory and Overfitting Phenomena in Stochastic Interpolation Models
• Title（参考訳）: 確率補間モデルにおけるメモリとオーバーフィッティング現象の理論解析
• Authors: Yunchen Li, Shaohui Lin, Zhou Yu,
• Abstract要約: 連続時間オラクル設定では、決定論的推定と生成プロセスの両方がトレーニングサンプルを復元することを示す。 離散化の下では、生成されたサンプルはトレーニングサンプルを中心としたままであり、ステップサイズによって偏差が制御される。
• 参考スコア（独自算出の注目度）: 28.505356058958125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper provides a theoretical account of memorization in stochastic interpolation models. By leveraging closed-form expressions for the optimal velocity field and the associated score function, we show that, in the continuous-time oracle setting, both deterministic and stochastic generation processes recover training samples. Under Euler discretization, generated samples remain centered around training samples, with deviations controlled by the step size. We further analyze generation in the presence of estimation errors and show that accumulated estimation errors control the endpoint deviation from the training set. These results imply that the generated sample admits a representation as a training sample perturbed by three controlled terms: a discretization-induced bound, an estimation-error-induced bound, and stochastic Gaussian noise. Based on this characterization, we provide theoretical definitions of overfitting and underfitting in generative models. Synthetic simulations support our theoretical findings.
• Abstract（参考訳）: 本稿では,確率補間モデルにおける記憶の理論的説明を提供する。 最適速度場と関連するスコア関数の閉形式式を活用することで、連続時間オラクル設定では、決定的および確率的生成プロセスの両方がトレーニングサンプルを復元することを示した。 オイラーの離散化の下では、生成されたサンプルはトレーニングサンプルを中心に残っており、ステップサイズによって偏差が制御されている。 さらに,推定誤差の存在下での発生を解析し,蓄積した推定誤差がトレーニングセットから終点ずれを制御することを示す。 これらの結果は, 離散化誘導境界, 推定誤差誘導境界, 確率的ガウス雑音の3つの制御項によって摂動されたトレーニングサンプルとして表現されることを示唆している。 この特徴に基づいて、生成モデルにおけるオーバーフィットとアンダーフィットの理論的定義を提供する。 合成シミュレーションは我々の理論的な結果を裏付ける。

関連論文リスト

• Generation Properties of Stochastic Interpolation under Finite Training Set [28.505356058958125]
  規則的な条件下では、決定論的生成過程はトレーニングサンプルを正確に回収し、生成過程は追加のノイズを伴うトレーニングサンプルとして現れる。 提案手法は,推定誤差が存在する場合,一様雑音とガウス雑音の混合によるトレーニングサンプルの凸結合を効果的に生成することを示した。
  論文  参考訳（メタデータ） (2025-09-26T06:13:03Z)
• When and how can inexact generative models still sample from the data manifold? [2.4664553878979185]
  スコア関数やドリフトベクトル場における学習誤差にもかかわらず、生成されたサンプルはデータ分布の支持を強調させるが、それから強調しないように見える。 我々は、上のリャプノフベクトルとデータ多様体の境界に沿った接空間とのアライメントがロバスト性をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-08-11T03:24:34Z)
• The Effect of Stochasticity in Score-Based Diffusion Sampling: a KL Divergence Analysis [0.0]
  我々はKL(Kulback-Leibler)の生成過程に及ぼすばらつきの影響について検討する。 本研究の主な成果は、加算雑音とリプシッツ連続スコア関数を持つ線形前方SDEに適用する。
  論文  参考訳（メタデータ） (2025-06-13T01:01:07Z)
• Memorization and Regularization in Generative Diffusion Models [5.128303432235475]
  拡散モデルは、生成モデリングの強力なフレームワークとして登場した。 この分析は、解析的に抽出可能な最小化器の再生を避けるための正規化の必要性を強調している。 実験は記憶の文脈で評価され、今後の正規化の方向性が強調される。
  論文  参考訳（メタデータ） (2025-01-27T05:17:06Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
  画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。 決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。 本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-11T15:20:54Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Equivariant online predictions of non-stationary time series [0.0]
  モデル不特定条件下での統計的手法の理論的予測特性を解析する。 ランダムウォーク・ダイナミック・リニア・モデル(ランダムウォーク・ダイナミック・リニア・モデル)の特定のクラスが、正確なミニマックス予測密度を生成することを示す。
  論文  参考訳（メタデータ） (2019-11-20T01:46:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。