論文の概要: On the Interpolation Effect of Score Smoothing in Diffusion Models

• arxiv url: http://arxiv.org/abs/2502.19499v2
• Date: Fri, 10 Oct 2025 17:14:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:45.100394
• Title: On the Interpolation Effect of Score Smoothing in Diffusion Models
• Title（参考訳）: 拡散モデルにおけるスコア平滑化の補間効果について
• Authors: Zhengdao Chen,
• Abstract要約: このような創造性は経験的スコア関数の滑らか化による影響から生じるという仮説を考察する。 理論的には、正規化された2層ReLUニューラルネットワークが、経験的スコア関数の約1つのスムーズなバージョンを学習する傾向を示す。 本稿では,ニューラルネットワークを用いた学習スコア関数が,実際にスコアスムーシング効果を誘導することを示す。
• 参考スコア（独自算出の注目度）: 12.335698325757493
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Score-based diffusion models have achieved remarkable progress in various domains with the ability to generate new data samples that do not exist in the training set. In this work, we study the hypothesis that such creativity arises from an interpolation effect caused by a smoothing of the empirical score function. Focusing on settings where the training set lies uniformly in a one-dimensional subspace, we show theoretically how regularized two-layer ReLU neural networks tend to learn approximately a smoothed version of the empirical score function, and further probe the interplay between score smoothing and the denoising dynamics with analytical solutions and numerical experiments. In particular, we demonstrate how a smoothed score function can lead to the generation of samples that interpolate the training data along their subspace while avoiding full memorization. Moreover, we present experimental evidence that learning score functions with neural networks indeed induces a score smoothing effect, including in simple nonlinear settings and without explicit regularization.
• Abstract（参考訳）: スコアベース拡散モデルは、トレーニングセットに存在しない新しいデータサンプルを生成する能力によって、様々な領域において顕著な進歩を遂げている。 本研究では,経験的スコア関数の平滑化に起因する補間効果からこのような創造性が生じるという仮説を考察する。 1次元部分空間にトレーニングセットが一様であるような設定に焦点をあて、理論上、正規化された2層ReLUニューラルネットワークが経験的スコア関数の約1つのスムーズなバージョンを学習する傾向を示し、さらに解析的解法と数値実験によるスコアスムージングとデノナイジングダイナミクスとの相互作用を探索する。 特に,スムーズなスコア関数が,トレーニングデータをサブスペースに沿って補間するサンプルの生成に寄与することを示す。 さらに,ニューラルネットワークを用いた学習スコア関数が,単純な非線形設定や明示的な正規化を伴わずにスコアスムースな効果を誘導することを示す。

関連論文リスト

• Smoothing the Score Function for Generalization in Diffusion Models: An Optimization-based Explanation Framework [18.032864089341327]
  拡散モデルは顕著な世代品質を達成するが、記憶と呼ばれる根本的な課題に直面している。 実験的なスコア関数がガウス分布のスコア関数の重み付け和であることを示し、この現象を説明する理論的枠組みを開発する。 実際には、経験的スコア関数をニューラルネットワークで近似することで、この問題を部分的に緩和し、一般化を改善することができる。
  論文  参考訳（メタデータ） (2026-01-27T07:16:44Z)
• On the Theory of Continual Learning with Gradient Descent for Neural Networks [30.678616374316736]
  本研究では, 連続学習の限界について検討する。 本結果から, 忘れる確率における問題パラメータの相違について, 興味深い現象が明らかとなった。
  論文  参考訳（メタデータ） (2025-10-07T04:32:27Z)
• Multimodal Atmospheric Super-Resolution With Deep Generative Models [1.9367648935513015]
  スコアベース拡散モデリング(Score-based diffusion modeling)は、複雑な分布からサンプリングできる生成機械学習アルゴリズムである。 本稿では,高次元力学系の超解像にそのような概念を適用し,低分解能および実験的に観察されたスパースセンサ測定のリアルタイム利用性を考える。
  論文  参考訳（メタデータ） (2025-06-28T06:47:09Z)
• The Butterfly Effect: Neural Network Training Trajectories Are Highly Sensitive to Initial Conditions [51.68215326304272]
  たとえ小さな摂動であっても、同じ訓練軌跡を確実に引き起こすことで、トレーニング時間とともに急速に減少する効果が発散することを示します。 この結果から,ニューラルネットワークのトレーニング安定性,微調整,モデルマージ,モデルアンサンブルの多様性の実践的意味が示唆された。
  論文  参考訳（メタデータ） (2025-06-16T08:35:16Z)
• Dimension-free Score Matching and Time Bootstrapping for Diffusion Models [11.743167854433306]
  拡散モデルは、様々な雑音レベルにおける対象分布のスコア関数を推定してサンプルを生成する。 本研究では,これらのスコア関数を学習するために,次元自由なサンプル境界の複雑性を初めて(ほぼ)確立する。 我々の分析の重要な側面は、ノイズレベル間でのスコアを共同で推定する単一関数近似器を使用することである。
  論文  参考訳（メタデータ） (2025-02-14T18:32:22Z)
• Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
  本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• Neural Network-Based Score Estimation in Diffusion Models: Optimization and Generalization [12.812942188697326]
  拡散モデルは、忠実さ、柔軟性、堅牢性を改善した高品質なサンプルを生成する際に、GANと競合する強力なツールとして登場した。 これらのモデルの主要な構成要素は、スコアマッチングを通じてスコア関数を学ぶことである。 様々なタスクにおいて経験的な成功にもかかわらず、勾配に基づくアルゴリズムが証明可能な精度でスコア関数を学習できるかどうかは不明である。
  論文  参考訳（メタデータ） (2024-01-28T08:13:56Z)
• Gradient-Based Feature Learning under Structured Data [57.76552698981579]
  異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。 バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
  論文  参考訳（メタデータ） (2023-09-07T16:55:50Z)
• Learning invariant representations of time-homogeneous stochastic dynamical systems [27.127773672738535]
  我々は,そのダイナミクスを忠実に捉えた状態の表現を学習する問題を研究する。 これは、転送演算子やシステムのジェネレータを学ぶのに役立ちます。 ニューラルネットワークに対する最適化問題として,優れた表現の探索が可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-19T11:32:24Z)
• Seismic Data Interpolation via Denoising Diffusion Implicit Models with Coherence-corrected Resampling [7.755439545030289]
  U-Netのようなディープラーニングモデルは、トレーニングとテストの欠落パターンが一致しない場合、しばしばパフォーマンスが低下する。 マルチモーダル拡散モデルに基づく新しいフレームワークを提案する。 推論フェーズでは,サンプリングステップの数を減らし,暗黙的拡散モデルを導入する。 露呈された痕跡と欠落した痕跡との一貫性と連続性を高めるために,我々は2つの戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-09T16:37:47Z)
• Learning Curves for Noisy Heterogeneous Feature-Subsampled Ridge Ensembles [34.32021888691789]
  雑音の多い最小二乗尾根アンサンブルにおける特徴バッグングの理論を開発する。 サブサンプリングは線形予測器の2Dピークをシフトすることを示した。 特徴サブサンプリングアンサンブルの性能を1つの線形予測器と比較する。
  論文  参考訳（メタデータ） (2023-07-06T17:56:06Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Deep Double Descent via Smooth Interpolation [2.141079906482723]
  我々は、各トレーニングポイントに局所的な入力変数に対する損失ランドスケープw.r.t.を研究することにより、トレーニングデータの適合性の鋭さを定量化する。 以上の結果から,入力空間における損失のシャープネスは,モデル・アンド・エポシカルな2重降下に追随することが明らかとなった。 小さな補間モデルはクリーンデータとノイズデータの両方に強く適合するが、大きな補間モデルは既存の直観とは対照的にスムーズなロスランドスケープを表現している。
  論文  参考訳（メタデータ） (2022-09-21T02:46:13Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• Diffusion-Based Representation Learning [65.55681678004038]
  教師付き信号のない表現学習を実現するために,デノナイズスコアマッチングフレームワークを拡張した。 対照的に、拡散に基づく表現学習は、デノナイジングスコアマッチング目的の新しい定式化に依存している。 同じ手法を用いて,半教師付き画像分類における最先端モデルの改善を実現する無限次元潜在符号の学習を提案する。
  論文  参考訳（メタデータ） (2021-05-29T09:26:02Z)
• Model discovery in the sparse sampling regime [0.0]
  深層学習が部分微分方程式のモデル発見をいかに改善できるかを示す。 その結果、ディープラーニングに基づくモデル発見は、基礎となる方程式を復元することができる。 我々は合成集合と実験集合の両方について主張する。
  論文  参考訳（メタデータ） (2021-05-02T06:27:05Z)
• Score-informed Networks for Music Performance Assessment [64.12728872707446]
  MPAモデルにスコア情報を組み込んだディープニューラルネットワークに基づく手法はまだ研究されていない。 スコアインフォームド性能評価が可能な3つのモデルを提案する。
  論文  参考訳（メタデータ） (2020-08-01T07:46:24Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。