論文の概要: On the Interpolation Effect of Score Smoothing

• arxiv url: http://arxiv.org/abs/2502.19499v1
• Date: Wed, 26 Feb 2025 19:04:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:58:27.519403
• Title: On the Interpolation Effect of Score Smoothing
• Title（参考訳）: スコア平滑化の補間効果について
• Authors: Zhengdao Chen,
• Abstract要約: 本研究では, 数学的に解けるモデルを用いて, スコアスムーシングとデノナイジングダイナミクスの相互作用について検討する。 本研究では,スムーズなスコア関数が,サブ空間内のトレーニングデータ間で補間するサンプルの生成にどのように寄与するかを示す。 また、正規化ニューラルネットワークを用いた学習スコア関数が、スコアスムーシングのような認知力学に類似した効果を持つことを示す。
• 参考スコア（独自算出の注目度）: 8.883733362171034
• License:
• Abstract: Score-based diffusion models have achieved remarkable progress in various domains with the ability to generate new data samples that do not exist in the training set. In this work, we examine the hypothesis that their generalization ability arises from an interpolation effect caused by a smoothing of the empirical score function. Focusing on settings where the training set lies uniformly in a one-dimensional linear subspace, we study the interplay between score smoothing and the denoising dynamics with mathematically solvable models. In particular, we demonstrate how a smoothed score function can lead to the generation of samples that interpolate among the training data within their subspace while avoiding full memorization. We also present evidence that learning score functions with regularized neural networks can have a similar effect on the denoising dynamics as score smoothing.
• Abstract（参考訳）: スコアベース拡散モデルは、トレーニングセットに存在しない新しいデータサンプルを生成する能力によって、様々な領域において顕著な進歩を遂げている。 本研究では,経験的スコア関数の平滑化による補間効果から一般化能力が生じるという仮説を考察する。 学習セットが一次元線形部分空間に一様に存在するような設定に焦点をあてて, 数学的に解けるモデルを用いて, スコアスムーシングとデノナイジングダイナミクスの相互作用について検討する。 特に,スムーズなスコア関数が,記憶の完全化を回避しつつ,サブ空間内のトレーニングデータ間で補間するサンプルの生成につながることを示す。 また、正規化ニューラルネットワークを用いた学習スコア関数が、スコアスムーシングのような認知力学に類似した効果を持つことを示す。

関連論文リスト

• Dimension-free Score Matching and Time Bootstrapping for Diffusion Models [11.743167854433306]
  拡散モデルは、様々な雑音レベルにおける対象分布のスコア関数を推定してサンプルを生成する。 本研究では,これらのスコア関数を学習するために,次元自由なサンプル境界の複雑性を初めて(ほぼ)確立する。 我々の分析の重要な側面は、ノイズレベル間でのスコアを共同で推定する単一関数近似器を使用することである。
  論文  参考訳（メタデータ） (2025-02-14T18:32:22Z)
• Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
  本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• Learning invariant representations of time-homogeneous stochastic dynamical systems [27.127773672738535]
  我々は,そのダイナミクスを忠実に捉えた状態の表現を学習する問題を研究する。 これは、転送演算子やシステムのジェネレータを学ぶのに役立ちます。 ニューラルネットワークに対する最適化問題として,優れた表現の探索が可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-19T11:32:24Z)
• Seismic Data Interpolation via Denoising Diffusion Implicit Models with Coherence-corrected Resampling [7.755439545030289]
  U-Netのようなディープラーニングモデルは、トレーニングとテストの欠落パターンが一致しない場合、しばしばパフォーマンスが低下する。 マルチモーダル拡散モデルに基づく新しいフレームワークを提案する。 推論フェーズでは,サンプリングステップの数を減らし,暗黙的拡散モデルを導入する。 露呈された痕跡と欠落した痕跡との一貫性と連続性を高めるために,我々は2つの戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-09T16:37:47Z)
• Learning Curves for Noisy Heterogeneous Feature-Subsampled Ridge Ensembles [34.32021888691789]
  雑音の多い最小二乗尾根アンサンブルにおける特徴バッグングの理論を開発する。 サブサンプリングは線形予測器の2Dピークをシフトすることを示した。 特徴サブサンプリングアンサンブルの性能を1つの線形予測器と比較する。
  論文  参考訳（メタデータ） (2023-07-06T17:56:06Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Deep Double Descent via Smooth Interpolation [2.141079906482723]
  我々は、各トレーニングポイントに局所的な入力変数に対する損失ランドスケープw.r.t.を研究することにより、トレーニングデータの適合性の鋭さを定量化する。 以上の結果から,入力空間における損失のシャープネスは,モデル・アンド・エポシカルな2重降下に追随することが明らかとなった。 小さな補間モデルはクリーンデータとノイズデータの両方に強く適合するが、大きな補間モデルは既存の直観とは対照的にスムーズなロスランドスケープを表現している。
  論文  参考訳（メタデータ） (2022-09-21T02:46:13Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• Diffusion-Based Representation Learning [65.55681678004038]
  教師付き信号のない表現学習を実現するために,デノナイズスコアマッチングフレームワークを拡張した。 対照的に、拡散に基づく表現学習は、デノナイジングスコアマッチング目的の新しい定式化に依存している。 同じ手法を用いて,半教師付き画像分類における最先端モデルの改善を実現する無限次元潜在符号の学習を提案する。
  論文  参考訳（メタデータ） (2021-05-29T09:26:02Z)
• Score-informed Networks for Music Performance Assessment [64.12728872707446]
  MPAモデルにスコア情報を組み込んだディープニューラルネットワークに基づく手法はまだ研究されていない。 スコアインフォームド性能評価が可能な3つのモデルを提案する。
  論文  参考訳（メタデータ） (2020-08-01T07:46:24Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。