論文の概要: Sobolev Regularized Score Difference Estimation in Diffusion Models

• arxiv url: http://arxiv.org/abs/2608.18237v2
• Date: Mon, 24 Aug 2026 14:56:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:42.806543
• Title: Sobolev Regularized Score Difference Estimation in Diffusion Models
• Title（参考訳）: 拡散モデルにおけるソボレフ正規化スコア差の推定
• Abstract要約: 2つのスタインのスコア関数の違いを推定することは、生成的モデリングにおける根本的な問題である。 本稿では,ソボレフ正規化に基づくスコア差に対する統計的に一貫したスケーラブルな推定器を提案する。 我々は、ECG信号生成のための伝達学習を含む実世界のタスクにおいて、その効果を実証する。
• 参考スコア（独自算出の注目度）: 3.8546389874826947
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Estimating the difference of two Stein's score functions is a fundamental problem in generative modeling. In particular, score differences arise naturally in transfer learning, where the score difference provides the mechanism for adapting a pre-trained model to a new target distribution, and in diffusion model-based post-training methods such as discriminator guidance. Existing estimators for score differences in these settings either lack of statistical consistency or are difficult to scale up in high-dimensions. We propose a statistically consistent and scalable estimator for score differences based on Sobolev regularization, which plays a crucial role in ensuring consistency and stablizing the training in the small-sample regime. Mathematically, we establish a convergence rate of $O(n^{-\frac{s-1}{d+2s-2}})$ where $d$ is the dimension and $s$ denotes the smoothness of the underlying densities, and provide a minimax lower bound of $\tildeΩ(n^{-\frac{2(s-1)}{d+2s}})$ (in mean-squared error). Empirically, our estimator exhibits significantly improved stability in small-sample regimes compared to existing methods. We demonstrate its effectiveness on real-world tasks, including transfer learning for ECG signal generation, where it substantially outperforms non-regularized score difference estimators in downstream classification performance.
• Abstract（参考訳）: 2つのスタインのスコア関数の違いを推定することは、生成的モデリングにおける根本的な問題である。 特に, スコア差は, 新しい目標分布に事前学習モデルを適用するメカニズムを提供するトランスファー学習や, ディミネータガイダンスなどの拡散モデルに基づくポストトレーニング手法において自然に発生する。 これらの設定におけるスコア差の既存の推定器は、統計的整合性の欠如または高次元でのスケールアップが困難である。 本稿では,ソボレフ正則化に基づく統計的に一貫した,スケーラブルなスコア差推定器を提案する。 数学的には、$O(n^{-\frac{s-1}{d+2s-2}})$の収束速度を確立し、$d$は次元であり、$s$は下層の密度の滑らかさを表し、$\tildeΩ(n^{-\frac{2(s-1)}{d+2s}})$のミニマックス下界を与える。 実験により,本推定装置は既存手法と比較して,小サンプル状態の安定性が著しく向上した。 本研究は,ECG信号生成のための伝達学習を含む実世界のタスクにおいて,非正規化スコア差推定器のダウンストリーム分類性能を著しく向上させる実世界のタスクにおいて,その効果を実証する。

関連論文リスト

• On Variance Reduction in Learning Mean Flows [7.705995307512647]
  平均フロートレーニングは不安定で、非減少損失と非バウンド勾配のばらつきがある。 我々は,この病態を条件速度場の誤用とみなす理論を確立した。 我々は、閉形式の最適係数を導出し、並列処理における修正の族が、同じ最適化の異なる実践的実現に対応することを示す。
  論文  参考訳（メタデータ） (2026-05-10T00:32:53Z)
• VAE-Inf: A statistically interpretable generative paradigm for imbalanced classification [8.677199689027772]
  生成的モデリングと識別的分類のギャップを埋める2段階の枠組みを提案する。 推論のために、自然な仮説テストの解釈を受け入れるプロジェクションベースのスコアを導入する。 様々な実世界のベンチマークの実験は、我々のフレームワークが他のアプローチと競合する性能を達成していることを示している。
  論文  参考訳（メタデータ） (2026-04-28T07:50:56Z)
• Toward Reliable Machine Unlearning: Theory, Algorithms, and Evaluation [1.7767466724342065]
  本稿では,SOTA MIAスコアに基づく画像分類の最先端手法を超越したAdrial Machine UNlearning(AMUN)を提案する。 既存の手法は、最寄りの会員推定攻撃(MIA-NN)を導入して、再訓練されたモデルの動作を再現できないことを示す。 そこで我々は,スクラッチから再学習したモデルが生成する残りのクラスに対する分布を,クラス入力に対して近似することで,このリークを緩和する微調整対象を提案する。
  論文  参考訳（メタデータ） (2025-12-07T20:57:25Z)
• Improving Distribution Alignment with Diversity-based Sampling [0.0]
  ドメインシフトは機械学習においてユビキタスであり、実際のデータにデプロイすると、モデルのパフォーマンスが大幅に低下する可能性がある。 本稿では,各サンプル小バッチの多様性を誘導することにより,これらの推定値を改善することを提案する。 同時にデータのバランスを保ち、勾配のばらつきを低減し、それによってモデルの一般化能力を高める。
  論文  参考訳（メタデータ） (2024-10-05T17:26:03Z)
• A replica analysis of under-bagging [3.1274367448459253]
  Under-bagging (UB) は、不均衡なデータに基づいて分類器を訓練するための一般的なアンサンブル学習手法である。 アンダーサンプリングによる試料径の減少による分散の増大を抑えるためにバッジを用いることは自然なアプローチである。 近年、一般化線形モデルでは、クラス不均衡構造を考慮しない単純バッグングとリッジ正則化が同じ結果をもたらすことが指摘されている。
  論文  参考訳（メタデータ） (2024-04-15T13:31:31Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Learning Compact Features via In-Training Representation Alignment [19.273120635948363]
  各エポックでは、トレーニングセットからサンプリングしたミニバッチを用いて損失関数の真の勾配を推定する。 In-Training Representation Alignment (ITRA) を提案する。 また,特徴表現学習における一致損失の望ましい影響を厳密に分析する。
  論文  参考訳（メタデータ） (2022-11-23T22:23:22Z)
• ELODI: Ensemble Logit Difference Inhibition for Positive-Congruent Training [110.52785254565518]
  負のフリップ率(NFR)を減少させる既存の方法は、新しいモデルに古いモデルを模倣させたり、アンサンブルを使用したりすることで、全体的な精度を犠牲にしている。 我々は、NFRの低減におけるアンサンブルの役割を分析し、通常決定境界に近くない負のフリップを取り除くことを観察する。 本稿では,誤り率とNFRの両方でパラゴン性能を実現する分類システムを訓練するためのELODI(Ensemble Logit Difference Inhibition)を提案する。
  論文  参考訳（メタデータ） (2022-05-12T17:59:56Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• The Interplay between Distribution Parameters and the Accuracy-Robustness Tradeoff in Classification [0.0]
  アドリラルトレーニングは、通常のモデルに比べて自然(未成熟)の例では正確でないモデルをもたらす傾向にある。 これは、アルゴリズムの欠点か、トレーニングデータ分散の基本的な性質によるものとみなすことができる。 本研究では,二進ガウス混合分類問題の下で後者のケースに焦点をあてる。
  論文  参考訳（メタデータ） (2021-07-01T06:57:50Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
  我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。 本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
  論文  参考訳（メタデータ） (2020-05-22T22:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。