論文の概要: Denoising Is Stein: Moment Access and a Resource Hierarchy for Learning Hidden Structure in Diffusion Models
- arxiv url: http://arxiv.org/abs/2611.04043v1
- Date: Mon, 02 Nov 2026 22:39:45 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:29:43.575851
- Title: Denoising Is Stein: Moment Access and a Resource Hierarchy for Learning Hidden Structure in Diffusion Models
- Title（参考訳）: Denoising is Stein: 拡散モデルにおける隠れ構造学習のためのモーメントアクセスとリソース階層
- Abstract要約: 本研究は,非ガウス成分を隠したデータを含む場合,ペアの雑音化によるスコア学習について検討する。
クリーンポイントの再利用でトレーニングされたワイド8ネットワークは、$d2$のようなトレーニングセット閾値が$d=64$--192$を超え、バリデーションとキャリブレーションのオーバーヘッドが固定されている。
- 参考スコア（独自算出の注目度）: 3.744103474408833
- License:
- Abstract: We study score learning from denoising pairs when the data contain a hidden non-Gaussian component. If covariance reveals the component, its subspace can be recovered directly. If covariance is isotropic, the first distinguishing moment has order $k^\ast$, and the learner must extract that moment from clean points and their noisy views. Correlations in the denoising loss are Stein discrepancies against a baseline; for polynomial fields they determine exactly the corresponding moment differences. Averaging fresh noisy views conditional on a clean point gives an exact moment query on the clean distribution. In the covariance-matched regime, orientation-independent dictionaries satisfying an $L^4/L^2$ condition need order $d^{k^\ast-1}$ features, and the stated dot-product kernel ridge models need the same power in samples. Small-step online SGD on one unit has this exponent up to logarithms. A two-stage learner uses the curvature of a smoothed denoising loss to recover the hidden direction, then sharpens it and fits a scalar readout. For every even $k^\ast$, it obtains a fixed score gain over the Gaussian baseline from $O(d^{k^\ast/2}\log d)$ clean points. In the covariance-visible regime, the frozen-feature threshold occurs at $d^J/J!$, while projection onto principal components makes the fitted-model, score-risk and generated-law distributions independent of ambient dimension. In the covariance-matched experiments, the measured partial-trace overlaps are consistent with the proposed spectral transition. A width-8 network trained with clean-point reuse shows a $d^2$-like training-set threshold over $d=64$--$192$, with fixed validation and calibration overhead.
- Abstract（参考訳）: 本研究は,非ガウス成分を隠したデータを含む場合,ペアの雑音化によるスコア学習について検討する。
共分散が成分を明らかにすると、その部分空間は直接復元される。
共分散が等方的であれば、最初の区別モーメントは$k^\ast$で、学習者はそのモーメントをクリーンポイントとノイズの多いビューから抽出しなければならない。
分解損失の相関は、ベースラインに対するスタイン差であり、多項式場は対応するモーメント差を正確に決定する。
クリーンなポイントで条件付きで、新鮮なノイズの多いビューを平均すると、クリーンな配布に関する正確なモーメントクエリが得られます。
共分散整合系では、$L^4/L^2$条件を満たす向きに依存しない辞書は$d^{k^\ast-1}$特徴を必要とする。
1つのユニット上の小さなオンラインSGDは、この指数を対数まで持つ。
2段階学習者は、スムーズな復調損失の曲率を用いて隠れた方向を回復し、それを研ぎ、スカラー読み出しに適合させる。
たとえ$k^\ast$であっても、$O(d^{k^\ast/2}\log d)$クリーンポイントからガウス基底線に対する固定スコアゲインを得る。
共分散可視状態においては、凍結状態のしきい値が$d^J/J!
プリンシパルコンポーネントへのプロジェクションは、適合モデル、スコアリスク、生成法則の分布を周囲の次元とは無関係にする。
共分散マッチング実験では、測定された部分トレースオーバーラップは、提案したスペクトル遷移と一致している。
クリーンポイントの再利用でトレーニングされたワイド8ネットワークは、$d=64$-192$を超える$d^2$のようなトレーニングセットしきい値を示し、バリデーションとキャリブレーションのオーバーヘッドが固定されている。
関連論文リスト
- Beyond Multi-Index Models: Learning Intersections of Degree-2 PTFs [43.317911105862756]
ガウス分布の下では、$k$次数2のしきい値関数を$Rd$で学習するアルゴリズムを提案する。
我々の結果は、$k$であっても、正確性に依存しないパラメータ指数を得る最初のものである。
論文 参考訳（メタデータ） (2026-11-03T16:05:15Z) - SCAFFOLD under Hessian Similarity: Sharp Convergence Rates [63.995660330510105]
フェデレーション学習の主な課題の1つは、クライアント間での不均一なデータ分割であり、クライアントドリフトと呼ばれるローカル更新にバイアスがかかる。
SCAFFOLD(Karimireddy et al., 2020)は、クライアントのドリフトを二次的に補正するが、元の保証との関係はまだ完全には理解されていない。
我々は,クライアント選択の変種に対して,均一なヘッセン類似性の下で,類似した局データ保証を証明した。
論文 参考訳（メタデータ） (2026-10-26T16:09:02Z) - Two-Sample Testing via Generative Processes [60.42943145582429]
生成輸送は、2つのサンプルが同じ分布から来るかどうかを決定する新しい方法を提供する。
2つのサンプルの間に直接補間体を構築し、対称スケジュールでは、その法則が時間反射の下で不変であることを観察する。
したがって、t と 1-t の辺辺が、Jensen-Shannon の発散を計算することで一致するかどうかをテストする。
論文 参考訳（メタデータ） (2026-10-06T12:48:27Z) - Detecting a Shift Is Not Enough: Exact Minimax Limits of Linear Representation Repair [7.112382448894557]
2つのデータソース間の平均シフトは簡単に検出できるが、表現を著しく変更することなく削除するのは難しい。
そのようなすべての写像に対して、正確な有限サンプルのミニマックスリスクを$(d-k) mathbbE[1/(d+2J)]$と$JsimmathrmPois(/2)$で導き出す。
平均校正差を投影すると、$やノイズスケールを知らずにそれを達成できる。
論文 参考訳（メタデータ） (2026-10-06T10:03:20Z) - Copula Active Subspaces I: A Score-Covariance Method for Reduced-Order Non-Gaussian Density Estimation [0.24554686192257422]
非ガウス雑音の推論問題では、後部はノイズ密度と同等の精度しか得られず、勾配に基づくサンプルは、その密度と勾配評価点の点で要求される。
本稿では,この雑音密度を表すために,Copula Active Subspaces (CAS)を提案する。
論文 参考訳（メタデータ） (2026-09-28T19:17:31Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳（メタデータ） (2026-05-23T22:00:38Z) - Information Hidden in Gradients of Regression with Target Noise [2.8911861322232686]
勾配だけでヘッセンが明らかになることを示す。
我々はガウス以下の入力の下で非漸近作用素ノルム保証を提供する。
論文 参考訳（メタデータ） (2026-01-26T14:50:16Z) - TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。
近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。
1)予測共分散は予測平均のランダム性を真に捉えているか?
その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
論文 参考訳（メタデータ） (2023-10-29T09:54:03Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳（メタデータ） (2020-06-04T17:51:00Z) - Robustly Learning any Clusterable Mixture of Gaussians [55.41573600814391]
本研究では,高次元ガウス混合系の対向ロバスト条件下での効率的な学習性について検討する。
理論的に最適に近い誤り証明である$tildeO(epsilon)$の情報を、$epsilon$-corrupted $k$-mixtureで学習するアルゴリズムを提供する。
我々の主な技術的貢献は、ガウス混合系からの新しい頑健な識別可能性証明クラスターであり、これは正方形の定度証明システムによって捉えることができる。
論文 参考訳（メタデータ） (2020-05-13T16:44:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。