論文の概要: The Loss Floor of Denoising Score Matching: Fisher Geometry from Schrödinger Bridges

• arxiv url: http://arxiv.org/abs/2608.23916v1
• Date: Mon, 24 Aug 2026 23:48:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.661376
• Title: The Loss Floor of Denoising Score Matching: Fisher Geometry from Schrödinger Bridges
• Title（参考訳）: スコアマッチングの喪失--シュレーディンガー橋の幾何
• Abstract要約: 弱正則性仮定の下での一般的な汚職核について、これは条件付き終点族のフィッシャー・ラオ計量のトレースであることを示す。 この結果は、過度な経路空間相対エントロピーとして理想的目的が生じるシュル・オーディンガー橋変分原理から導かれる。
• 参考スコア（独自算出の注目度）: 4.661816556403101
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Denoising score matching trains diffusion models by regressing onto a conditional score, although generation ultimately requires the marginal score. The two objectives share the same population minimizer, but the conditional target remains random at fixed noisy state and introduces an irreducible excess in the training loss. We isolate this excess and show that, for a general corruption kernel under mild regularity assumptions, it is exactly the trace of the Fisher--Rao metric of the conditional endpoint family, integrated along the diffusion trajectory. This gives an exact conditional-variance decomposition of the denoising objective and identifies the information geometry observed in diffusion latent spaces as an intrinsic component of the training loss. We derive the result from a Schr"odinger bridge variational principle, in which the ideal objective arises as excess path-space relative entropy. For corruption diffusions, the Fisher term is proportional to the rate at which the noisy state loses mutual information about the clean data, separating the loss floor into an information flow determined by the data and a weight determined by the corruption schedule and objective. In the Gaussian case, this yields a closed form for the floor, recovers reparametrization invariance of the continuous-time objective, and relates its high-SNR divergence to the information dimension of the data. Finally, we show that raw losses obtained with different noise ranges or weightings need not rank models consistently because they contain different additive floors, and contrast the second-order geometry seen by training with the third-order conditional statistics entering numerical sampling error.
• Abstract（参考訳）: 条件付きスコアに回帰することで、列車の拡散モデルをノイズ付けするが、生成には究極的には限界スコアが必要である。 2つの目的は同じ人口を最小化できるが、条件的目標が不規則な騒音状態のままであり、訓練損失に既約余剰をもたらす。 この余剰を分離し、緩やかな正則性仮定の下での一般的な汚職核は、拡散軌道に沿って積分された条件付き終点群のフィッシャー・ラオ計量のトレースであることを示す。 これは、偏微分対象の正確な条件分散分解を与え、拡散潜在空間で観測される情報幾何学を訓練損失の本質的な成分として同定する。 この結果は、過度な経路空間相対エントロピーとして理想的目的が生じるシュル・オーディンガー橋変分原理から導かれる。 汚職拡散の場合、フィッシャー項は、ノイズ状態がクリーンデータに関する相互情報を失い、損失フロアをデータによって決定された情報フローと、汚職スケジュールと目的によって決定された重みとに分離する速度に比例する。 ガウスの場合、これはフロアの閉形式となり、連続時間目的物の再パラメータ化不変性を回復し、その高SNRばらつきとデータの情報次元を関連付ける。 最後に、異なる雑音範囲や重み付けで得られた生の損失は、異なる付加床を含むため、一貫した階数モデルを必要としないことを示し、数値サンプリング誤差を入力した3階条件付き統計値とトレーニングによって見られる2階形状を対比する。

関連論文リスト

• Distributionally Faithful Imputation via Positive Semi-Definite Kernel Density Estimation [55.47411235954028]
  マスク観測による密度推定では,不規則に不規則に不規則な計算を行う。 我々は,ニュートン内点法で解ける閉じた形状の辺縁を持つ凸型経験的リスク問題を得る。 結果のPSDインプットモデルでは、同一の入射密度から単一および多重インプットが得られる。
  論文  参考訳（メタデータ） (2026-07-08T15:51:05Z)
• Density-Ratio Losses for Post-Hoc Learning to Defer [61.81110533670321]
  理想分布のレンズを用いて,ポストホック学習からデファー(L2D)までの研究を行った。 モデルと専門家のイデアルの間の密度比を通じて、deferralを定義します。 次に、ディフェラル決定はスコアを閾値付けすることで行われ、deferral rateは再トレーニングせずに調整される。
  論文  参考訳（メタデータ） (2026-05-19T08:56:23Z)
• Conditional Diffusion Under Linear Constraints: Langevin Mixing and Information-Theoretic Guarantees [10.73598638822051]
  線形逆問題に対する事前学習拡散モデルを用いたゼロショット条件付きサンプリングについて検討する。 このスコアを無条件の接点スコアで置き換える誤差は、観測されたコンポーネントと観測されていないコンポーネントの間の次元自由条件の相互情報によって上限づけられていることを証明する。
  論文  参考訳（メタデータ） (2026-05-06T19:19:54Z)
• Generative Modeling under Non-Monotonic MAR Missingness via Approximate Wasserstein Gradient Flows [6.221876252052772]
  MAR(Missing at Random)の値を持つデータセットから完全なデータセットを生成するための原則的反復法を提案する。 FLOWGEMは、観測されたデータ分布と、異なる欠落パターンにおける生成したサンプルの分布との予測KL(Kullback-Leibler)のばらつきを最小化する。 これは、モノトニックなMARメカニズムの挑戦的なケースを含む、さまざまな設定で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-04-06T09:56:08Z)
• A Unified View of Drifting and Score-Based Models [92.51878018325031]
  ドリフトがカーネル平滑分布にスコアベースの定式化を許すことを示すことにより,拡散モデルの背後にあるスコアマッチング原理との関係を正確にする。 一般的なラプラス核に対して正確な分解を導出し、ラプラス核に対してドリフトが低温および高次元状態におけるスコアマッチングの正確なプロキシであることを示す厳密な誤差境界を証明した。
  論文  参考訳（メタデータ） (2026-03-08T07:41:36Z)
• Information-Theoretic Discrete Diffusion [8.018632880023336]
  本稿では,離散拡散モデルに対する情報理論フレームワークを提案する。 結果は、最適スコアベースの損失の観点から、データのログライクな状態の時間分解を提供する。 合成および実世界のデータを用いた実験により, 推定器の精度, 分散安定性, 有用性が確認された。
  論文  参考訳（メタデータ） (2025-10-28T05:59:05Z)
• Kernel-Smoothed Scores for Denoising Diffusion: A Bias-Variance Study [3.265950484493743]
  拡散モデルは暗記しがちである。 スコアの正規化は、トレーニングデータセットのサイズを増やすのと同じ効果がある。 この視点は、拡散をデノナイズする2つの規則化機構を強調する。
  論文  参考訳（メタデータ） (2025-05-28T20:22:18Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• FP-Diffusion: Improving Score-based Diffusion Models by Enforcing the Underlying Score Fokker-Planck Equation [72.19198763459448]
  雑音が増大する傾向にあるデータ密度に対応する雑音条件スコア関数の族を学習する。 これらの摂動データ密度は、密度の時空間進化を管理する偏微分方程式(PDE)であるフォッカー・プランク方程式(Fokker-Planck equation, FPE)によって結合される。 我々は、摂動データ密度の雑音条件スコアを特徴付けるスコアFPEと呼ばれる対応する方程式を導出する。
  論文  参考訳（メタデータ） (2022-10-09T16:27:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。