論文の概要: Score Change of Variables

• arxiv url: http://arxiv.org/abs/2412.07904v3
• Date: Mon, 24 Feb 2025 17:56:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:48:50.907518
• Title: Score Change of Variables
• Title（参考訳）: 変数のスコア変化
• Authors: Stephen Robbins,
• Abstract要約: 滑らかで可逆な変換 $mathbfy = phi(mathbfx)$ に対して、変換されたスコア関数 $nabla_mathbfy log q(mathbfy)$ は $nabla_mathbfx log p(mathbfx)$ で直接表現できることを示す。 また、線形射影から任意の滑らかな変換への従来のスライススコアマッチングを拡張した一般化スライススコアマッチングを導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We derive a general change of variables formula for score functions, showing that for a smooth, invertible transformation $\mathbf{y} = \phi(\mathbf{x})$, the transformed score function $\nabla_{\mathbf{y}} \log q(\mathbf{y})$ can be expressed directly in terms of $\nabla_{\mathbf{x}} \log p(\mathbf{x})$. Using this result, we develop two applications: First, we establish a reverse-time It\^o lemma for score-based diffusion models, allowing the use of $\nabla_{\mathbf{x}} \log p_t(\mathbf{x})$ to reverse an SDE in the transformed space without directly learning $\nabla_{\mathbf{y}} \log q_t(\mathbf{y})$. This approach enables training diffusion models in one space but sampling in another, effectively decoupling the forward and reverse processes. Second, we introduce generalized sliced score matching, extending traditional sliced score matching from linear projections to arbitrary smooth transformations. This provides greater flexibility in high-dimensional density estimation. We demonstrate these theoretical advances through applications to diffusion on the probability simplex and empirically compare our generalized score matching approach against traditional sliced score matching methods.
• Abstract（参考訳）: スコア関数に対する変数公式の一般的な変化を導出し、滑らかで可逆な変換 $\mathbf{y} = \phi(\mathbf{x})$ に対して、変換されたスコア関数 $\nabla_{\mathbf{y}} \log q(\mathbf{y})$ は $\nabla_{\mathbf{x}} \log p(\mathbf{x})$ の項で直接表現できることを示す。 まず、スコアベース拡散モデルに対する逆時間 It\^o lemma を確立し、$\nabla_{\mathbf{x}} \log p_t(\mathbf{x})$ を用いることで変換空間における SDE を $\nabla_{\mathbf{y}} \log q_t(\mathbf{y})$ を直接学習することなく逆転することができる。 このアプローチは、ある空間における拡散モデルのトレーニングを可能にするが、別の空間でサンプリングし、フォワードとリバースプロセスを効果的に分離する。 第2に、線形射影から任意の滑らかな変換への従来のスライススコアマッチングを拡張した一般化スライススコアマッチングを導入する。 これにより、高次元密度推定の柔軟性が向上する。 確率単純度への拡散への応用によるこれらの理論的な進歩を実証し、従来のスライスされたスコアマッチング手法と比較して、我々の一般化されたスコアマッチング手法を実証的に比較する。

関連論文リスト

• Outsourced diffusion sampling: Efficient posterior inference in latent spaces of generative models [65.71506381302815]
  本稿では、$p(mathbfxmidmathbfy) propto p_theta(mathbfx)$ という形式の後続分布からサンプリングするコストを償却する。 多くのモデルと関心の制約に対して、ノイズ空間の後方はデータ空間の後方よりも滑らかであり、そのような償却推論に対してより快適である。
  論文  参考訳（メタデータ） (2025-02-10T19:49:54Z)
• Inverting the Leverage Score Gradient: An Efficient Approximate Newton Method [10.742859956268655]
  本稿では,レバレッジスコア勾配から固有モデルパラメータを復元することを目的とする。 具体的には、レバレッジスコア勾配の逆転を$g(x)$として精査する。
  論文  参考訳（メタデータ） (2024-08-21T01:39:42Z)
• Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
  本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。 我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。 我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2024-05-10T09:58:47Z)
• Near Optimal Heteroscedastic Regression with Symbiotic Learning [29.16456701187538]
  我々は不連続線形回帰の問題を考察する。 正則ノルムにおいて$mathbfw*$を$tildeOleft(|mathbff*|2cdot left(frac1n + left(dnright)2right)$の誤差まで推定し、一致する下界を証明できる。
  論文  参考訳（メタデータ） (2023-06-25T16:32:00Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Optimal Gradient Sliding and its Application to Distributed Optimization Under Similarity [121.83085611327654]
  積 $r:=p + q$, ここで$r$は$mu$-strong convex類似性である。 エージェントの通信やローカルコールにマスターされた問題を解決する方法を提案する。 提案手法は$mathcalO(sqrtL_q/mu)$法よりもはるかにシャープである。
  論文  参考訳（メタデータ） (2022-05-30T14:28:02Z)
• Generalization Bounds for Gradient Methods via Discrete and Continuous Prior [8.76346911214414]
  次数$O(frac1n + fracL2nsum_t=1T(gamma_t/varepsilon_t)2)$の新たな高確率一般化境界を示す。 また、あるSGDの変種に対する新しい境界を得ることもできる。
  論文  参考訳（メタデータ） (2022-05-27T07:23:01Z)
• Fast Margin Maximization via Dual Acceleration [52.62944011696364]
  指数関数的尾の損失を持つ線形分類器を訓練するための運動量に基づく手法を提案し,解析する。 この運動量に基づく法は、最大マルジン問題の凸双対、特にこの双対にネステロフ加速度を適用することによって導出される。
  論文  参考訳（メタデータ） (2021-07-01T16:36:39Z)
• Convergence of Sparse Variational Inference in Gaussian Processes Regression [29.636483122130027]
  計算コストが$mathcalO(log N)2D(log N)2)$の手法を推論に利用できることを示す。
  論文  参考訳（メタデータ） (2020-08-01T19:23:34Z)
• Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
  エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。 代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
  論文  参考訳（メタデータ） (2020-06-12T10:21:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。