論文の概要: Denoising Score Matching with Random Fourier Features

• arxiv url: http://arxiv.org/abs/2101.05239v1
• Date: Wed, 13 Jan 2021 18:02:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 11:03:59.050318
• Title: Denoising Score Matching with Random Fourier Features
• Title（参考訳）: ランダムフーリエ機能を用いたスコアマッチング
• Authors: Tsimboy Olga, Yermek Kapushev, Evgeny Burnaev, Ivan Oseledets
• Abstract要約: Kernel Exponential Family を用いたDenoising Score matching の解析式をモデル分布として導出する。 得られた式はノイズのばらつきに明示的に依存するため、バリデーション損失はノイズレベルを調整するために簡単に使用できる。
• 参考スコア（独自算出の注目度）: 11.60130641443281
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The density estimation is one of the core problems in statistics. Despite this, existing techniques like maximum likelihood estimation are computationally inefficient due to the intractability of the normalizing constant. For this reason an interest to score matching has increased being independent on the normalizing constant. However, such estimator is consistent only for distributions with the full space support. One of the approaches to make it consistent is to add noise to the input data which is called Denoising Score Matching. In this work we derive analytical expression for the Denoising Score matching using the Kernel Exponential Family as a model distribution. The usage of the kernel exponential family is motivated by the richness of this class of densities. To tackle the computational complexity we use Random Fourier Features based approximation of the kernel function. The analytical expression allows to drop additional regularization terms based on the higher-order derivatives as they are already implicitly included. Moreover, the obtained expression explicitly depends on the noise variance, so the validation loss can be straightforwardly used to tune the noise level. Along with benchmark experiments, the model was tested on various synthetic distributions to study the behaviour of the model in different cases. The empirical study shows comparable quality to the competing approaches, while the proposed method being computationally faster. The latter one enables scaling up to complex high-dimensional data.
• Abstract（参考訳）: 密度推定は統計学における主要な問題の一つである。 それにもかかわらず、最大確率推定のような既存の手法は正規化定数の難解性のために計算効率が良くない。 このため、スコアマッチングに対する関心は正規化定数上で独立性を高めている。 しかし、そのような推定器は完全な空間サポートを持つ分布に対してのみ一貫性がある。 一貫性を持たせるアプローチの1つは、Denoising Score Matchingと呼ばれる入力データにノイズを加えることである。 本研究は,カーネル指数関数群をモデル分布として用い,発声スコアマッチングの解析的表現を導出する。 核指数族の使用は、このクラスの密度の豊かさによって動機付けられる。 計算複雑性に取り組むために、カーネル関数の近似に基づくランダムフーリエ特徴を用いる。 解析式は、既に暗黙的に含まれているため、高階微分に基づくさらなる正規化項を下げることができる。 さらに、得られた式はノイズ分散に明示的に依存するため、ノイズレベルの調整にバリデーション損失を直接使用することができる。 ベンチマーク実験とともに、モデルが様々な場合におけるモデルの挙動を研究するために、様々な合成分布で試験された。 実験により,提案手法は計算処理が高速であるのに対し,競合手法に匹敵する品質を示した。 後者は複雑な高次元データへのスケールアップを可能にする。

関連論文リスト

• A quasi-Bayesian sequential approach to deconvolution density estimation [7.10052009802944]
  密度デコンボリューションは、データからランダム信号の未知の密度関数$f$を推定する。 我々は、ノイズの多いデータが徐々に到着するストリーミングやオンライン環境での密度デコンボリューションの問題を考察する。 準ベイズ的シーケンシャルアプローチを頼りにすると、容易に評価できる$f$の推定値が得られる。
  論文  参考訳（メタデータ） (2024-08-26T16:40:04Z)
• On diffusion-based generative models and their error bounds: The log-concave case with full convergence estimates [5.13323375365494]
  我々は,強い対数対数データの下での拡散に基づく生成モデルの収束挙動を理論的に保証する。 スコア推定に使用される関数のクラスは、スコア関数上のリプシッツネスの仮定を避けるために、リプシッツ連続関数からなる。 この手法はサンプリングアルゴリズムにおいて最もよく知られた収束率をもたらす。
  論文  参考訳（メタデータ） (2023-11-22T18:40:45Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Score-based Diffusion Models in Function Space [140.792362459734]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
  本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。 これらの結果はサンプル状態と有限状態の両方で定式化する。
  論文  参考訳（メタデータ） (2022-10-03T06:09:01Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。