論文の概要: Concrete Score Matching: Generalized Score Matching for Discrete Data

• arxiv url: http://arxiv.org/abs/2211.00802v1
• Date: Wed, 2 Nov 2022 00:41:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-03 12:26:04.417401
• Title: Concrete Score Matching: Generalized Score Matching for Discrete Data
• Title（参考訳）: コンクリートスコアマッチング:離散データのための一般化スコアマッチング
• Authors: Chenlin Meng, Kristy Choi, Jiaming Song, Stefano Ermon
• Abstract要約: コンクレトスコア(Concrete score)とは、個別の設定のためのスコア(ステイン)の一般化である。 コンクレトスコアマッチング(Concrete Score Matching)は、サンプルからこのようなスコアを学習するフレームワークである。
• 参考スコア（独自算出の注目度）: 109.12439278055213
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representing probability distributions by the gradient of their density functions has proven effective in modeling a wide range of continuous data modalities. However, this representation is not applicable in discrete domains where the gradient is undefined. To this end, we propose an analogous score function called the "Concrete score", a generalization of the (Stein) score for discrete settings. Given a predefined neighborhood structure, the Concrete score of any input is defined by the rate of change of the probabilities with respect to local directional changes of the input. This formulation allows us to recover the (Stein) score in continuous domains when measuring such changes by the Euclidean distance, while using the Manhattan distance leads to our novel score function in discrete domains. Finally, we introduce a new framework to learn such scores from samples called Concrete Score Matching (CSM), and propose an efficient training objective to scale our approach to high dimensions. Empirically, we demonstrate the efficacy of CSM on density estimation tasks on a mixture of synthetic, tabular, and high-dimensional image datasets, and demonstrate that it performs favorably relative to existing baselines for modeling discrete data.
• Abstract（参考訳）: 密度関数の勾配による確率分布の表現は、幅広い連続データモダリティのモデル化に有効であることが証明されている。 しかし、この表現は勾配が定義されていない離散領域では適用できない。 この目的のために,離散的設定のための(スタイン)スコアの一般化である「concrete score」という類似スコア関数を提案する。 予め定義された近傍構造が与えられると、任意の入力の具体的なスコアは、入力の局所方向の変化に対する確率の変化率によって定義される。 この定式化により、ユークリッド距離による変化を測定する際に連続領域における(スタイン)スコアを回復できるが、マンハッタン距離を用いると離散領域における新たなスコア関数が得られる。 最後に,コンクリートスコアマッチング (CSM) と呼ばれるサンプルからこのようなスコアを学習するための新しいフレームワークを提案し,高次元へのアプローチを効果的に訓練する手法を提案する。 実験により,合成,表,高次元画像データセットの混合による密度推定タスクに対するCSMの有効性を実証し,既存のベースラインと比較して離散データのモデル化に有効であることを示す。

関連論文リスト

• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Stochastic interpolants with data-dependent couplings [33.75376251800151]
  補間剤の枠組みを用いて、ベースとターゲット密度を補間する方法を定式化する。 これらのトランスポートマップは、標準的な独立な設定に類似した単純な2乗損失回帰問題を解くことで学習可能であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T17:46:31Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Nonparametric Probabilistic Regression with Coarse Learners [1.8275108630751844]
  我々は, 密度の形状や形状について最小限の仮定で, 正確な条件密度を計算することができることを示す。 このアプローチをさまざまなデータセットで実証し、特に大きなデータセットで競合性能を示す。
  論文  参考訳（メタデータ） (2022-10-28T16:25:26Z)
• FP-Diffusion: Improving Score-based Diffusion Models by Enforcing the Underlying Score Fokker-Planck Equation [72.19198763459448]
  雑音が増大する傾向にあるデータ密度に対応する雑音条件スコア関数の族を学習する。 これらの摂動データ密度は、密度の時空間進化を管理する偏微分方程式(PDE)であるフォッカー・プランク方程式(Fokker-Planck equation, FPE)によって結合される。 我々は、摂動データ密度の雑音条件スコアを特徴付けるスコアFPEと呼ばれる対応する方程式を導出する。
  論文  参考訳（メタデータ） (2022-10-09T16:27:25Z)
• Denoising Likelihood Score Matching for Conditional Score-based Data Generation [22.751924447125955]
  そこで本研究では,真の対数確率密度の勾配に合わせるために,DLSM(Denoising Likelihood Score Matching)損失という新たなトレーニング目標を提案する。 実験により,提案手法は,いくつかの重要な評価指標において,従来の手法よりも顕著に優れた性能を示した。
  論文  参考訳（メタデータ） (2022-03-27T04:37:54Z)
• Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
  そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。 モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。 提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-22T06:26:29Z)
• On Maximum Likelihood Training of Score-Based Generative Models [17.05208572228308]
  目的が混合重み付けの特定の選択の最大可能性と同値であることを示す。 スコア関数のみをパラメータ化することで,最大確率トレーニングとテスト時間ログ類似度評価の両方が達成できることを示す。
  論文  参考訳（メタデータ） (2021-01-22T18:22:29Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。