論文の概要: Weighted quantization using MMD: From mean field to mean shift via gradient flows

• arxiv url: http://arxiv.org/abs/2502.10600v1
• Date: Fri, 14 Feb 2025 23:13:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:14:15.462535
• Title: Weighted quantization using MMD: From mean field to mean shift via gradient flows
• Title（参考訳）: MMDを用いた重み付き量子化:勾配流による平均場から平均シフトへ
• Authors: Ayoub Belhadji, Daniel Sharp, Youssef Marzouk,
• Abstract要約: 粒子の集合を用いて確率分布を近似することは、機械学習と統計学の基本的な問題である。 我々は,MSIPがカーネル密度推定におけるモードの同定に広く用いられている平均シフトアルゴリズムを拡張していることを示す。 また、MSIPは事前条件付き勾配降下と解釈でき、ロイドのクラスタリングアルゴリズムの緩和として機能することを示す。
• 参考スコア（独自算出の注目度）: 5.216151302783165
• License:
• Abstract: Approximating a probability distribution using a set of particles is a fundamental problem in machine learning and statistics, with applications including clustering and quantization. Formally, we seek a finite weighted mixture of Dirac measures that best approximates the target distribution. While much existing work relies on the Wasserstein distance to quantify approximation errors, maximum mean discrepancy (MMD) has received comparatively less attention, especially when allowing for variable particle weights. We study the quantization problem from the perspective of minimizing MMD via gradient flow in the Wasserstein-Fisher-Rao (WFR) geometry. This gradient flow yields an ODE system from which we further derive a fixed-point algorithm called mean shift interacting particles (MSIP). We show that MSIP extends the (non-interacting) mean shift algorithm, widely used for identifying modes in kernel density estimates. Moreover, we show that MSIP can be interpreted as preconditioned gradient descent, and that it acts as a relaxation of Lloyd's algorithm for clustering. Our numerical experiments demonstrate that MSIP and the WFR ODEs outperform other algorithms for quantization of multi-modal and high-dimensional targets.
• Abstract（参考訳）: 粒子の集合を用いた確率分布の近似は、クラスタリングや量子化などを含む機械学習と統計学の基本的な問題である。 形式的には、ターゲット分布を最もよく近似するディラック測度の有限重み付き混合を求める。 多くの既存の研究は近似誤差を定量化するためにワッサーシュタイン距離に依存しているが、最大平均誤差(MMD)は、特に変動粒子重みを許容する場合に、比較的少ない注意を払っている。 We study the Quantization problem from the perspective of minimize MMD through gradient flow in the Wasserstein-Fisher-Rao (WFR) geometry。 この勾配流は、平均シフト相互作用粒子(MSIP)と呼ばれる固定点アルゴリズムを導出するODE系を生成する。 我々は,MSIPがカーネル密度推定におけるモードの同定に広く用いられている平均シフトアルゴリズムを拡張していることを示す。 さらに,MSIPは事前条件付き勾配降下と解釈でき,ロイドのクラスタリングアルゴリズムの緩和として機能することを示す。 数値実験により,MSIP と WFR ODE は,マルチモーダルおよび高次元ターゲットの量子化において,他のアルゴリズムよりも優れていることが示された。

関連論文リスト

• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Posterior Sampling Based on Gradient Flows of the MMD with Negative Distance Kernel [2.199065293049186]
  後方サンプリングと条件生成モデリングのための負距離カーネルによる最大平均誤差(MMD)の条件フロー。 我々は、基底真実と離散的なワッサーシュタイン勾配流を用いた観測の連成分布を近似した。
  論文  参考訳（メタデータ） (2023-10-04T11:40:02Z)
• Multi-kernel Correntropy-based Orientation Estimation of IMUs: Gradient Descent Methods [3.8286082196845466]
  コレントロピーに基づく降下勾配(CGD)とコレントロピーに基づく非結合配向推定(CDOE) 従来の方法は平均二乗誤差(MSE)基準に依存しており、外部加速度や磁気干渉に弱い。 新しいアルゴリズムは、カルマンフィルタベースのアプローチよりも計算の複雑さが著しく低いことを示している。
  論文  参考訳（メタデータ） (2023-04-13T13:57:33Z)
• Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
  教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。 我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。 対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
  論文  参考訳（メタデータ） (2023-02-10T08:05:19Z)
• Learning Gaussian Mixtures Using the Wasserstein-Fisher-Rao Gradient Flow [12.455057637445174]
  ガウス混合モデルを用いて非パラメトリック最大推定器(NPMLE)を計算するための新しいアルゴリズムを提案する。 この手法は、ワッサーシュタイン-フィッシャー-ラオ幾何学を備えた確率測度空間上の勾配降下に基づく。 提案アルゴリズムの有効性を確認するため,広範囲な数値実験を行った。
  論文  参考訳（メタデータ） (2023-01-04T18:59:35Z)
• A DeepParticle method for learning and generating aggregation patterns in multi-dimensional Keller-Segel chemotaxis systems [3.6184545598911724]
  ケラー・セガル (KS) ケモタキシー系の2次元および3次元における凝集パターンと近傍特異解の正則化相互作用粒子法について検討した。 さらに,物理パラメータの異なる解を学習し,生成するためのDeepParticle (DP) 法を開発した。
  論文  参考訳（メタデータ） (2022-08-31T20:52:01Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Large-Scale Wasserstein Gradient Flows [84.73670288608025]
  ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。 我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。 その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
  論文  参考訳（メタデータ） (2021-06-01T19:21:48Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。