論文の概要: Weighted quantization using MMD: From mean field to mean shift via gradient flows

• arxiv url: http://arxiv.org/abs/2502.10600v2
• Date: Mon, 26 May 2025 03:54:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 14:32:53.341181
• Title: Weighted quantization using MMD: From mean field to mean shift via gradient flows
• Title（参考訳）: MMDを用いた重み付き量子化:勾配流による平均場から平均シフトへ
• Authors: Ayoub Belhadji, Daniel Sharp, Youssef Marzouk,
• Abstract要約: We show that a Wasserstein-Fisher-Rao gradient flow is well suit for design Quantizations optimal under MMD。 我々は平均シフト相互作用粒子(MSIP)と呼ばれる新しい固定点アルゴリズムを導出する。 我々の勾配流、平均シフト、MDD最適量子化の統合は、最先端の手法よりもアルゴリズムをより堅牢にします。
• 参考スコア（独自算出の注目度）: 5.216151302783165
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Approximating a probability distribution using a set of particles is a fundamental problem in machine learning and statistics, with applications including clustering and quantization. Formally, we seek a weighted mixture of Dirac measures that best approximates the target distribution. While much existing work relies on the Wasserstein distance to quantify approximation errors, maximum mean discrepancy (MMD) has received comparatively less attention, especially when allowing for variable particle weights. We argue that a Wasserstein-Fisher-Rao gradient flow is well-suited for designing quantizations optimal under MMD. We show that a system of interacting particles satisfying a set of ODEs discretizes this flow. We further derive a new fixed-point algorithm called mean shift interacting particles (MSIP). We show that MSIP extends the classical mean shift algorithm, widely used for identifying modes in kernel density estimators. Moreover, we show that MSIP can be interpreted as preconditioned gradient descent and that it acts as a relaxation of Lloyd's algorithm for clustering. Our unification of gradient flows, mean shift, and MMD-optimal quantization yields algorithms that are more robust than state-of-the-art methods, as demonstrated via high-dimensional and multi-modal numerical experiments.
• Abstract（参考訳）: 粒子の集合を用いて確率分布を近似することは、クラスタリングや量子化などを含む機械学習と統計学の基本的な問題である。 形式的には、ターゲット分布を最もよく近似するディラック測度の重み付き混合を求める。 多くの既存の研究は近似誤差を定量化するためにワッサーシュタイン距離に依存しているが、最大平均誤差(MMD)は、特に変動粒子重みを許容する場合に、比較的少ない注意を払っている。 我々は、Wasserstein-Fisher-Rao勾配流はMDDの下で最適な量子化を設計するのに適していると主張する。 本研究では,一組のODEを満たす相互作用粒子系が,この流れを識別することを示す。 さらに、平均シフト相互作用粒子(MSIP)と呼ばれる新しい固定点アルゴリズムを導出する。 我々はMSIPがカーネル密度推定器のモード同定に広く用いられている古典平均シフトアルゴリズムを拡張していることを示す。 さらに,MSIPは事前条件付き勾配降下と解釈でき,ロイドのクラスタリングアルゴリズムの緩和として機能することを示す。 我々の勾配流、平均シフト、MDD-最適量子化の統一は、高次元および多モード数値実験で示されるように、最先端の手法よりも堅牢なアルゴリズムをもたらす。

関連論文リスト

• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Posterior Sampling Based on Gradient Flows of the MMD with Negative Distance Kernel [2.199065293049186]
  後方サンプリングと条件生成モデリングのための負距離カーネルによる最大平均誤差(MMD)の条件フロー。 我々は、基底真実と離散的なワッサーシュタイン勾配流を用いた観測の連成分布を近似した。
  論文  参考訳（メタデータ） (2023-10-04T11:40:02Z)
• Multi-kernel Correntropy-based Orientation Estimation of IMUs: Gradient Descent Methods [3.8286082196845466]
  コレントロピーに基づく降下勾配(CGD)とコレントロピーに基づく非結合配向推定(CDOE) 従来の方法は平均二乗誤差(MSE)基準に依存しており、外部加速度や磁気干渉に弱い。 新しいアルゴリズムは、カルマンフィルタベースのアプローチよりも計算の複雑さが著しく低いことを示している。
  論文  参考訳（メタデータ） (2023-04-13T13:57:33Z)
• Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
  教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。 我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。 対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
  論文  参考訳（メタデータ） (2023-02-10T08:05:19Z)
• Learning Gaussian Mixtures Using the Wasserstein-Fisher-Rao Gradient Flow [12.455057637445174]
  ガウス混合モデルを用いて非パラメトリック最大推定器(NPMLE)を計算するための新しいアルゴリズムを提案する。 この手法は、ワッサーシュタイン-フィッシャー-ラオ幾何学を備えた確率測度空間上の勾配降下に基づく。 提案アルゴリズムの有効性を確認するため,広範囲な数値実験を行った。
  論文  参考訳（メタデータ） (2023-01-04T18:59:35Z)
• A DeepParticle method for learning and generating aggregation patterns in multi-dimensional Keller-Segel chemotaxis systems [3.6184545598911724]
  ケラー・セガル (KS) ケモタキシー系の2次元および3次元における凝集パターンと近傍特異解の正則化相互作用粒子法について検討した。 さらに,物理パラメータの異なる解を学習し,生成するためのDeepParticle (DP) 法を開発した。
  論文  参考訳（メタデータ） (2022-08-31T20:52:01Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Large-Scale Wasserstein Gradient Flows [84.73670288608025]
  ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。 我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。 その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
  論文  参考訳（メタデータ） (2021-06-01T19:21:48Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。