論文の概要: Differentiable Expectation-Maximisation and Applications to Gaussian Mixture Model Optimal Transport

• arxiv url: http://arxiv.org/abs/2509.02109v1
• Date: Tue, 02 Sep 2025 09:06:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.973871
• Title: Differentiable Expectation-Maximisation and Applications to Gaussian Mixture Model Optimal Transport
• Title（参考訳）: 微分期待-最大化とガウス混合モデル最適輸送への応用
• Authors: Samuel Boïté, Eloi Tanguy, Julie Delon, Agnès Desolneux, Rémi Flamary,
• Abstract要約: expectation-Maximisation (EM)アルゴリズムは計算と機械学習の中心的なツールである。 EMは通常、差別化不可能なブラックボックスとして扱われ、現代の学習パイプラインへの統合を妨げている。 本稿では,EMの完全自動微分から近似手法まで,その精度と計算効率を評価・比較する。
• 参考スコア（独自算出の注目度）: 7.653378291757108
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Expectation-Maximisation (EM) algorithm is a central tool in statistics and machine learning, widely used for latent-variable models such as Gaussian Mixture Models (GMMs). Despite its ubiquity, EM is typically treated as a non-differentiable black box, preventing its integration into modern learning pipelines where end-to-end gradient propagation is essential. In this work, we present and compare several differentiation strategies for EM, from full automatic differentiation to approximate methods, assessing their accuracy and computational efficiency. As a key application, we leverage this differentiable EM in the computation of the Mixture Wasserstein distance $\mathrm{MW}_2$ between GMMs, allowing $\mathrm{MW}_2$ to be used as a differentiable loss in imaging and machine learning tasks. To complement our practical use of $\mathrm{MW}_2$, we contribute a novel stability result which provides theoretical justification for the use of $\mathrm{MW}_2$ with EM, and also introduce a novel unbalanced variant of $\mathrm{MW}_2$. Numerical experiments on barycentre computation, colour and style transfer, image generation, and texture synthesis illustrate the versatility and effectiveness of the proposed approach in different settings.
• Abstract（参考訳）: expectation-Maximisation (EM)アルゴリズムは統計学と機械学習の中心的なツールであり、ガウス混合モデル(GMM)のような潜在変数モデルに広く利用されている。 その汎用性にもかかわらず、EMは通常、区別不可能なブラックボックスとして扱われ、エンドツーエンドの勾配伝播が不可欠である現代の学習パイプラインへの統合を妨げている。 本研究では,EMの完全自動微分から近似手法まで,その精度と計算効率を評価・比較する。 重要な応用として、Mixture Wasserstein 距離 $\mathrm{MW}_2$ の GMM 間の計算にこの微分可能なEMを活用し、画像や機械学習タスクにおける微分可能な損失として$\mathrm{MW}_2$ を使用できる。 実用的な $\mathrm{MW}_2$ を補完するために、新しい安定性結果を提供し、これは、$\mathrm{MW}_2$ と EM を併用するための理論的正当性を提供するとともに、$\mathrm{MW}_2$ の非平衡変種も導入する。 バリセントの計算,色とスタイルの伝達,画像生成,テクスチャ合成に関する数値実験は,提案手法の汎用性と有効性について異なる設定で示している。

関連論文リスト

• Self-Supervised Coarsening of Unstructured Grid with Automatic Differentiation [55.88862563823878]
  本研究では,微分可能物理の概念に基づいて,非構造格子を階層化するアルゴリズムを提案する。 多孔質媒質中のわずかに圧縮可能な流体流を制御した線形方程式と波動方程式の2つのPDE上でのアルゴリズムの性能を示す。 その結果,検討したシナリオでは,関心点におけるモデル変数のダイナミクスを保ちながら,格子点数を最大10倍に削減した。
  論文  参考訳（メタデータ） (2025-07-24T11:02:13Z)
• Global Convergence of Gradient EM for Over-Parameterized Gaussian Mixtures [53.51230405648361]
  勾配EMの力学を考察し, テンソル分解を用いて幾何的景観を特徴付ける。 これは、m=2$という特別な場合を超えるEMや勾配EMに対する最初の大域収束と回復の結果である。
  論文  参考訳（メタデータ） (2025-06-06T23:32:38Z)
• Slicing the Gaussian Mixture Wasserstein Distance [1.534667887016089]
  GMMを扱う上で重要な課題は、計算的に効率的で幾何学的に意味のある計量を定義することである。 計算複雑性を著しく低減するワッサーシュタイン距離に対するスライシングに基づく新しい近似を提案する。
  論文  参考訳（メタデータ） (2025-04-11T13:57:09Z)
• Learning Mixtures of Experts with EM: A Mirror Descent Perspective [28.48469221248906]
  古典的なMixtures of Experts(MoE)は、入力空間を含む機械学習モデルであり、各パーティションでトレーニングされた個別の"エキスパート"モデルである。 我々は,MoEモデルのトレーニングにおける期待最大化(EM)アルゴリズムの理論的保証について検討する。
  論文  参考訳（メタデータ） (2024-11-09T03:44:09Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Cramer Type Distances for Learning Gaussian Mixture Models by Gradient Descent [0.0]
  今日まで、ガウス混合モデルに適合または学習できる既知のアルゴリズムはほとんどない。 一般多変量GMM学習のためのスライスクラマー2距離関数を提案する。 これらの機能は、分散強化学習とディープQネットワークに特に有用である。
  論文  参考訳（メタデータ） (2023-07-13T13:43:02Z)
• Learning Gaussian Mixtures with Generalised Linear Models: Precise Asymptotics in High-dimensions [79.35722941720734]
  多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。 実験的リスク最小化による高次元推定器の精度を実証する。 合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
  論文  参考訳（メタデータ） (2021-06-07T16:53:56Z)
• Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via Non-uniform Subsampling of Gradients [54.90670513852325]
  サンプリング精度を向上させるための一様でないサブサンプリング手法を提案する。 EWSGは、一様勾配MCMC法がバッチ勾配MCMC法の統計的挙動を模倣するように設計されている。 EWSGの実践的な実装では、データインデックス上のMetropolis-Hastingsチェーンを介して、一様でないサブサンプリングを効率的に行う。
  論文  参考訳（メタデータ） (2020-02-20T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。