論文の概要: Gaussian Mixture Reduction with Composite Transportation Divergence

• arxiv url: http://arxiv.org/abs/2002.08410v5
• Date: Tue, 17 Oct 2023 01:47:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-19 01:01:39.966763
• Title: Gaussian Mixture Reduction with Composite Transportation Divergence
• Title（参考訳）: 複合輸送ダイバージェンスを用いたガウス混合低減
• Authors: Qiong Zhang, Archer Gong Zhang, Jiahua Chen
• Abstract要約: 複合輸送分散(CTD)に基づく新しい最適化型GMR法を提案する。 我々は,還元混合物を計算し,その理論的収束を確立するための最大化最小化アルゴリズムを開発した。 統合されたフレームワークにより、CTDの最も適切なコスト関数を選択して、優れたパフォーマンスを実現することができる。
• 参考スコア（独自算出の注目度）: 15.687740538194413
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian mixtures are widely used for approximating density functions in various applications such as density estimation, belief propagation, and Bayesian filtering. These applications often utilize Gaussian mixtures as initial approximations that are updated recursively. A key challenge in these recursive processes stems from the exponential increase in the mixture's order, resulting in intractable inference. To overcome the difficulty, the Gaussian mixture reduction (GMR), which approximates a high order Gaussian mixture by one with a lower order, can be used. Although existing clustering-based methods are known for their satisfactory performance and computational efficiency, their convergence properties and optimal targets remain unknown. In this paper, we propose a novel optimization-based GMR method based on composite transportation divergence (CTD). We develop a majorization-minimization algorithm for computing the reduced mixture and establish its theoretical convergence under general conditions. Furthermore, we demonstrate that many existing clustering-based methods are special cases of ours, effectively bridging the gap between optimization-based and clustering-based techniques. Our unified framework empowers users to select the most appropriate cost function in CTD to achieve superior performance in their specific applications. Through extensive empirical experiments, we demonstrate the efficiency and effectiveness of our proposed method, showcasing its potential in various domains.
• Abstract（参考訳）: ガウス混合は密度推定、信念伝播、ベイズフィルタリングなどの様々な応用において密度関数の近似に広く用いられている。 これらの応用はしばしば、再帰的に更新される初期近似としてガウス混合を用いる。 これらの再帰過程における重要な課題は、混合物の位数が指数関数的に増加することに起因する。 この難しさを克服するために、高次ガウス混合を低次で近似したガウス混合還元(GMR)を用いることができる。 クラスタリングに基づく手法は, 良好な性能と計算効率で知られているが, 収束特性と最適ターゲットはいまだ不明である。 本稿では,複合輸送分散(CTD)に基づく新しい最適化に基づくGMR法を提案する。 我々は,還元混合物を計算し,一般条件下での理論収束を確立するための一般化最小化アルゴリズムを開発した。 さらに,既存のクラスタリングベース手法の多くが,最適化ベース手法とクラスタリングベース手法のギャップを効果的に橋渡ししていることを示す。 当社のunified frameworkは,ctdの最も適切なコスト関数を選択して,特定のアプリケーションで優れたパフォーマンスを実現するためのものです。 実験により,提案手法の効率性と有効性を実証し,様々な領域においてその可能性を示す。

関連論文リスト

• Variance-Reducing Couplings for Random Features: Perspectives from Optimal Transport [57.73648780299374]
  ランダム機能(RF)は、機械学習におけるカーネルメソッドをスケールアップするための一般的なテクニックであり、正確なカーネル評価をモンテカルロ推定に置き換える。 我々は、理論的洞察と数値アルゴリズムを用いて最適な輸送の統一的な枠組みを用いて、ユークリッドおよび離散入力空間上で定義されたカーネルに対して、新しい高性能なRF結合を開発する。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Sparsity-Aware Distributed Learning for Gaussian Processes with Linear Multiple Kernel [22.23550794664218]
  本稿では,新しいGP線形多重カーネル(LMK)と汎用空間認識型分散学習フレームワークを提案する。 このフレームワークには、複数のエージェント間の協調学習のための乗算器の量子化交互方向法(ADMM)が組み込まれている。 多様なデータセットを用いた実験により,提案手法の予測性能と効率性が向上した。
  論文  参考訳（メタデータ） (2023-09-15T07:05:33Z)
• A New Probabilistic Distance Metric With Application In Gaussian Mixture Reduction [25.07521362926412]
  本稿では,2つの連続確率密度関数を比較するための新しい距離指標を提案する。 この計量の主な利点は、ガウス分布の混合に対して解析的で閉形式表現を提供できることである。
  論文  参考訳（メタデータ） (2023-06-12T17:50:09Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Plug-And-Play Learned Gaussian-mixture Approximate Message Passing [71.74028918819046]
  そこで本研究では,従来のi.i.d.ソースに適した圧縮圧縮センシング(CS)リカバリアルゴリズムを提案する。 我々のアルゴリズムは、Borgerdingの学習AMP(LAMP)に基づいて構築されるが、アルゴリズムに普遍的な復調関数を採用することにより、それを大幅に改善する。 数値評価により,L-GM-AMPアルゴリズムは事前の知識を必要とせず,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-18T16:40:45Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• A fast and efficient Modal EM algorithm for Gaussian mixtures [0.0]
  クラスタリングへのモーダルアプローチでは、クラスタは基礎となる確率密度関数の局所的な最大値として定義される。 モーダルEMアルゴリズムは、任意の密度関数の局所的な最大値を特定するイテレーティブな手順である。
  論文  参考訳（メタデータ） (2020-02-10T08:34:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。