論文の概要: E$^2$M: Double Bounded $α$-Divergence Optimization for Tensor-based Discrete Density Estimation

• arxiv url: http://arxiv.org/abs/2405.18220v3
• Date: Fri, 23 May 2025 13:52:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 15:51:02.591977
• Title: E$^2$M: Double Bounded $α$-Divergence Optimization for Tensor-based Discrete Density Estimation
• Title（参考訳）: E$^2$M:Double Bunded $α$-Divergence Optimization for Tensor-based Discrete Density Estimation
• Authors: Kazu Ghalamkari, Jesper Løve Hinrich, Morten Mørup,
• Abstract要約: 本稿では、E$2Mアルゴリズムと呼ばれる予測最大化(EM)アルゴリズムの一般化を提案する。 Kullback-Leibler (KL) の発散に基づく代理対象の最小化に最適化を緩和することでこの問題を回避する。 このアプローチは、CP、Tucker、Trainフォーマットなど、さまざまな低ランク構造に対してフレキシブルなモデリングを提供します。
• 参考スコア（独自算出の注目度）: 3.9633191508712398
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tensor-based discrete density estimation requires flexible modeling and proper divergence criteria to enable effective learning; however, traditional approaches using $\alpha$-divergence face analytical challenges due to the $\alpha$-power terms in the objective function, which hinder the derivation of closed-form update rules. We present a generalization of the expectation-maximization (EM) algorithm, called E$^2$M algorithm. It circumvents this issue by first relaxing the optimization into minimization of a surrogate objective based on the Kullback-Leibler (KL) divergence, which is tractable via the standard EM algorithm, and subsequently applying a tensor many-body approximation in the M-step to enable simultaneous closed-form updates of all parameters. Our approach offers flexible modeling for not only a variety of low-rank structures, including the CP, Tucker, and Tensor Train formats, but also their mixtures, thus allowing us to leverage the strengths of different low-rank structures. We demonstrate the effectiveness of our approach in classification and density estimation tasks.
• Abstract（参考訳）: テンソルベース離散密度推定は、効果的な学習を可能にするために柔軟なモデリングと適切な分岐基準を必要とするが、従来のアプローチでは、$\alpha$-divergence は目的関数の $\alpha$-power 項による解析的課題に直面しており、クローズドフォーム更新規則の導出を妨げる。 本稿では、E$^2$Mアルゴリズムと呼ばれる予測最大化(EM)アルゴリズムの一般化を提案する。 この問題は、まず標準EMアルゴリズムで抽出可能なKullback-Leibler(KL)発散に基づく代理対象の最小化に最適化を緩和し、次にMステップにテンソル多体近似を適用して全パラメータのクローズドフォーム更新を可能にすることで回避される。 提案手法は,CP,Tucker,Tensor Trainなどの各種低ランク構造だけでなく,それらの混合もフレキシブルにモデル化することで,異なる低ランク構造の強度を活用できる。 分類と密度推定における手法の有効性を実証する。

関連論文リスト

• A Unified MDL-based Binning and Tensor Factorization Framework for PDF Estimation [16.147973439788856]
  多変量確率密度関数推定のための新しい非パラメトリックアプローチを提案する(PDF)。 提案手法は, 共役確率テンソルの正準多進分解(CPD)を利用するテンソル分解法に基づく。 我々は,本手法が合成データおよび実生豆分類データセットに与える影響を実証した。
  論文  参考訳（メタデータ） (2025-04-25T20:27:04Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Robust scalable initialization for Bayesian variational inference with multi-modal Laplace approximations [0.0]
  フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。 本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T19:30:04Z)
• Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence [65.63201894457404]
  非線形微分方程式のドリフトと拡散係数の同定のための新しい非パラメトリック学習パラダイムを提案する。 鍵となる考え方は、基本的には、対応するフォッカー・プランク方程式のRKHSに基づく近似をそのような観測に適合させることである。
  論文  参考訳（メタデータ） (2023-05-24T20:43:47Z)
• Moment Estimation for Nonparametric Mixture Models Through Implicit Tensor Decomposition [7.139680863764187]
  条件に依存しない混合モデルを$mathbbRn$で推定するために,最小二乗法を交互に最適化する手法を提案する。 線形解を用いて、累積分布関数、高次モーメント、その他の成分分布の統計値を計算する。 数値実験は、アルゴリズムの競合性能と、多くのモデルや応用への適用性を実証する。
  論文  参考訳（メタデータ） (2022-10-25T23:31:33Z)
• Many-body Approximation for Non-negative Tensors [17.336552862741133]
  我々は、多体近似と呼ばれる非負のテンソルを分解する別の方法を提案する。 従来の分解法では、表現において低ランクを前提としており、大域的な最適化と目標ランクの選択が困難である。
  論文  参考訳（メタデータ） (2022-09-30T09:45:43Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Information Theoretic Structured Generative Modeling [13.117829542251188]
  構造生成モデル (Structured Generative Model, SGM) と呼ばれる新しい生成モデルフレームワークが提案され, 簡単な最適化が可能となった。 この実装では、無限のガウス混合モデルを学習するために適合した単一白色ノイズ源への正則入力によって駆動される1つのニューラルネットワークを採用している。 予備的な結果は、SGMがデータ効率と分散、従来のガウス混合モデルと変分混合モデル、および敵ネットワークのトレーニングにおいてMINE推定を著しく改善することを示している。
  論文  参考訳（メタデータ） (2021-10-12T07:44:18Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Jointly Modeling and Clustering Tensors in High Dimensions [6.072664839782975]
  テンソルの合同ベンチマークとクラスタリングの問題を考察する。 本稿では,統計的精度の高い近傍に幾何的に収束する効率的な高速最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-15T21:06:16Z)
• Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation [105.33409035876691]
  本稿では,テンソル低ランクモデルに基づくマルチビュースペクトルクラスタリング(MVSC)の問題について検討する。 MVSCに適合する新しい構造テンソル低ランクノルムを設計する。 提案手法は最先端の手法よりもかなり優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-30T11:52:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。