論文の概要: E$^2$M: Double Bounded $α$-Divergence Optimization for Tensor-based Discrete Density Estimation

• arxiv url: http://arxiv.org/abs/2405.18220v3
• Date: Fri, 23 May 2025 13:52:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 15:51:02.591977
• Title: E$^2$M: Double Bounded $α$-Divergence Optimization for Tensor-based Discrete Density Estimation
• Title（参考訳）: E$^2$M:Double Bunded $α$-Divergence Optimization for Tensor-based Discrete Density Estimation
• Authors: Kazu Ghalamkari, Jesper Løve Hinrich, Morten Mørup,
• Abstract要約: 本稿では、E$2Mアルゴリズムと呼ばれる予測最大化(EM)アルゴリズムの一般化を提案する。 Kullback-Leibler (KL) の発散に基づく代理対象の最小化に最適化を緩和することでこの問題を回避する。 このアプローチは、CP、Tucker、Trainフォーマットなど、さまざまな低ランク構造に対してフレキシブルなモデリングを提供します。
• 参考スコア（独自算出の注目度）: 3.9633191508712398
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tensor-based discrete density estimation requires flexible modeling and proper divergence criteria to enable effective learning; however, traditional approaches using $\alpha$-divergence face analytical challenges due to the $\alpha$-power terms in the objective function, which hinder the derivation of closed-form update rules. We present a generalization of the expectation-maximization (EM) algorithm, called E$^2$M algorithm. It circumvents this issue by first relaxing the optimization into minimization of a surrogate objective based on the Kullback-Leibler (KL) divergence, which is tractable via the standard EM algorithm, and subsequently applying a tensor many-body approximation in the M-step to enable simultaneous closed-form updates of all parameters. Our approach offers flexible modeling for not only a variety of low-rank structures, including the CP, Tucker, and Tensor Train formats, but also their mixtures, thus allowing us to leverage the strengths of different low-rank structures. We demonstrate the effectiveness of our approach in classification and density estimation tasks.
• Abstract（参考訳）: テンソルベース離散密度推定は、効果的な学習を可能にするために柔軟なモデリングと適切な分岐基準を必要とするが、従来のアプローチでは、$\alpha$-divergence は目的関数の $\alpha$-power 項による解析的課題に直面しており、クローズドフォーム更新規則の導出を妨げる。 本稿では、E$^2$Mアルゴリズムと呼ばれる予測最大化(EM)アルゴリズムの一般化を提案する。 この問題は、まず標準EMアルゴリズムで抽出可能なKullback-Leibler(KL)発散に基づく代理対象の最小化に最適化を緩和し、次にMステップにテンソル多体近似を適用して全パラメータのクローズドフォーム更新を可能にすることで回避される。 提案手法は,CP,Tucker,Tensor Trainなどの各種低ランク構造だけでなく,それらの混合もフレキシブルにモデル化することで,異なる低ランク構造の強度を活用できる。 分類と密度推定における手法の有効性を実証する。

関連論文リスト

• A Unified MDL-based Binning and Tensor Factorization Framework for PDF Estimation [16.147973439788856]
  多変量確率密度関数推定のための新しい非パラメトリックアプローチを提案する(PDF)。 提案手法は, 共役確率テンソルの正準多進分解(CPD)を利用するテンソル分解法に基づく。 我々は,本手法が合成データおよび実生豆分類データセットに与える影響を実証した。
  論文  参考訳（メタデータ） (2025-04-25T20:27:04Z)
• Scalable Min-Max Optimization via Primal-Dual Exact Pareto Optimization [66.51747366239299]
  拡張ラグランジアンに基づくmin-max問題のスムーズな変種を提案する。 提案アルゴリズムは, 段階的戦略よりも目的数で拡張性が高い。
  論文  参考訳（メタデータ） (2025-03-16T11:05:51Z)
• Preconditioned Inexact Stochastic ADMM for Deep Model [35.37705488695026]
  本稿では,拡張性のある並列コンピューティングを実現するアルゴリズムであるPISAを開発し,様々な前提条件をサポートする。 これは、有界領域上の勾配のリプシッツ連続性の唯一の仮定の下で収束し、メソッドによって一般的に課される他の条件の必要性を取り除く。 様々な最先端の繰り返しに比べて優れた数値性能を示す。
  論文  参考訳（メタデータ） (2025-02-15T12:28:51Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Double Duality: Variational Primal-Dual Policy Optimization for Constrained Reinforcement Learning [132.7040981721302]
  本研究では,訪問尺度の凸関数を最小化することを目的として,制約付き凸決定プロセス(MDP)について検討する。 制約付き凸MDPの設計アルゴリズムは、大きな状態空間を扱うなど、いくつかの課題に直面している。
  論文  参考訳（メタデータ） (2024-02-16T16:35:18Z)
• A deep implicit-explicit minimizing movement method for option pricing in jump-diffusion models [0.0]
  我々は、ジャンプ拡散力学に従う資産に書かれた欧州のバスケットオプションの価格設定のための新しいディープラーニングアプローチを開発する。 オプション価格問題は部分積分微分方程式として定式化され、これは新しい暗黙的な最小化運動タイムステッピング手法によって近似される。
  論文  参考訳（メタデータ） (2024-01-12T18:21:01Z)
• Robust scalable initialization for Bayesian variational inference with multi-modal Laplace approximations [0.0]
  フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。 本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T19:30:04Z)
• Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence [65.63201894457404]
  非線形微分方程式のドリフトと拡散係数の同定のための新しい非パラメトリック学習パラダイムを提案する。 鍵となる考え方は、基本的には、対応するフォッカー・プランク方程式のRKHSに基づく近似をそのような観測に適合させることである。
  論文  参考訳（メタデータ） (2023-05-24T20:43:47Z)
• Moment Estimation for Nonparametric Mixture Models Through Implicit Tensor Decomposition [7.139680863764187]
  条件に依存しない混合モデルを$mathbbRn$で推定するために,最小二乗法を交互に最適化する手法を提案する。 線形解を用いて、累積分布関数、高次モーメント、その他の成分分布の統計値を計算する。 数値実験は、アルゴリズムの競合性能と、多くのモデルや応用への適用性を実証する。
  論文  参考訳（メタデータ） (2022-10-25T23:31:33Z)
• Many-body Approximation for Non-negative Tensors [17.336552862741133]
  我々は、多体近似と呼ばれる非負のテンソルを分解する別の方法を提案する。 従来の分解法では、表現において低ランクを前提としており、大域的な最適化と目標ランクの選択が困難である。
  論文  参考訳（メタデータ） (2022-09-30T09:45:43Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Information Theoretic Structured Generative Modeling [13.117829542251188]
  構造生成モデル (Structured Generative Model, SGM) と呼ばれる新しい生成モデルフレームワークが提案され, 簡単な最適化が可能となった。 この実装では、無限のガウス混合モデルを学習するために適合した単一白色ノイズ源への正則入力によって駆動される1つのニューラルネットワークを採用している。 予備的な結果は、SGMがデータ効率と分散、従来のガウス混合モデルと変分混合モデル、および敵ネットワークのトレーニングにおいてMINE推定を著しく改善することを示している。
  論文  参考訳（メタデータ） (2021-10-12T07:44:18Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Optimal Sampling Density for Nonparametric Regression [5.3219212985943924]
  本稿では,モデルに依存しない,モデルミスマッチに対する頑健な回帰学習戦略を提案する。 我々は、平均積分誤差(MISE)を一般化基準として採用し、MISEの挙動と局所的に最適な帯域幅を用いる。 提案手法のほとんどモデルフリーな性質は、対象問題の生特性を符号化し、堅牢でモデルに依存しない能動的学習戦略を提供する。
  論文  参考訳（メタデータ） (2021-05-25T14:52:17Z)
• Jointly Modeling and Clustering Tensors in High Dimensions [6.072664839782975]
  テンソルの合同ベンチマークとクラスタリングの問題を考察する。 本稿では,統計的精度の高い近傍に幾何的に収束する効率的な高速最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-15T21:06:16Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation [105.33409035876691]
  本稿では,テンソル低ランクモデルに基づくマルチビュースペクトルクラスタリング(MVSC)の問題について検討する。 MVSCに適合する新しい構造テンソル低ランクノルムを設計する。 提案手法は最先端の手法よりもかなり優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-30T11:52:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。