論文の概要: Learning Distributions via Monte-Carlo Marginalization

• arxiv url: http://arxiv.org/abs/2308.06352v1
• Date: Fri, 11 Aug 2023 19:08:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 17:53:18.010224
• Title: Learning Distributions via Monte-Carlo Marginalization
• Title（参考訳）: モンテカルロ辺縁化による学習分布
• Authors: Chenqiu Zhao, Guanfang Dong, Anup Basu
• Abstract要約: サンプルから抽出可能な分布を学習する新しい手法を提案する。 モンテカルロ・マルギナライゼーション(MCMarg)はこの問題に対処するために提案されている。 提案手法は複雑な分布を学習するための強力なツールであり、プロセス全体が微分可能である。
• 参考スコア（独自算出の注目度）: 9.131712404284876
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We propose a novel method to learn intractable distributions from their samples. The main idea is to use a parametric distribution model, such as a Gaussian Mixture Model (GMM), to approximate intractable distributions by minimizing the KL-divergence. Based on this idea, there are two challenges that need to be addressed. First, the computational complexity of KL-divergence is unacceptable when the dimensions of distributions increases. The Monte-Carlo Marginalization (MCMarg) is proposed to address this issue. The second challenge is the differentiability of the optimization process, since the target distribution is intractable. We handle this problem by using Kernel Density Estimation (KDE). The proposed approach is a powerful tool to learn complex distributions and the entire process is differentiable. Thus, it can be a better substitute of the variational inference in variational auto-encoders (VAE). One strong evidence of the benefit of our method is that the distributions learned by the proposed approach can generate better images even based on a pre-trained VAE's decoder. Based on this point, we devise a distribution learning auto-encoder which is better than VAE under the same network architecture. Experiments on standard dataset and synthetic data demonstrate the efficiency of the proposed approach.
• Abstract（参考訳）: サンプルから抽出可能な分布を学習する新しい手法を提案する。 主な考え方は、ガウス混合モデル(GMM)のようなパラメトリック分布モデルを用いて、KL分散を最小化することで、難解分布を近似することである。 この考えに基づいて、対処すべき課題が2つあります。 まず、分布の次元が大きくなると、KL分割の計算複雑性は受け入れられない。 モンテカルロ・マルギナライゼーション(MCMarg)はこの問題に対処するために提案されている。 第2の課題は、ターゲット分布が難解であるため、最適化プロセスの微分可能性である。 我々はカーネル密度推定(KDE)を用いてこの問題に対処する。 提案手法は複雑な分布を学習するための強力なツールであり、プロセス全体が微分可能である。 したがって、変分オートエンコーダ(VAE)における変分推論のより良い代用となる。 提案手法の利点の1つは,提案手法によって得られた分布が,事前学習されたVAEデコーダを用いても,より良い画像を生成することができることである。 この点に基づいて、同じネットワークアーキテクチャの下で、VAEよりも優れた分散学習オートエンコーダを考案する。 標準データセットと合成データに関する実験は、提案手法の有効性を示している。

関連論文リスト

• A Stein Gradient Descent Approach for Doubly Intractable Distributions [5.63014864822787]
  そこで本研究では,2重に抽出可能な分布を推定するために,モンテカルロ・スタイン変分勾配勾配(MC-SVGD)法を提案する。 提案手法は,後続分布に匹敵する推論性能を提供しながら,既存のアルゴリズムよりもかなりの計算ゲインを達成する。
  論文  参考訳（メタデータ） (2024-10-28T13:42:27Z)
• A Complete Decomposition of KL Error using Refined Information and Mode Interaction Selection [11.994525728378603]
  我々は高次モード相互作用に着目したログ線形モデルの古典的定式化を再考する。 学習した分布は、実際に利用可能な有限量のデータをより効率的に利用することができる。
  論文  参考訳（メタデータ） (2024-10-15T18:08:32Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Dr. FERMI: A Stochastic Distributionally Robust Fair Empirical Risk Minimization Framework [12.734559823650887]
  分散シフトが存在する場合、公正な機械学習モデルはテストデータに対して不公平に振る舞うことがある。 既存のアルゴリズムはデータへの完全なアクセスを必要とし、小さなバッチを使用する場合には使用できない。 本稿では,因果グラフの知識を必要としない収束保証付き分布安定度フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-20T23:25:28Z)
• Symmetric Equilibrium Learning of VAEs [56.56929742714685]
  可変オートエンコーダ(VAE)をデコーダ-エンコーダペアとみなし,データ空間内の分布を潜在空間内の分布にマッピングする。 本研究では,エンコーダとデコーダに対して対称なナッシュ均衡学習手法を提案し,データと潜伏分布の両方がサンプリングによってのみアクセス可能な状況下でのVAEの学習を可能にする。
  論文  参考訳（メタデータ） (2023-07-19T10:27:34Z)
• Cramer Type Distances for Learning Gaussian Mixture Models by Gradient Descent [0.0]
  今日まで、ガウス混合モデルに適合または学習できる既知のアルゴリズムはほとんどない。 一般多変量GMM学習のためのスライスクラマー2距離関数を提案する。 これらの機能は、分散強化学習とディープQネットワークに特に有用である。
  論文  参考訳（メタデータ） (2023-07-13T13:43:02Z)
• Learning Against Distributional Uncertainty: On the Trade-off Between Robustness and Specificity [24.874664446700272]
  本稿では,3つのアプローチを統一し,上記の2つの課題に対処する新たな枠組みについて検討する。 提案したモデルのモンテカルロ法に基づく解法(例えば、一貫性と正規性)、非漸近性(例えば、非バイアス性や誤差境界)について検討した。
  論文  参考訳（メタデータ） (2023-01-31T11:33:18Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• Generative Semantic Hashing Enhanced via Boltzmann Machines [61.688380278649056]
  既存の生成ハッシュ法は、主に後部分布の分解形式を仮定する。 本稿では,ボルツマンマシンの分布を検索後部として利用することを提案する。 ハッシュコード内の異なるビット間の相関関係を効果的にモデル化することにより、我々のモデルは大幅な性能向上を達成できることを示す。
  論文  参考訳（メタデータ） (2020-06-16T01:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。