論文の概要: Implicit MLE: Backpropagating Through Discrete Exponential Family
Distributions
- arxiv url: http://arxiv.org/abs/2106.01798v1
- Date: Thu, 3 Jun 2021 12:42:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-04 12:17:57.953856
- Title: Implicit MLE: Backpropagating Through Discrete Exponential Family
Distributions
- Title(参考訳): Implicit MLE:離散指数家族分布によるバックプロパゲーション
- Authors: Mathias Niepert and Pasquale Minervini and Luca Franceschi
- Abstract要約: Implicit Maximum Likelihood Estimationは、離散指数族分布と微分可能なニューラル成分を組み合わせたモデルのエンドツーエンド学習のためのフレームワークである。
I-MLEは、問題固有の緩和に依存する既存のアプローチよりも優れており、しばしば優れていることを示す。
- 参考スコア(独自算出の注目度): 24.389388509299543
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Integrating discrete probability distributions and combinatorial optimization
problems into neural networks has numerous applications but poses several
challenges. We propose Implicit Maximum Likelihood Estimation (I-MLE), a
framework for end-to-end learning of models combining discrete exponential
family distributions and differentiable neural components. I-MLE is widely
applicable: it only requires the ability to compute the most probable states;
and does not rely on smooth relaxations. The framework encompasses several
approaches, such as perturbation-based implicit differentiation and recent
methods to differentiate through black-box combinatorial solvers. We introduce
a novel class of noise distributions for approximating marginals via
perturb-and-MAP. Moreover, we show that I-MLE simplifies to maximum likelihood
estimation when used in some recently studied learning settings that involve
combinatorial solvers. Experiments on several datasets suggest that I-MLE is
competitive with and often outperforms existing approaches which rely on
problem-specific relaxations.
- Abstract(参考訳): 離散確率分布と組合せ最適化問題のニューラルネットワークへの統合には多くの応用があるが、いくつかの課題がある。
離散指数系列分布と微分可能なニューラル成分を組み合わせたモデルのエンドツーエンド学習のためのフレームワークであるImlicit Maximum Likelihood Estimation (I-MLE)を提案する。
I-MLEは広く適用可能であり、最も確率の高い状態を計算する能力しか必要とせず、滑らかな緩和に依存しない。
このフレームワークは、摂動に基づく暗黙差分法や、ブラックボックス組合せ解法を通して区別する最近の方法など、いくつかのアプローチを含んでいる。
本稿では,境界を近似する新しいノイズ分布のクラスを提案する。
さらに,I-MLEは組合せ解法を含む最近研究された学習環境において,最大推定を単純化することを示した。
いくつかのデータセットの実験では、I-MLEは問題固有の緩和に依存する既存のアプローチと競合し、しばしば優れていることが示唆されている。
関連論文リスト
- ClusterDDPM: An EM clustering framework with Denoising Diffusion
Probabilistic Models [9.91610928326645]
拡散確率モデル(DDPM)は、新しい、そして有望な生成モデルのクラスを表す。
本研究では,DDPMを用いたクラスタリングのための革新的予測最大化(EM)フレームワークを提案する。
Mステップでは、条件付きDDPMを用いてクラスタリングに親しみやすい潜在表現を学習し、潜在表現の分布をガウスの先行表現の混合と整合させることに重点を置いている。
論文 参考訳(メタデータ) (2023-12-13T10:04:06Z) - Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳(メタデータ) (2023-11-08T00:10:21Z) - Resilient Multiple Choice Learning: A learned scoring scheme with
application to audio scene analysis [8.896068269039452]
回帰設定における条件分布推定のための弾力性多重選択学習(rMCL)を提案する。
rMCLは、一連の仮説に対してWinner-Takes-All(WTA)損失を用いて、マルチモーダル密度推定に取り組むための単純なフレームワークである。
論文 参考訳(メタデータ) (2023-11-02T07:54:03Z) - Optimizing Solution-Samplers for Combinatorial Problems: The Landscape
of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。
我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。
本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文 参考訳(メタデータ) (2023-10-08T23:39:38Z) - Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。
我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。
重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文 参考訳(メタデータ) (2023-10-06T16:36:08Z) - Self-Learning Symmetric Multi-view Probabilistic Clustering [50.32622999323709]
マルチビュークラスタリング(MVC)は、複数の視点から知識を学ぶための多くの取り組みによって、大きな進歩を遂げている。
既存のほとんどのメソッドは適用できないか、あるいは不完全なMVCに追加の手順を必要とする。
自己学習対称多視点確率クラスタリングという,不完全かつ完全なMVCのための新しい統合フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-12T08:27:03Z) - Generalizing Multimodal Variational Methods to Sets [35.69942798534849]
本稿では,マルチモーダル潜在空間を学習するために,Set Multimodal VAE(SMVAE)と呼ばれる新しい変分法を提案する。
共同モダリティ後部分布を直接モデル化することにより、提案したSMVAEは、複数のモダリティ間で情報を交換し、分解による欠点を補うことを学習する。
論文 参考訳(メタデータ) (2022-12-19T23:50:19Z) - Efficient semidefinite-programming-based inference for binary and
multi-class MRFs [83.09715052229782]
分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。
一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
論文 参考訳(メタデータ) (2020-12-04T15:36:29Z) - Neural Mixture Distributional Regression [0.9023847175654603]
フレキシブルな加法予測器によって定義される分布回帰の有限混合を推定する包括的枠組みを提案する。
我々のフレームワークは、高次元の設定において、潜在的に異なる分布の多くの混合を処理できる。
論文 参考訳(メタデータ) (2020-10-14T09:00:16Z) - Stacking for Non-mixing Bayesian Computations: The Curse and Blessing of
Multimodal Posteriors [8.11978827493967]
MCMCの並列実行, 変動型, モードベースの推論を用いて, できるだけ多くのモードをヒットさせる手法を提案する。
重み付き推論プロセスが真のデータを近似する例と理論的整合性を示す。
いくつかのモデルファミリで実践的な実装を示す。
論文 参考訳(メタデータ) (2020-06-22T15:26:59Z) - Modal Regression based Structured Low-rank Matrix Recovery for
Multi-view Learning [70.57193072829288]
近年、低ランクなマルチビューサブスペース学習は、クロスビューの分類において大きな可能性を示している。
既存のLMvSLベースの手法では、ビューの区別と差別を同時に扱うことができない。
本稿では,視差を効果的に除去し,識別性を向上する独自の方法であるStructured Low-rank Matrix Recovery (SLMR)を提案する。
論文 参考訳(メタデータ) (2020-03-22T03:57:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。