論文の概要: Unified Perspective on Probability Divergence via Maximum Likelihood
Density Ratio Estimation: Bridging KL-Divergence and Integral Probability
Metrics
- arxiv url: http://arxiv.org/abs/2201.13127v1
- Date: Mon, 31 Jan 2022 11:15:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-01 14:42:08.037651
- Title: Unified Perspective on Probability Divergence via Maximum Likelihood
Density Ratio Estimation: Bridging KL-Divergence and Integral Probability
Metrics
- Title(参考訳): 最大濃度比推定による確率多様性の統一的視点:KL-ダイバージェンスと積分確率測定
- Authors: Masahiro Kato and Masaaki Imaizumi and Kentaro Minami
- Abstract要約: KL分割とIPMはサンプリング方式によってのみ異なる最大確率で表せることを示す。
我々は、KL分割とIPMを補間する、密度比メートル法(DRM)と呼ばれる新しい確率分岐のクラスを提案する。
これらの知見に加えて、DREや生成的敵ネットワークといったDRMの応用についても紹介する。
- 参考スコア(独自算出の注目度): 15.437224275494838
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper provides a unified perspective for the Kullback-Leibler
(KL)-divergence and the integral probability metrics (IPMs) from the
perspective of maximum likelihood density-ratio estimation (DRE). Both the
KL-divergence and the IPMs are widely used in various fields in applications
such as generative modeling. However, a unified understanding of these concepts
has still been unexplored. In this paper, we show that the KL-divergence and
the IPMs can be represented as maximal likelihoods differing only by sampling
schemes, and use this result to derive a unified form of the IPMs and a relaxed
estimation method. To develop the estimation problem, we construct an
unconstrained maximum likelihood estimator to perform DRE with a stratified
sampling scheme. We further propose a novel class of probability divergences,
called the Density Ratio Metrics (DRMs), that interpolates the KL-divergence
and the IPMs. In addition to these findings, we also introduce some
applications of the DRMs, such as DRE and generative adversarial networks. In
experiments, we validate the effectiveness of our proposed methods.
- Abstract(参考訳): 本稿では,最大最大密度比推定(DRE)の観点から,KL(Kulback-Leibler)分割とIPM(IPMs)の統一的な視点を提供する。
kl-divergence と ipm はともに、生成的モデリングのようなアプリケーションの様々な分野で広く使われている。
しかし、これらの概念の統一的な理解はまだ未定である。
本稿では,kl-divergence と ipm はサンプリングスキームによってのみ異なる最大確率として表現できることを示すとともに,この結果を用いて ipms の統一形と緩和された推定法を導出する。
推定問題を開発するために, 階層化サンプリング方式でdreを行うために, 制約のない最大度推定器を構築した。
さらに,kl-divergence と ipms を補間する密度比メトリクス (drms) と呼ばれる新しい確率分岐法を提案する。
これらの知見に加えて、DREや生成的敵ネットワークといったDRMの応用についても紹介する。
実験では,提案手法の有効性を検証した。
関連論文リスト
- Robust Multi-Modal Density Estimation [15.710668205424446]
密度推定のための非パラメトリック手法であるRObust Multi-modal density Estimatorを提案する。
ROMEはマルチモーダル分布、非正規分布、高相関分布の推定という課題に対処する。
以上の結果から,ROMEは,他の推定者による過度な適合性や過度なスムース化の問題を克服できることが示唆された。
論文 参考訳(メタデータ) (2024-01-19T09:10:58Z) - On the Consistency of Maximum Likelihood Estimation of Probabilistic
Principal Component Analysis [1.0528389538549636]
PPCAは科学や工学から定量的ファイナンスまで幅広い分野の応用がある。
様々な分野に適用可能であるにもかかわらず、このモデルに対する最大可能性(ML)解の健全性を正当化する理論的な保証はほとんど存在しない。
商位相空間を用いた新しいアプローチを提案し、特に、最大極大解が適切な商ユークリッド空間において一貫したことを示す。
論文 参考訳(メタデータ) (2023-11-08T22:40:45Z) - Targeted Separation and Convergence with Kernel Discrepancies [66.48817218787006]
カーネルベースの不一致測度は、(i)ターゲットPを他の確率測度から分離するか、(ii)Pへの弱収束を制御する必要がある。
本稿では, (i) と (ii) を保証するのに十分な,必要な新しい条件を導出する。
可分距離空間上のMDDに対して、ボヒナー埋め込み可測度を分離するカーネルを特徴づけ、すべての測度を非有界カーネルと分離するための単純な条件を導入する。
論文 参考訳(メタデータ) (2022-09-26T16:41:16Z) - Learning with Stochastic Orders [25.795107089736295]
高次元分布の学習は、しばしば、積分確率メトリクス(IPMs)による明示的な可能性モデリングまたは暗黙的なモデリングによって行われる。
我々はIPMsationalの代替として使用できる確率測度間のChoquet-Toland距離を導入する。
また、変動支配基準(VDC)を導入し、支配制約のある確率測度を学習する。
論文 参考訳(メタデータ) (2022-05-27T00:08:03Z) - Distribution Regression with Sliced Wasserstein Kernels [45.916342378789174]
分布回帰のための最初のOTに基づく推定器を提案する。
このような表現に基づくカーネルリッジ回帰推定器の理論的性質について検討する。
論文 参考訳(メタデータ) (2022-02-08T15:21:56Z) - A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。
ブレグマン最小化の発散の観点から一般的な枠組みを開発する。
我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
論文 参考訳(メタデータ) (2021-12-07T01:23:20Z) - Personalized Trajectory Prediction via Distribution Discrimination [78.69458579657189]
トラリミー予測は将来の力学のマルチモーダルな性質を捉えるジレンマと対立する。
本研究では,パーソナライズされた動作パターンを予測するDisDisDis(Disdis)手法を提案する。
本手法は,プラグイン・アンド・プレイモジュールとして既存のマルチモーダル予測モデルと統合することができる。
論文 参考訳(メタデータ) (2021-07-29T17:42:12Z) - Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。
本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。
自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
論文 参考訳(メタデータ) (2021-06-07T17:47:16Z) - A unified view of likelihood ratio and reparameterization gradients [91.4645013545015]
我々は、LRとRPが確率質量の運動を追跡する代替方法であることを示すために、第一原理のアプローチを用いる。
LRとRPを組み合わせた全ての可能な推定器の空間は、流れ場によって完全にパラメータ化可能であることを示す。
したがって、より優れたモンテカルロ勾配推定器をどこに探すべきかを明確にする。
論文 参考訳(メタデータ) (2021-05-31T11:53:08Z) - Generalized Sliced Distances for Probability Distributions [47.543990188697734]
我々は、一般化スライス確率測定(GSPM)と呼ばれる、幅広い確率測定値の族を紹介する。
GSPMは一般化されたラドン変換に根付いており、ユニークな幾何学的解釈を持つ。
GSPMに基づく勾配流を生成モデル応用に適用し、軽度な仮定の下では、勾配流が大域的最適に収束することを示す。
論文 参考訳(メタデータ) (2020-02-28T04:18:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。