論文の概要: Estimating the Density Ratio between Distributions with High Discrepancy using Multinomial Logistic Regression

• arxiv url: http://arxiv.org/abs/2305.00869v1
• Date: Mon, 1 May 2023 15:10:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-02 13:05:06.219792
• Title: Estimating the Density Ratio between Distributions with High Discrepancy using Multinomial Logistic Regression
• Title（参考訳）: 多項ロジスティック回帰を用いた高差分布間の密度比の推定
• Authors: Akash Srivastava, Seungwook Han, Kai Xu, Benjamin Rhodes, Michael U. Gutmann
• Abstract要約: その結果, 最先端密度比推定器は, 十分に分離されたケースでは性能が良くないことがわかった。 密度比推定に多クラス分類を利用する方法を提案する。
• 参考スコア（独自算出の注目度）: 21.758330613138778
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Functions of the ratio of the densities $p/q$ are widely used in machine learning to quantify the discrepancy between the two distributions $p$ and $q$. For high-dimensional distributions, binary classification-based density ratio estimators have shown great promise. However, when densities are well separated, estimating the density ratio with a binary classifier is challenging. In this work, we show that the state-of-the-art density ratio estimators perform poorly on well-separated cases and demonstrate that this is due to distribution shifts between training and evaluation time. We present an alternative method that leverages multi-class classification for density ratio estimation and does not suffer from distribution shift issues. The method uses a set of auxiliary densities $\{m_k\}_{k=1}^K$ and trains a multi-class logistic regression to classify the samples from $p, q$, and $\{m_k\}_{k=1}^K$ into $K+2$ classes. We show that if these auxiliary densities are constructed such that they overlap with $p$ and $q$, then a multi-class logistic regression allows for estimating $\log p/q$ on the domain of any of the $K+2$ distributions and resolves the distribution shift problems of the current state-of-the-art methods. We compare our method to state-of-the-art density ratio estimators on both synthetic and real datasets and demonstrate its superior performance on the tasks of density ratio estimation, mutual information estimation, and representation learning. Code: https://www.blackswhan.com/mdre/
• Abstract（参考訳）: 密度の比の関数である$p/q$は、機械学習で広く使われ、2つの分布の差を定量化するために$p$と$q$である。 高次元分布に対しては,二項分類に基づく密度比推定器が有望である。 しかし,密度が十分に分離された場合,二値分類器を用いた密度比の推定は困難である。 本研究は, 最先端密度比推定器が十分に分離された場合において性能が低いことを示し, トレーニングと評価時間の分布変化によるものであることを示す。 本稿では,密度比推定にマルチクラス分類を応用し,分布シフト問題に苦しむことのない代替手法を提案する。 この方法は補助密度の集合$\{m_k\}_{k=1}^K$を使用し、サンプルを$p, q$, $\{m_k\}_{k=1}^K$から$K+2$クラスに分類するために多重クラスロジスティック回帰を訓練する。 これらの補助密度が$p$と$q$と重なり合うように構成されている場合、多クラスロジスティック回帰は、$K+2$の分布のドメイン上で$\log p/q$を推定することができ、現在の最先端手法の分布シフト問題を解くことができる。 本手法を合成データと実データの両方における最先端密度比推定器と比較し,密度比推定,相互情報推定,表現学習のタスクにおいて優れた性能を示す。 コード: https://www.blackswhan.com/mdre/

関連論文リスト

• Instance-Optimal Private Density Estimation in the Wasserstein Distance [37.58527481568219]
  サンプルから分布の密度を推定することは統計学の基本的な問題である。 ワッサーシュタイン距離における個人密度の差分推定について検討する。
  論文  参考訳（メタデータ） (2024-06-27T22:51:06Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Data Structures for Density Estimation [66.36971978162461]
  p$のサブリニア数($n$)が与えられた場合、主な結果は$k$のサブリニアで$v_i$を識別する最初のデータ構造になります。 また、Acharyaなどのアルゴリズムの改良版も提供します。
  論文  参考訳（メタデータ） (2023-06-20T06:13:56Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
  そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。 モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。 提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-22T06:26:29Z)
• Rates of convergence for density estimation with generative adversarial networks [19.71040653379663]
  我々は、基礎となる密度$mathsfp*$とGAN推定値の間のJensen-Shannon (JS) 分岐に対するオラクルの不等式を証明した。 GANの推定値と$mathsfp*$のJS偏差が$(logn/n)2beta/ (2beta + d)$の速さで崩壊することを示す。
  論文  参考訳（メタデータ） (2021-01-30T09:59:14Z)
• $(f,\Gamma)$-Divergences: Interpolating between $f$-Divergences and Integral Probability Metrics [6.221019624345409]
  我々は、$f$-divergences と積分確率メトリクス(IPMs)の両方を仮定する情報理論の分岐を構築するためのフレームワークを開発する。 2段階の質量再分配/物質輸送プロセスとして表現できることが示される。 統計的学習を例として,重み付き,絶対連続的なサンプル分布に対するGAN(generative adversarial network)の訓練において,その優位性を示す。
  論文  参考訳（メタデータ） (2020-11-11T18:17:09Z)
• TraDE: Transformers for Density Estimation [101.20137732920718]
  TraDEは自己回帰密度推定のための自己アテンションに基づくアーキテクチャである。 本稿では, 生成したサンプルを用いた回帰, 分布外検出, トレーニングデータにおける雑音に対する頑健性などのタスクについて述べる。
  論文  参考訳（メタデータ） (2020-04-06T07:32:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。