論文の概要: A Unified Framework for Multi-distribution Density Ratio Estimation

• arxiv url: http://arxiv.org/abs/2112.03440v1
• Date: Tue, 7 Dec 2021 01:23:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-08 13:53:31.009546
• Title: A Unified Framework for Multi-distribution Density Ratio Estimation
• Title（参考訳）: 多分布密度比推定のための統一フレームワーク
• Authors: Lantao Yu, Yujia Jin, Stefano Ermon
• Abstract要約: バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
• 参考スコア（独自算出の注目度）: 101.67420298343512
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Binary density ratio estimation (DRE), the problem of estimating the ratio $p_1/p_2$ given their empirical samples, provides the foundation for many state-of-the-art machine learning algorithms such as contrastive representation learning and covariate shift adaptation. In this work, we consider a generalized setting where given samples from multiple distributions $p_1, \ldots, p_k$ (for $k > 2$), we aim to efficiently estimate the density ratios between all pairs of distributions. Such a generalization leads to important new applications such as estimating statistical discrepancy among multiple random variables like multi-distribution $f$-divergence, and bias correction via multiple importance sampling. We then develop a general framework from the perspective of Bregman divergence minimization, where each strictly convex multivariate function induces a proper loss for multi-distribution DRE. Moreover, we rederive the theoretical connection between multi-distribution density ratio estimation and class probability estimation, justifying the use of any strictly proper scoring rule composite with a link function for multi-distribution DRE. We show that our framework leads to methods that strictly generalize their counterparts in binary DRE, as well as new methods that show comparable or superior performance on various downstream tasks.
• Abstract（参考訳）: 2進密度比推定(dre)は、経験的なサンプルを与えられた比$p_1/p_2$を推定する問題であり、コントラスト表現学習や共変量シフト適応といった最先端機械学習アルゴリズムの基礎を提供する。 本研究では、複数の分布から与えられたサンプルを$p_1, \ldots, p_k$ ($k > 2$) とし、全ての分布間の密度比を効率的に推定する一般化された設定を考える。 このような一般化は、マルチディストリビューション$f$-divergenceのような複数の確率変数間の統計的差分を推定したり、複数の重要サンプリングによるバイアス補正といった重要な新しい応用をもたらす。 次に,Bregmanの発散最小化の観点から,各厳密凸多変量関数が多重分布DREの適切な損失を誘導する一般フレームワークを開発する。 さらに,多分布密度比推定とクラス確率推定との理論的関係を補正し,多分布DREのためのリンク関数付き厳密なスコアリングルール合成の利用を正当化する。 我々のフレームワークは、バイナリDREでそれらを厳格に一般化するメソッドと、様々な下流タスクにおいて同等または優れたパフォーマンスを示す新しいメソッドに導かれることを示す。

関連論文リスト

• Improving Distribution Alignment with Diversity-based Sampling [0.0]
  ドメインシフトは機械学習においてユビキタスであり、実際のデータにデプロイすると、モデルのパフォーマンスが大幅に低下する可能性がある。 本稿では,各サンプル小バッチの多様性を誘導することにより,これらの推定値を改善することを提案する。 同時にデータのバランスを保ち、勾配のばらつきを低減し、それによってモデルの一般化能力を高める。
  論文  参考訳（メタデータ） (2024-10-05T17:26:03Z)
• Multiple importance sampling for stochastic gradient estimation [33.42221341526944]
  勾配推定のためのミニバッチサンプルの効率的な重要サンプリングのための理論的および実用的枠組みを提案する。 雑音の勾配に対処するため、我々のフレームワークは自己適応的計量を用いてトレーニング中の重要度分布を動的に進化させる。
  論文  参考訳（メタデータ） (2024-07-22T10:28:56Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Multiple Hypothesis Dropout: Estimating the Parameters of Multi-Modal Output Distributions [22.431244647796582]
  本稿では,複数出力関数(Multiple-Output function, MoM)の解法について, 新たな解法であるMultiple hypothesis Dropoutを用いて提案する。 教師付き学習問題に対する実験は、我々の手法がマルチモーダルな出力分布を再構築するための既存のソリューションよりも優れていることを示している。 教師なし学習問題に関するさらなる研究は、離散オートエンコーダ内の潜在後続分布のパラメータを推定することで、コードブックの効率、サンプル品質、精度、リコールを大幅に改善することを示している。
  論文  参考訳（メタデータ） (2023-12-18T22:20:11Z)
• Estimating the Density Ratio between Distributions with High Discrepancy using Multinomial Logistic Regression [21.758330613138778]
  その結果, 最先端密度比推定器は, 十分に分離されたケースでは性能が良くないことがわかった。 密度比推定に多クラス分類を利用する方法を提案する。
  論文  参考訳（メタデータ） (2023-05-01T15:10:56Z)
• Causal Balancing for Domain Generalization [95.97046583437145]
  そこで本研究では,観察されたトレーニング分布の領域特異的なスプリアス相関を低減するために,バランスの取れたミニバッチサンプリング戦略を提案する。 本研究では, 突発性源の同定可能性を保証するとともに, バランスの取れた, 突発性のない分布から, 提案手法が有効にサンプリング可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-10T17:59:11Z)
• Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
  そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。 モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。 提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-22T06:26:29Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• A General Method for Robust Learning from Batches [56.59844655107251]
  本稿では,バッチから頑健な学習を行う一般的なフレームワークについて考察し,連続ドメインを含む任意の領域に対する分類と分布推定の限界について考察する。 本手法は,一括分節分類,一括分節,単調,対数凹,ガウス混合分布推定のための,最初の頑健な計算効率の学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2020-02-25T18:53:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。