論文の概要: Density Ratio Estimation via Infinitesimal Classification

• arxiv url: http://arxiv.org/abs/2111.11010v1
• Date: Mon, 22 Nov 2021 06:26:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-23 14:03:30.589569
• Title: Density Ratio Estimation via Infinitesimal Classification
• Title（参考訳）: 無限小分類による密度比の推定
• Authors: Kristy Choi, Chenlin Meng, Yang Song, Stefano Ermon
• Abstract要約: そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。 モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。 提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
• 参考スコア（独自算出の注目度）: 85.08255198145304
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Density ratio estimation (DRE) is a fundamental machine learning technique for comparing two probability distributions. However, existing methods struggle in high-dimensional settings, as it is difficult to accurately compare probability distributions based on finite samples. In this work we propose DRE-\infty, a divide-and-conquer approach to reduce DRE to a series of easier subproblems. Inspired by Monte Carlo methods, we smoothly interpolate between the two distributions via an infinite continuum of intermediate bridge distributions. We then estimate the instantaneous rate of change of the bridge distributions indexed by time (the "time score") -- a quantity defined analogously to data (Stein) scores -- with a novel time score matching objective. Crucially, the learned time scores can then be integrated to compute the desired density ratio. In addition, we show that traditional (Stein) scores can be used to obtain integration paths that connect regions of high density in both distributions, improving performance in practice. Empirically, we demonstrate that our approach performs well on downstream tasks such as mutual information estimation and energy-based modeling on complex, high-dimensional datasets.
• Abstract（参考訳）: 密度比推定(dre)は、2つの確率分布を比較する基本的な機械学習手法である。 しかし,既存の手法では,有限標本に基づいて確率分布を正確に比較することは困難である。 本研究ではDRE-\inftyを提案し、DREをより簡単なサブプロブレムに還元する方法を提案する。 モンテカルロ法に触発されて,中間ブリッジ分布の無限連続体を介して2つの分布をスムーズに補間する。 次に,データ(スタイン)スコアに類似した量である時間(「時間スコア」)によって索引づけられたブリッジ分布の変化の瞬時率を,新しい時間スコアマッチング目標を用いて推定する。 重要なことに、学習した時間スコアは、所望の密度比を計算するために統合される。 さらに,従来の(ステイン)スコアを用いて,密度の高い領域を両分布で連結し,実際の性能を向上させる統合経路を得ることができることを示した。 実験により,提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングといった下流タスクでうまく機能することを実証する。

関連論文リスト

• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Estimating Joint Probability Distribution With Low-Rank Tensor Decomposition, Radon Transforms and Dictionaries [3.0892724364965005]
  本報告では, 混合成分の少ない製品密度の混合として, 基礎となる分布を分解できることを仮定して, データサンプルから結合確率密度を推定する手法について述べる。 1-次元の密度を表す辞書と、1-次元の辺りから合同分布を推定するランダムな投影という2つの重要なアイデアを組み合わせる。 提案アルゴリズムは, 従来の辞書を用いた手法に比べて, サンプルの複雑さの向上に有効である。
  論文  参考訳（メタデータ） (2023-04-18T05:37:15Z)
• Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
  本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。 これらの結果はサンプル状態と有限状態の両方で定式化する。
  論文  参考訳（メタデータ） (2022-10-03T06:09:01Z)
• Out-of-Distribution Detection with Class Ratio Estimation [4.930817402876787]
  近年,OOD画像の検出作業において,密度に基づくアウト・オブ・ディストリビューション(OOD)検出は信頼性が低いことが示されている。 本稿では,エネルギーモデルを構築し,異なる基底分布を用いる新しい枠組みの下で,密度比に基づく手法を統合することを提案する。
  論文  参考訳（メタデータ） (2022-06-08T15:20:49Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Featurized Density Ratio Estimation [82.40706152910292]
  本研究では,2つの分布を推定前の共通特徴空間にマッピングするために,可逆生成モデルを活用することを提案する。 この偉業化は、学習された入力空間の密度比が任意に不正確な場合、潜在空間において密度が密接な関係をもたらす。 同時に、特徴写像の可逆性は、特徴空間で計算された比が入力空間で計算された比と同値であることを保証する。
  論文  参考訳（メタデータ） (2021-07-05T18:30:26Z)
• Meta-Learning for Relative Density-Ratio Estimation [59.75321498170363]
  相対密度比推定(DRE)の既存の方法は、両方の密度から多くのインスタンスを必要とする。 本稿では,関係データセットの知識を用いて,相対密度比を数例から推定する,相対DREのメタラーニング手法を提案する。 提案手法の有効性を,相対的DRE,データセット比較,外乱検出の3つの問題を用いて実証的に実証した。
  論文  参考訳（メタデータ） (2021-07-02T02:13:45Z)
• Deep Generative Learning via Schr\"{o}dinger Bridge [14.138796631423954]
  エントロピーにより生成モデルをSchr"odinger Bridgeで学習する。 Schr"odinger Bridge による生成モデルは最先端の GAN に匹敵することを示す。
  論文  参考訳（メタデータ） (2021-06-19T03:35:42Z)
• DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
  連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。 近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。 提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
  論文  参考訳（メタデータ） (2020-10-05T04:19:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。