Fugu-MT 論文翻訳(概要): Telescoping Density-Ratio Estimation

論文の概要: Telescoping Density-Ratio Estimation

arxiv url: http://arxiv.org/abs/2006.12204v2
Date: Tue, 24 Nov 2020 13:13:20 GMT
ステータス: 処理完了
システム内更新日: 2022-11-18 04:52:55.627042
Title: Telescoping Density-Ratio Estimation
Title（参考訳）: テレスコープ密度比推定
Authors: Benjamin Rhodes, Kai Xu and Michael U. Gutmann
Abstract要約: 我々は、テレスコープ密度比推定(TRE)という新しいフレームワークを導入する。 TREは高次元空間における高相似密度の比を推定できる。実験により、TREは既存の単一比法よりも大幅に改善できることが示された。
参考スコア（独自算出の注目度）: 21.514983459970903
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Density-ratio estimation via classification is a cornerstone of unsupervised learning. It has provided the foundation for state-of-the-art methods in representation learning and generative modelling, with the number of use-cases continuing to proliferate. However, it suffers from a critical limitation: it fails to accurately estimate ratios p/q for which the two densities differ significantly. Empirically, we find this occurs whenever the KL divergence between p and q exceeds tens of nats. To resolve this limitation, we introduce a new framework, telescoping density-ratio estimation (TRE), that enables the estimation of ratios between highly dissimilar densities in high-dimensional spaces. Our experiments demonstrate that TRE can yield substantial improvements over existing single-ratio methods for mutual information estimation, representation learning and energy-based modelling.
Abstract（参考訳）: 分類による密度比推定は教師なし学習の基礎である。表現学習と生成モデリングにおける最先端の手法の基礎を提供しており、ユースケースの数も増え続けている。しかし、2つの密度が著しく異なる比 p/q を正確に見積もることができないため、決定的な限界に苦しむ。経験的に、p と q の間の KL の発散が数十ナットを超えると、これは起こる。この制限を解決するために、高次元空間における高相似密度の比を推定できるテレスコープ密度比推定(TRE)という新しい枠組みを導入する。実験により、TREは、相互情報推定、表現学習、エネルギーベースモデリングにおいて、既存の単一比法よりも大幅に改善できることを示した。

関連論文リスト

Overcoming Saturation in Density Ratio Estimation by Iterated Regularization [11.244546184962996]
密度比推定のためのカーネル手法のクラスが誤差飽和に悩まされていることを示す。高速な誤差率を達成するために, 密度比推定における繰り返し正規化を導入する。
論文参考訳（メタデータ） (2024-02-21T16:02:14Z)
Adaptive learning of density ratios in RKHS [3.047411947074805]
有限個の観測から2つの確率密度の比を推定することは、機械学習と統計学における中心的な問題である。我々は、再生カーネルヒルベルト空間における真の密度比とモデルの間の正規化ブレグマン偏差を最小化する大規模な密度比推定法を分析する。
論文参考訳（メタデータ） (2023-07-30T08:18:39Z)
Disentangling Learning Representations with Density Estimation [9.244163477446799]
本稿では, 遅延空間のフレキシブルな密度推定により, 信頼性の高い絡み合いを実現する手法を提案する。 GCAEは最先端のベースラインと比較して、非常に競争力が高く信頼性の高いアンタングルメントスコアを達成している。
論文参考訳（メタデータ） (2023-02-08T22:37:33Z)
Mutual Wasserstein Discrepancy Minimization for Sequential Recommendation [82.0801585843835]
逐次リコメンデーションのためのMutual WasserStein差分最小化MSteinに基づく新しい自己教師型学習フレームワークを提案する。また,ワッサーシュタイン離散度測定に基づく新しい学習損失を提案する。
論文参考訳（メタデータ） (2023-01-28T13:38:48Z)
Adaptive Multi-stage Density Ratio Estimation for Learning Latent Space Energy-based Model [11.401637217963511]
本稿では,ジェネレータモデルの潜在空間における学習エネルギーベースモデル(EBM)の基本的問題について検討する。本研究では,密度比推定によるEBMの識別にノイズコントラッシブ推定(NCE)を用いることを提案する。本実験は画像生成と再構成および異常検出における強い性能を示す。
論文参考訳（メタデータ） (2022-09-19T03:20:15Z)
Posterior Coreset Construction with Kernelized Stein Discrepancy for Model-Based Reinforcement Learning [78.30395044401321]
我々は、強化学習(MBRL)のための新しいモデルベースアプローチを開発する。ターゲット遷移モデルの仮定を緩和し、混合モデルの一般的な族に属する。連続的な制御環境では、壁時計の時間を最大50%削減することができる。
論文参考訳（メタデータ） (2022-06-02T17:27:49Z)
Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
論文参考訳（メタデータ） (2021-11-22T06:26:29Z)
Featurized Density Ratio Estimation [82.40706152910292]
本研究では,2つの分布を推定前の共通特徴空間にマッピングするために,可逆生成モデルを活用することを提案する。この偉業化は、学習された入力空間の密度比が任意に不正確な場合、潜在空間において密度が密接な関係をもたらす。同時に、特徴写像の可逆性は、特徴空間で計算された比が入力空間で計算された比と同値であることを保証する。
論文参考訳（メタデータ） (2021-07-05T18:30:26Z)
Meta-Learning for Relative Density-Ratio Estimation [59.75321498170363]
相対密度比推定(DRE)の既存の方法は、両方の密度から多くのインスタンスを必要とする。本稿では,関係データセットの知識を用いて,相対密度比を数例から推定する,相対DREのメタラーニング手法を提案する。提案手法の有効性を,相対的DRE,データセット比較,外乱検出の3つの問題を用いて実証的に実証した。
論文参考訳（メタデータ） (2021-07-02T02:13:45Z)
Imitation with Neural Density Models [98.34503611309256]
本稿では,Imitation Occupancy Entropy Reinforcement Learning (RL) を報奨として,専門家の占有率の密度推定によるImitation Learning (IL) の新しい枠組みを提案する。提案手法は,専門家の占有率と模倣者の占有率の逆Kulback-Leibler偏差を確実に低くする非逆モデル自由RLの目的を最大化する。
論文参考訳（メタデータ） (2020-10-19T19:38:36Z)
Improving Nonparametric Density Estimation with Tensor Decompositions [14.917420021212912]
非パラメトリック密度推定器は、しばしば低次元データに対してよく機能するが、高次元データに適用すると苦しむ。本稿では、これらの改善が他の単純化された依存前提にまで拡張できるかどうかを考察する。多次元ヒストグラムにおける低ランク非負のPARAFACやTucker分解に対する推定の制限は、ビン幅速度の次元指数を除去することを示す。
論文参考訳（メタデータ） (2020-10-06T01:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。