論文の概要: TraDE: Transformers for Density Estimation

• arxiv url: http://arxiv.org/abs/2004.02441v2
• Date: Wed, 14 Oct 2020 20:22:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 05:43:52.719135
• Title: TraDE: Transformers for Density Estimation
• Title（参考訳）: TraDE: 密度推定用変換器
• Authors: Rasool Fakoor, Pratik Chaudhari, Jonas Mueller, Alexander J. Smola
• Abstract要約: TraDEは自己回帰密度推定のための自己アテンションに基づくアーキテクチャである。 本稿では, 生成したサンプルを用いた回帰, 分布外検出, トレーニングデータにおける雑音に対する頑健性などのタスクについて述べる。
• 参考スコア（独自算出の注目度）: 101.20137732920718
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present TraDE, a self-attention-based architecture for auto-regressive density estimation with continuous and discrete valued data. Our model is trained using a penalized maximum likelihood objective, which ensures that samples from the density estimate resemble the training data distribution. The use of self-attention means that the model need not retain conditional sufficient statistics during the auto-regressive process beyond what is needed for each covariate. On standard tabular and image data benchmarks, TraDE produces significantly better density estimates than existing approaches such as normalizing flow estimators and recurrent auto-regressive models. However log-likelihood on held-out data only partially reflects how useful these estimates are in real-world applications. In order to systematically evaluate density estimators, we present a suite of tasks such as regression using generated samples, out-of-distribution detection, and robustness to noise in the training data and demonstrate that TraDE works well in these scenarios.
• Abstract（参考訳）: 連続および離散値データを用いた自己回帰密度推定のための自己注意型アーキテクチャであるTraDEを提案する。 本モデルでは, ペナライズド最大度目標を用いて, 推定値からのサンプルがトレーニングデータ分布に類似していることを保証する。 自己注意の使用は、モデルが各共変量に必要なものを超える自己回帰過程の間、十分な条件付き統計を保持する必要はないことを意味する。 標準的な表式および画像データベンチマークでは、TraDEはフロー推定器の正規化や再帰的自己回帰モデルのような既存の手法よりもはるかに優れた密度推定を生成する。 しかし、ホールドアウトデータにおけるログの類似性は、これらの推定が現実世界のアプリケーションでどれだけ有用であるかを部分的に反映しているだけである。 密度推定器を系統的に評価するために, 生成したサンプルを用いた回帰, 分布外検出, トレーニングデータにおけるノイズに対する堅牢性などのタスクスイートを提示し, それらのシナリオでTraDEがうまく機能することを実証する。

関連論文リスト

• Latent Space Score-based Diffusion Model for Probabilistic Multivariate Time Series Imputation [6.9295879301090535]
  確率的時系列計算のための遅延空間スコアベース拡散モデル(LSSDM)を提案する。 LSSDMは、計算機構のより良い説明と不確実性解析を提供しながら、優れた計算性能を実現する。
  論文  参考訳（メタデータ） (2024-09-13T15:32:26Z)
• Double Debiased Covariate Shift Adaptation Robust to Density-Ratio Estimation [7.8856737627153874]
  重み付けによる共変量シフト適応のための二重頑健な推定器を提案する。 我々の推定器は密度比推定誤差から生じるバイアスを低減する。 特に、密度比推定器または回帰関数が整合である場合、我々の推定器は整合性を保つ。
  論文  参考訳（メタデータ） (2023-10-25T13:38:29Z)
• MissDiff: Training Diffusion Models on Tabular Data with Missing Values [29.894691645801597]
  この研究は、欠落した値を持つデータから学習するための統一的で原則化された拡散ベースのフレームワークを示す。 まず、広く採用されている「インプット・ザ・ジェネレーション」パイプラインが、バイアスのある学習目標に繋がる可能性があることを観察する。 提案手法は,データ分布のスコアの学習に一貫性があることを証明し,提案手法は特定の場合において負の確率の上限として機能する。
  論文  参考訳（メタデータ） (2023-07-02T03:49:47Z)
• Learning to be a Statistician: Learned Estimator for Number of Distinct Values [54.629042119819744]
  列内の異なる値の数(NDV)を推定することは、データベースシステムにおける多くのタスクに有用である。 本研究では、ランダム(オンライン/オフライン)サンプルから正確なNDV推定を導出する方法に焦点を当てる。 教師付き学習フレームワークにおいて,NDV推定タスクを定式化し,モデルを推定対象として学習することを提案する。
  論文  参考訳（メタデータ） (2022-02-06T15:42:04Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Hierarchical VAEs Know What They Don't Know [6.649455007186671]
  我々はOOD検出のための高速でスケーラブルで完全に教師なしの確率比スコアを開発する。 分散検出において最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-02-16T16:08:04Z)
• Improving Nonparametric Density Estimation with Tensor Decompositions [14.917420021212912]
  非パラメトリック密度推定器は、しばしば低次元データに対してよく機能するが、高次元データに適用すると苦しむ。 本稿では、これらの改善が他の単純化された依存前提にまで拡張できるかどうかを考察する。 多次元ヒストグラムにおける低ランク非負のPARAFACやTucker分解に対する推定の制限は、ビン幅速度の次元指数を除去することを示す。
  論文  参考訳（メタデータ） (2020-10-06T01:39:09Z)
• Improving Maximum Likelihood Training for Text Generation with Density Ratio Estimation [51.091890311312085]
  本稿では,テキスト生成で遭遇する大規模なサンプル空間において,効率よく安定な自動回帰シーケンス生成モデルのトレーニング手法を提案する。 本手法は,品質と多様性の両面で,最大類似度推定や他の最先端シーケンス生成モデルよりも安定に優れている。
  論文  参考訳（メタデータ） (2020-07-12T15:31:24Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。