論文の概要: Estimating Probability Densities with Transformer and Denoising Diffusion

• arxiv url: http://arxiv.org/abs/2407.15703v1
• Date: Mon, 22 Jul 2024 15:10:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 14:30:36.492515
• Title: Estimating Probability Densities with Transformer and Denoising Diffusion
• Title（参考訳）: 変圧器とデノイング拡散による確率密度の推定
• Authors: Henry W. Leung, Jo Bovy, Joshua S. Speagle,
• Abstract要約: 本研究では,トランスフォーマー上の拡散ヘッドを用いた確率モデルのトレーニングにより,確率密度の推定が妥当であることを示す。 当社のTransformer+Denoising Diffusionモデルについて、天文学的な観測と、銀河内の恒星のラベル測定の大規模なデータセットでトレーニングすることで説明します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers are often the go-to architecture to build foundation models that ingest a large amount of training data. But these models do not estimate the probability density distribution when trained on regression problems, yet obtaining full probabilistic outputs is crucial to many fields of science, where the probability distribution of the answer can be non-Gaussian and multimodal. In this work, we demonstrate that training a probabilistic model using a denoising diffusion head on top of the Transformer provides reasonable probability density estimation even for high-dimensional inputs. The combined Transformer+Denoising Diffusion model allows conditioning the output probability density on arbitrary combinations of inputs and it is thus a highly flexible density function emulator of all possible input/output combinations. We illustrate our Transformer+Denoising Diffusion model by training it on a large dataset of astronomical observations and measured labels of stars within our Galaxy and we apply it to a variety of inference tasks to show that the model can infer labels accurately with reasonable distributions.
• Abstract（参考訳）: トランスフォーマーは、大量のトレーニングデータを取り込み、基礎モデルを構築するためのアーキテクチャであることが多い。 しかし、これらのモデルは回帰問題で訓練された場合の確率密度分布を推定しないが、完全な確率的出力を得ることは多くの科学分野において重要であり、解の確率分布は非ガウス的かつマルチモーダルである。 本研究では,トランスフォーマーの上の拡散ヘッドを用いて確率モデルをトレーニングすることにより,高次元入力においても合理的な確率密度推定が可能であることを示す。 組み合わせたTransformer+Denoising Diffusionモデルにより、任意の入力の組み合わせに出力確率密度を条件付けることができ、可能なすべての入力/出力の組み合わせに対して高い柔軟性を持つ密度関数エミュレータとなる。 我々は、我々の銀河内の天文学的な観測と星のラベル測定の大規模なデータセットに基づいて、トランスフォーマー+デノナイジング拡散モデルをトレーニングし、それを様々な推論タスクに適用し、モデルが適切な分布でラベルを正確に推測できることを示す。

関連論文リスト

• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Diffusion Random Feature Model [0.0]
  本稿では,拡散モデルにインスパイアされた深部ランダム特徴モデルを提案する。 サンプルデータの分布と真の分布との一般化境界をスコアマッチングの特性を用いて導出する。 ファッションMNISTデータセットとインストゥルメンタルオーディオデータに基づいてサンプルを生成し,本研究の検証を行った。
  論文  参考訳（メタデータ） (2023-10-06T17:59:05Z)
• User-defined Event Sampling and Uncertainty Quantification in Diffusion Models for Physical Dynamical Systems [49.75149094527068]
  拡散モデルを用いて予測を行い,カオス力学系に対する不確かさの定量化が可能であることを示す。 本研究では,雑音レベルが低下するにつれて真の分布に収束する条件付きスコア関数の確率的近似法を開発する。 推論時に非線形ユーザ定義イベントを条件付きでサンプリングすることができ、分布の尾部からサンプリングした場合でもデータ統計と一致させることができる。
  論文  参考訳（メタデータ） (2023-06-13T03:42:03Z)
• Score-based Diffusion Models in Function Space [140.792362459734]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• Machine-Learned Exclusion Limits without Binning [0.0]
  我々は、1次元信号と背景確率密度関数を抽出するためにカーネル密度推定器(KDE)を含むMLL法を拡張した。 本手法は,レプトン対に崩壊するエキゾチックヒッグス粒子の探索と,レプトン対に崩壊するZ'$ボソンの2例に適用する。
  論文  参考訳（メタデータ） (2022-11-09T11:04:50Z)
• DensePure: Understanding Diffusion Models towards Adversarial Robustness [110.84015494617528]
  拡散モデルの特性を解析し,それらが証明された堅牢性を高める条件を確立する。 事前訓練されたモデル(すなわち分類器)の信頼性向上を目的とした新しいDensePure法を提案する。 このロバストな領域は多重凸集合の和であり、以前の研究で特定されたロバストな領域よりもはるかに大きい可能性が示されている。
  論文  参考訳（メタデータ） (2022-11-01T08:18:07Z)
• Learning Multivariate CDFs and Copulas using Tensor Factorization [39.24470798045442]
  データの多変量分布を学習することは、統計学と機械学習における中核的な課題である。 本研究では,多変量累積分布関数(CDF)を学習し,混合確率変数を扱えるようにすることを目的とする。 混合確率変数の合同CDFの任意のグリッドサンプリング版は、単純ベイズモデルとして普遍表現を許容することを示す。 提案モデルの性能を,回帰,サンプリング,データ計算を含むいくつかの合成および実データおよびアプリケーションで実証する。
  論文  参考訳（メタデータ） (2022-10-13T16:18:46Z)
• Variational Mixture of Normalizing Flows [0.0]
  生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。 正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。 本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
  論文  参考訳（メタデータ） (2020-09-01T17:20:08Z)
• Denoising Diffusion Probabilistic Models [91.94962645056896]
  拡散確率モデルを用いて高品質な画像合成結果を示す。 本研究は,拡散確率モデルとランゲヴィン力学と整合したデノイングスコアとの新たな接続に基づいて設計した重み付き変分境界のトレーニングにより得られた。
  論文  参考訳（メタデータ） (2020-06-19T17:24:44Z)
• Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
  条件正規化フロー(CNF)はサンプリングと推論において効率的である。 出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
  論文  参考訳（メタデータ） (2019-11-29T19:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。