論文の概要: Diffusion Random Feature Model
- arxiv url: http://arxiv.org/abs/2310.04417v2
- Date: Mon, 9 Oct 2023 01:12:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-10 17:02:06.568816
- Title: Diffusion Random Feature Model
- Title(参考訳): 拡散ランダム特徴モデル
- Authors: Esha Saha and Giang Tran
- Abstract要約: 本稿では,拡散モデルにインスパイアされた深部ランダム特徴モデルを提案する。
サンプルデータの分布と真の分布との一般化境界をスコアマッチングの特性を用いて導出する。
ファッションMNISTデータセットとインストゥルメンタルオーディオデータに基づいてサンプルを生成し,本研究の検証を行った。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Diffusion probabilistic models have been successfully used to generate data
from noise. However, most diffusion models are computationally expensive and
difficult to interpret with a lack of theoretical justification. Random feature
models on the other hand have gained popularity due to their interpretability
but their application to complex machine learning tasks remains limited. In
this work, we present a diffusion model-inspired deep random feature model that
is interpretable and gives comparable numerical results to a fully connected
neural network having the same number of trainable parameters. Specifically, we
extend existing results for random features and derive generalization bounds
between the distribution of sampled data and the true distribution using
properties of score matching. We validate our findings by generating samples on
the fashion MNIST dataset and instrumental audio data.
- Abstract(参考訳): 拡散確率モデルはノイズからデータを生成するのに成功している。
しかし、ほとんどの拡散モデルは計算コストが高く、理論的正当化の欠如により解釈が困難である。
一方、ランダム機能モデルは解釈可能性から人気を集めているが、複雑な機械学習タスクへの応用は限定的である。
本研究では,同数の学習可能なパラメータを持つ完全連結ニューラルネットワークに対して,解釈可能であり,同等の数値計算結果を与える拡散モデルに着想を得た深層ランダム特徴モデルを提案する。
具体的には、ランダムな特徴に対する既存の結果を拡張し、サンプルデータの分布と真の分布との一般化境界をスコアマッチングの特性を用いて導出する。
ファッションMNISTデータセットとインストゥルメンタルオーディオデータに基づいてサンプルを生成し,本研究の検証を行った。
関連論文リスト
- Analyzing Neural Network-Based Generative Diffusion Models through
Convex Optimization [54.01594785269913]
拡散モデルは画像、ビデオ、オーディオ生成に広く使われている。
スコアベース拡散モデルでは,入力データ分布のスコア関数を推定する必要がある。
この研究は、ニューラルネットワークベースの拡散モデルが漸近的でない環境で何を学ぶかを理解するのに寄与する。
論文 参考訳(メタデータ) (2024-02-03T00:20:25Z) - Continuous Diffusion for Mixed-Type Tabular Data [3.146069168382982]
本稿では,スコアマッチングとスコア決定を組み合わせることで,共通タイプの連続雑音分布を確保する。
また,特徴やデータタイプ毎に異なるノイズスケジュールの影響についても検討する。
その結果、我々のモデルは最先端のベンチマークモデルより一貫して優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-16T12:21:03Z) - Discrete Diffusion Modeling by Estimating the Ratios of the Data
Distribution [76.33705947080871]
離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。
標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
論文 参考訳(メタデータ) (2023-10-25T17:59:12Z) - Generative Diffusion From An Action Principle [0.0]
スコアマッチングは、物理でよく用いられるようなアクション原理から導出できることを示す。
この洞察を用いて、異なる拡散モデルのクラス間の関係を実証する。
論文 参考訳(メタデータ) (2023-10-06T18:00:00Z) - Bayesian Flow Networks [4.585102332532472]
本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。
単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。
BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
論文 参考訳(メタデータ) (2023-08-14T09:56:35Z) - User-defined Event Sampling and Uncertainty Quantification in Diffusion
Models for Physical Dynamical Systems [49.75149094527068]
拡散モデルを用いて予測を行い,カオス力学系に対する不確かさの定量化が可能であることを示す。
本研究では,雑音レベルが低下するにつれて真の分布に収束する条件付きスコア関数の確率的近似法を開発する。
推論時に非線形ユーザ定義イベントを条件付きでサンプリングすることができ、分布の尾部からサンプリングした場合でもデータ統計と一致させることができる。
論文 参考訳(メタデータ) (2023-06-13T03:42:03Z) - Score Approximation, Estimation and Distribution Recovery of Diffusion
Models on Low-Dimensional Data [68.62134204367668]
本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。
適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。
推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
論文 参考訳(メタデータ) (2023-02-14T17:02:35Z) - Learning Multivariate CDFs and Copulas using Tensor Factorization [39.24470798045442]
データの多変量分布を学習することは、統計学と機械学習における中核的な課題である。
本研究では,多変量累積分布関数(CDF)を学習し,混合確率変数を扱えるようにすることを目的とする。
混合確率変数の合同CDFの任意のグリッドサンプリング版は、単純ベイズモデルとして普遍表現を許容することを示す。
提案モデルの性能を,回帰,サンプリング,データ計算を含むいくつかの合成および実データおよびアプリケーションで実証する。
論文 参考訳(メタデータ) (2022-10-13T16:18:46Z) - Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。
我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文 参考訳(メタデータ) (2022-10-05T09:17:27Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳(メタデータ) (2021-10-20T12:25:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。