論文の概要: An Introduction to Deep Generative Modeling
- arxiv url: http://arxiv.org/abs/2103.05180v1
- Date: Tue, 9 Mar 2021 02:19:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-11 13:44:21.962041
- Title: An Introduction to Deep Generative Modeling
- Title(参考訳): 深部生成モデリング入門
- Authors: Lars Ruthotto and Eldad Haber
- Abstract要約: 深層生成モデル(dgm)は、複雑な高次元確率分布を近似するために多くの隠れ層を訓練したニューラルネットワークである。
DGMの紹介と3つの最もポピュラーなアプローチをモデリングするためのフレームワークを提供します。
私たちの目標は、読者がこの急成長する研究領域に貢献できるようにすることです。
- 参考スコア(独自算出の注目度): 8.909115457491522
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep generative models (DGM) are neural networks with many hidden layers
trained to approximate complicated, high-dimensional probability distributions
using a large number of samples. When trained successfully, we can use the DGMs
to estimate the likelihood of each observation and to create new samples from
the underlying distribution. Developing DGMs has become one of the most hotly
researched fields in artificial intelligence in recent years. The literature on
DGMs has become vast and is growing rapidly. Some advances have even reached
the public sphere, for example, the recent successes in generating
realistic-looking images, voices, or movies; so-called deep fakes. Despite
these successes, several mathematical and practical issues limit the broader
use of DGMs: given a specific dataset, it remains challenging to design and
train a DGM and even more challenging to find out why a particular model is or
is not effective. To help advance the theoretical understanding of DGMs, we
provide an introduction to DGMs and provide a concise mathematical framework
for modeling the three most popular approaches: normalizing flows (NF),
variational autoencoders (VAE), and generative adversarial networks (GAN). We
illustrate the advantages and disadvantages of these basic approaches using
numerical experiments. Our goal is to enable and motivate the reader to
contribute to this proliferating research area. Our presentation also
emphasizes relations between generative modeling and optimal transport.
- Abstract(参考訳): 深層生成モデル(dgm)は、多数のサンプルを用いて複雑な高次元確率分布を近似するように訓練された多くの隠れ層を持つニューラルネットワークである。
トレーニングに成功すると、DGMを使用して各観察の可能性を推定し、基礎となる分布から新しいサンプルを作成することができます。
近年、DGMの開発は人工知能における最も熱い研究分野の1つとなっている。
DGMに関する文献は広くなり、急速に成長している。
例えば、現実的に見える画像、音声、または映画を作成するという最近の成功、いわゆるディープフェイクなど、いくつかの進歩が公共の領域に到達しています。
特定のデータセットが与えられたとしても、dgmの設計とトレーニングは依然として困難であり、特定のモデルがなぜ有効であるのか、それとも効果的ではないのかを知るのはさらに困難です。
DGMの理論的理解を促進するために、我々はDGMを紹介し、フローの正規化(NF)、変分オートエンコーダ(VAE)、生成対向ネットワーク(GAN)の3つの最も一般的なアプローチをモデル化するための簡潔な数学的枠組みを提供する。
本稿では,これらの基礎的手法の利点と欠点を数値実験により示す。
私たちの目標は、読者がこの急成長する研究領域に貢献できるようにすることです。
また, 生成モデルと最適輸送の関係も強調した。
関連論文リスト
- DGInStyle: Domain-Generalizable Semantic Segmentation with Image
Diffusion Models and Stylized Semantic Control [71.5653099236357]
DGInStyleと呼ばれる効率的なデータ生成パイプラインを提案する。
街路シーンの多様なデータセットを生成し、ドメインに依存しないセマンティックセマンティックセマンティクスモデルをトレーニングし、人気のある自動運転データセット上でモデルを評価する。
論文 参考訳(メタデータ) (2023-12-05T18:34:12Z) - A Survey on Generative Modeling with Limited Data, Few Shots, and Zero
Shot [33.564516823250806]
機械学習において、生成モデリングは、トレーニングデータ分布と統計的に類似した新しいデータを生成することを目的としている。
これは、データ取得が困難である場合、例えば医療アプリケーションにおいて重要なトピックである。
GM-DCタスク間のインタラクションとアプローチについて検討する。
論文 参考訳(メタデータ) (2023-07-26T12:05:08Z) - Understanding Deep Generative Models with Generalized Empirical
Likelihoods [3.7978679293562587]
そこで本研究では,最大平均離散性と一般化経験的類似性(Generalized Empirical Likelihood)の技術を組み合わせて,サンプルごとの解釈可能性を維持する分布テストを作成する方法について述べる。
このようなテストでは、精度/リコールの改善などの指標よりも、モード低下やモード不均衡の度合いが最大60%向上していることが判明した。
論文 参考訳(メタデータ) (2023-06-16T11:33:47Z) - Deep Generative Model and Its Applications in Efficient Wireless Network
Management: A Tutorial and Case Study [71.8330148641267]
ディープジェネレーションモデル(DGM)は2022年から爆発的な成長を遂げている。
本稿では,無線ネットワーク管理の効率化に向けたDGMの応用について検討する。
論文 参考訳(メタデータ) (2023-03-30T02:59:51Z) - Large-scale Multi-Modal Pre-trained Models: A Comprehensive Survey [69.03538086844516]
本稿では, 自然言語処理, コンピュータビジョン, 音声処理における従来のディープラーニング, 事前学習の成果を概観することにより, マルチモーダル事前学習の背景を紹介する。
次に,マルチモーダル事前学習モデル(MM-PTM)のタスク定義,課題,メリットを紹介し,データ,目的,ネットワークアーキテクチャ,知識強化事前学習に着目して,MM-PTMについて議論する。
論文 参考訳(メタデータ) (2023-02-20T15:34:03Z) - When Neural Networks Fail to Generalize? A Model Sensitivity Perspective [82.36758565781153]
ドメイン一般化 (Domain Generalization, DG) は、異なる分布の下で見えないドメインでうまく機能するようにモデルを訓練することを目的としている。
本稿では,より現実的で,より困難なシナリオである単一領域一般化(Single-DG)について考察する。
我々は「モデル感度」と命名する一般化と強く相関するモデルの性質を経験的に確認する。
本稿では、高感度の周波数をターゲットとした拡張画像を生成するために、スペクトル逆データ拡張(SADA)の新たな戦略を提案する。
論文 参考訳(メタデータ) (2022-12-01T20:15:15Z) - On-Device Domain Generalization [93.79736882489982]
ドメインの一般化はデバイス上の機械学習アプリケーションにとって重要である。
知識蒸留がこの問題の解決の有力な候補であることがわかった。
本研究では,教師が配布外データをどのように扱えるかを学生に教えることを目的とした,配布外知識蒸留(OKD)という簡単なアイデアを提案する。
論文 参考訳(メタデータ) (2022-09-15T17:59:31Z) - A Survey on Generative Diffusion Model [75.93774014861978]
拡散モデルは、深層生成モデルの新たなクラスである。
時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。
本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
論文 参考訳(メタデータ) (2022-09-06T16:56:21Z) - The Devil is in the GAN: Defending Deep Generative Models Against
Backdoor Attacks [4.369506407912208]
劣化したDeep Generative Models(DGM)による新たなトレーニングタイムアタックについて述べる。
我々の攻撃は、攻撃の盗難と忠実性という2つの目的を組み合わせた敵の損失関数に基づいている。
我々の実験は、大規模産業レベルのDGMであっても、我々の攻撃は控えめな計算努力で実施できることを示している。
論文 参考訳(メタデータ) (2021-08-03T17:33:38Z) - Generative Adversarial Networks (GANs): An Overview of Theoretical
Model, Evaluation Metrics, and Recent Developments [9.023847175654602]
GAN(Generative Adversarial Network)は,大規模データ分散のサンプルを作成する上で有効な手法である。
GANはラベル付きトレーニングデータを広く使用せずにディープ表現を学習する適切な方法を提供する。
GANでは、ジェネレータと識別器のネットワークを同時にトレーニングする競合プロセスを通じて生成モデルを推定する。
論文 参考訳(メタデータ) (2020-05-27T05:56:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。