論文の概要: Autoregressive Generative Modeling with Noise Conditional Maximum Likelihood Estimation

• arxiv url: http://arxiv.org/abs/2210.10715v1
• Date: Wed, 19 Oct 2022 16:47:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 13:27:22.449781
• Title: Autoregressive Generative Modeling with Noise Conditional Maximum Likelihood Estimation
• Title（参考訳）: 雑音条件最大度推定を用いた自己回帰生成モデル
• Authors: Henry Li and Yuval Kluger
• Abstract要約: ノイズレベルの連続性によって摂動されるデータからなるテクスタイズ条件条件の族を最大化する。 この方法でトレーニングされたモデルは、ノイズに対してより堅牢で、高いテスト可能性を獲得し、高品質な画像を生成する。
• 参考スコア（独自算出の注目度）: 4.061135251278187
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a simple modification to the standard maximum likelihood estimation (MLE) framework. Rather than maximizing a single unconditional likelihood of the data under the model, we maximize a family of \textit{noise conditional} likelihoods consisting of the data perturbed by a continuum of noise levels. We find that models trained this way are more robust to noise, obtain higher test likelihoods, and generate higher quality images. They can also be sampled from via a novel score-based sampling scheme which combats the classical \textit{covariate shift} problem that occurs during sample generation in autoregressive models. Applying this augmentation to autoregressive image models, we obtain 3.32 bits per dimension on the ImageNet 64x64 dataset, and substantially improve the quality of generated samples in terms of the Frechet Inception distance (FID) -- from 37.50 to 12.09 on the CIFAR-10 dataset.
• Abstract（参考訳）: 本稿では、mle(standard maximum likelihood estimation)フレームワークの簡単な修正を提案する。 モデルに基づくデータの単一の非条件確率を最大化するのではなく、ノイズレベルの連続体によって摂動されるデータからなる「textit{noise conditional}」の族を最大化する。 この方法でトレーニングされたモデルは、ノイズに対してより堅牢で、高いテスト可能性を獲得し、高品質な画像を生成する。 これらはまた、自己回帰モデルにおけるサンプル生成中に発生する古典的な \textit{covariate shift} 問題と戦う新しいスコアベースのサンプリングスキームによってサンプリングすることもできる。 この拡張を自己回帰画像モデルに適用することにより、ImageNet 64x64データセットで1次元あたり3.32ビットを取得し、CIFAR-10データセットで37.50から12.09までのFrechet Inception distance (FID)で生成したサンプルの品質を大幅に改善する。

関連論文リスト

• Decision-based iterative fragile watermarking for model integrity verification [33.42076236847454]
  ファンデーションモデルは一般的に、彼らのサービスに対する高い需要を満たすために、クラウドサーバー上でホストされる。 これは、アタッカーがクラウドにアップロードしたり、ローカルシステムから転送した後で修正できるため、セキュリティ上のリスクにさらされる。 本稿では,通常のトレーニングサンプルをモデル変更に敏感な脆弱なサンプルに変換する,反復的意思決定に基づく脆弱な透かしアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-13T10:36:11Z)
• Consistency Models [89.68380014789861]
  ノイズを直接データにマッピングすることで,高品質なサンプルを生成する新しいモデル群を提案する。 設計によって高速なワンステップ生成をサポートしながら、マルチステップサンプリングによって、サンプル品質の計算を交換することができる。 イメージインペイント、カラー化、超高解像度といったゼロショットデータ編集も、明示的なトレーニングを必要とせずサポートしている。
  論文  参考訳（メタデータ） (2023-03-02T18:30:16Z)
• Anytime Sampling for Autoregressive Models via Ordered Autoencoding [88.01906682843618]
  自動回帰モデルは画像生成や音声生成などのタスクに広く使われている。 これらのモデルのサンプリングプロセスは割り込みを許さず、リアルタイムの計算資源に適応できない。 いつでもサンプリングできる新しい自動回帰モデルファミリーを提案します。
  論文  参考訳（メタデータ） (2021-02-23T05:13:16Z)
• Learning Energy-Based Models by Diffusion Recovery Likelihood [61.069760183331745]
  本稿では,エネルギーベースモデルから気軽に学習・サンプルできる拡散回復可能性法を提案する。 学習後、ガウスの白色雑音分布から初期化するサンプリングプロセスにより合成画像を生成することができる。 非条件 CIFAR-10 では,本手法は FID 9.58 と開始スコア 8.30 を達成する。
  論文  参考訳（メタデータ） (2020-12-15T07:09:02Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)
• Denoising Diffusion Probabilistic Models [91.94962645056896]
  拡散確率モデルを用いて高品質な画像合成結果を示す。 本研究は,拡散確率モデルとランゲヴィン力学と整合したデノイングスコアとの新たな接続に基づいて設計した重み付き変分境界のトレーニングにより得られた。
  論文  参考訳（メタデータ） (2020-06-19T17:24:44Z)
• Improved Techniques for Training Score-Based Generative Models [104.20217659157701]
  本研究では,高次元空間におけるスコアモデルからの学習とサンプリングに関する新しい理論的解析を行う。 スコアベースの生成モデルを前例のない解像度で画像に拡張することができる。 我々のスコアベースモデルは、様々な画像データセットで最良クラスGANに匹敵する高忠実度サンプルを生成することができる。
  論文  参考訳（メタデータ） (2020-06-16T09:17:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。