論文の概要: Anytime Sampling for Autoregressive Models via Ordered Autoencoding

• arxiv url: http://arxiv.org/abs/2102.11495v1
• Date: Tue, 23 Feb 2021 05:13:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-25 06:36:56.098266
• Title: Anytime Sampling for Autoregressive Models via Ordered Autoencoding
• Title（参考訳）: 順序付きオートエンコーディングによる自己回帰モデルの任意のサンプリング
• Authors: Yilun Xu, Yang Song, Sahaj Garg, Linyuan Gong, Rui Shu, Aditya Grover, Stefano Ermon
• Abstract要約: 自動回帰モデルは画像生成や音声生成などのタスクに広く使われている。 これらのモデルのサンプリングプロセスは割り込みを許さず、リアルタイムの計算資源に適応できない。 いつでもサンプリングできる新しい自動回帰モデルファミリーを提案します。
• 参考スコア（独自算出の注目度）: 88.01906682843618
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive models are widely used for tasks such as image and audio generation. The sampling process of these models, however, does not allow interruptions and cannot adapt to real-time computational resources. This challenge impedes the deployment of powerful autoregressive models, which involve a slow sampling process that is sequential in nature and typically scales linearly with respect to the data dimension. To address this difficulty, we propose a new family of autoregressive models that enables anytime sampling. Inspired by Principal Component Analysis, we learn a structured representation space where dimensions are ordered based on their importance with respect to reconstruction. Using an autoregressive model in this latent space, we trade off sample quality for computational efficiency by truncating the generation process before decoding into the original data space. Experimentally, we demonstrate in several image and audio generation tasks that sample quality degrades gracefully as we reduce the computational budget for sampling. The approach suffers almost no loss in sample quality (measured by FID) using only 60\% to 80\% of all latent dimensions for image data. Code is available at https://github.com/Newbeeer/Anytime-Auto-Regressive-Model .
• Abstract（参考訳）: 自動回帰モデルは画像生成や音声生成などのタスクに広く使われている。 しかし、これらのモデルのサンプリングプロセスは中断を許さず、リアルタイムの計算リソースに適応できません。 この課題は、本質的にシーケンシャルで、典型的にはデータ次元に関して線形にスケールする遅いサンプリングプロセスを含む強力な自己回帰モデルの展開を妨げる。 この難易度に対処するため、いつでもサンプリングを可能にする新しい自動回帰モデルファミリーを提案します。 主成分分析に触発されて,次元が再構成における重要度に基づいて順序づけされる構造的表現空間を学習する。 この潜在空間における自己回帰モデルを用いて、元のデータ空間に復号する前に生成過程を切断し、サンプル品質を計算効率で交換する。 実験では,サンプリングの計算予算を削減し,サンプル品質が優雅に劣化する複数の画像および音声生成タスクを実演する。 このアプローチは、画像データの全潜在次元の60\%から80\%しか使っていないサンプル品質(fidによる測定)がほとんど失われない。 コードはhttps://github.com/Newbeeer/Anytime-Auto-Regressive-Modelで入手できる。

関連論文リスト

• Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
  拡散モデルは、大規模な生成画像モデルの分野を支配してきた。 本研究では,大規模な事前学習拡散モデルにおける高速拘束サンプリングのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-24T14:52:38Z)
• One Step Diffusion via Shortcut Models [109.72495454280627]
  単一ネットワークとトレーニングフェーズを用いて高品質なサンプルを生成する,生成モデルのファミリであるショートカットモデルを導入する。 ショートカットモデルは、現在のノイズレベルと所望のステップサイズにネットワークを条件付け、生成プロセスでモデルをスキップすることができる。 蒸留と比較して、ショートカットモデルは複雑性を1つのネットワークとトレーニングフェーズに減らし、推論時に様々なステップ予算を許容する。
  論文  参考訳（メタデータ） (2024-10-16T13:34:40Z)
• Generalizing to Out-of-Sample Degradations via Model Reprogramming [29.56470202794348]
  アウト・オブ・サンプル修復(OSR)タスクは、アウト・オブ・サンプル劣化を処理可能な復元モデルを開発することを目的としている。 本稿では,量子力学と波動関数によるサンプル外劣化を変換するモデル再プログラミングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-09T11:56:26Z)
• RL-based Stateful Neural Adaptive Sampling and Denoising for Real-Time Path Tracing [1.534667887016089]
  モンテカルロ経路追跡は、現実的な画像合成の強力な手法であるが、低いサンプル数での高レベルのノイズに悩まされている。 本稿では,サンプリング重要度ネットワーク,遅延空間エンコーダネットワーク,デノイザネットワークをエンドツーエンドでトレーニングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-05T12:39:27Z)
• Latent Autoregressive Source Separation [5.871054749661012]
  本稿では,ベクトル量子化遅延自己回帰音源分離(入力信号を構成源にデミックスする)を導入する。 分離法は, 自己回帰モデルが先行するベイズ式に依拠し, 付加トークンの潜在和に対して離散的(非パラメトリック)確率関数を構築した。
  論文  参考訳（メタデータ） (2023-01-09T17:32:00Z)
• Megapixel Image Generation with Step-Unrolled Denoising Autoencoders [5.145313322824774]
  本稿では,サンプルの解像度を高くする手法と,トレーニングとサンプリングの計算要求を低減させる手法の組み合わせを提案する。 例えば、ベクトル量子化GAN(VQ-GAN)、高レベルの損失 - しかし知覚的に重要 - 圧縮 - が可能なベクトル量子化(VQ)モデル、時間ガラストランスフォーマー、高スケールの自己アテンションモデル、非自己回帰(NAR)テキスト生成モデルであるステップ制御型デノイングオートエンコーダ(SUNDAE)などがある。 提案するフレームワークは,高解像度(1024×1024$)までスケールし,(高速で)トレーニングを行う。
  論文  参考訳（メタデータ） (2022-06-24T15:47:42Z)
• Improved Autoregressive Modeling with Distribution Smoothing [106.14646411432823]
  オートレグレッシブモデルは画像圧縮に優れていますが、そのサンプル品質はしばしば欠けています。 敵対的防御法の成功に触発されて,ランダム化平滑化を自己回帰的生成モデルに取り入れた。
  論文  参考訳（メタデータ） (2021-03-28T09:21:20Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Instance Selection for GANs [25.196177369030146]
  GAN(Generative Adversarial Networks)は、高品質な合成画像を生成するために広く採用されている。 GANはしばしばデータ多様体の外にある非現実的なサンプルを生成する。 本稿では,サンプルの品質向上のための新しいアプローチを提案する。モデルトレーニングが行われる前に,インスタンス選択によるトレーニングデータセットの変更を行う。
  論文  参考訳（メタデータ） (2020-07-30T06:33:51Z)
• Set Based Stochastic Subsampling [85.5331107565578]
  本稿では,2段階間ニューラルサブサンプリングモデルを提案する。 画像分類,画像再構成,機能再構築,少数ショット分類など,様々なタスクにおいて,低いサブサンプリング率で関連ベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2020-06-25T07:36:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。