論文の概要: Parallel and Flexible Sampling from Autoregressive Models via Langevin Dynamics

• arxiv url: http://arxiv.org/abs/2105.08164v1
• Date: Mon, 17 May 2021 21:07:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-19 14:09:27.833810
• Title: Parallel and Flexible Sampling from Autoregressive Models via Langevin Dynamics
• Title（参考訳）: Langevin Dynamicsによる自己回帰モデルからの並列およびフレキシブルサンプリング
• Authors: Vivek Jayaram, John Thickstun
• Abstract要約: ホワイトノイズでシーケンスを初期化し,Langevin dynamicsによって定義されたマルコフ連鎖に従ってシーケンスのグローバルなログライクな状態を示すサンプリング手順を提案する。 これらの手法を視覚および聴覚領域の自己回帰モデルに適用し,オーディオソース分離,超解像,インペインティングの競争結果と比較した。
• 参考スコア（独自算出の注目度）: 13.097161185372151
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces an alternative approach to sampling from autoregressive models. Autoregressive models are typically sampled sequentially, according to the transition dynamics defined by the model. Instead, we propose a sampling procedure that initializes a sequence with white noise and follows a Markov chain defined by Langevin dynamics on the global log-likelihood of the sequence. This approach parallelizes the sampling process and generalizes to conditional sampling. Using an autoregressive model as a Bayesian prior, we can steer the output of a generative model using a conditional likelihood or constraints. We apply these techniques to autoregressive models in the visual and audio domains, with competitive results for audio source separation, super-resolution, and inpainting.
• Abstract（参考訳）: 本稿では,自己回帰モデルからのサンプリングの代替手法を提案する。 自己回帰モデルは通常、モデルによって定義される遷移ダイナミクスに従って順次サンプリングされる。 代わりに,白色雑音を持つ列を初期化するサンプリング手順を提案し,その列の大域的ログ様相のランジュバンダイナミクスによって定義されるマルコフ連鎖に従う。 このアプローチはサンプリングプロセスを並列化し、条件付きサンプリングに一般化する。 ベイズ事前として自己回帰モデルを用いることで、条件付き確率や制約を使って生成モデルの出力を制御できる。 これらの手法を視覚および聴覚領域の自己回帰モデルに適用し,オーディオソース分離,超解像,インペインティングの競争結果と比較した。

関連論文リスト

• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• σ-GPTs: A New Approach to Autoregressive Models [19.84252724050016]
  出力に位置エンコーディングを追加するだけで、この順序をオンザフライ・イン・サンプルで変調できることを示す。 我々は,言語モデリング,パス解決,航空機の垂直速度予測など,様々な領域にわたる手法の評価を行った。
  論文  参考訳（メタデータ） (2024-04-15T08:22:47Z)
• Stable generative modeling using Schrödinger bridges [0.22499166814992438]
  本稿では,Schr"odinger BridgesとLangevin dynamicsを組み合わせた生成モデルを提案する。 我々のフレームワークは自然に条件付きサンプルを生成し、ベイズ推論問題に拡張することができる。
  論文  参考訳（メタデータ） (2024-01-09T06:15:45Z)
• Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic Analysis For DDIM-Type Samplers [90.45898746733397]
  本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。 確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
  論文  参考訳（メタデータ） (2023-03-06T18:59:19Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Autoregressive Dynamics Models for Offline Policy Evaluation and Optimization [60.73540999409032]
  表現的自己回帰ダイナミクスモデルが次の状態の異なる次元を生成し、以前の次元で順次条件付きで報酬を得ることを示す。 また,リプレイバッファを充実させる手段として,自己回帰的ダイナミクスモデルがオフラインポリシー最適化に有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-28T16:48:44Z)
• On tuning consistent annealed sampling for denoising score matching [17.10144603522758]
  Scoreベースの生成モデルは、画像とオーディオ合成に最先端の品質を提供します。 本稿では,まず,スコアマッチングを訓練したモデルの3つの一般的なサンプリングスキームについて概説する。
  論文  参考訳（メタデータ） (2021-04-08T12:19:10Z)
• Symbolic Music Generation with Diffusion Models [4.817429789586127]
  本論文では,前訓練された可変オートエンコーダの連続潜空間における離散領域をパラメータ化することにより,連続データに対する拡散モデルを訓練する手法を提案する。 同じ連続埋め込み上で動作する自己回帰型言語モデルと比較して,強い無条件生成とポストホック条件付インフィル結果を示す。
  論文  参考訳（メタデータ） (2021-03-30T05:48:05Z)
• Anytime Sampling for Autoregressive Models via Ordered Autoencoding [88.01906682843618]
  自動回帰モデルは画像生成や音声生成などのタスクに広く使われている。 これらのモデルのサンプリングプロセスは割り込みを許さず、リアルタイムの計算資源に適応できない。 いつでもサンプリングできる新しい自動回帰モデルファミリーを提案します。
  論文  参考訳（メタデータ） (2021-02-23T05:13:16Z)
• Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
  このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。 また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
  論文  参考訳（メタデータ） (2021-02-08T20:08:50Z)
• Improving Sequential Latent Variable Models with Autoregressive Flows [30.053464816814348]
  本稿では,自己回帰正規化フローに基づくシーケンスモデリングの改良手法を提案する。 結果は3つのベンチマークビデオデータセットで示され、自動回帰フローベースのダイナミックスがログライクなパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2020-10-07T05:14:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。