Fugu-MT 論文翻訳(概要): Quasi-Autoregressive Residual (QuAR) Flows

論文の概要: Quasi-Autoregressive Residual (QuAR) Flows

arxiv url: http://arxiv.org/abs/2009.07419v1
Date: Wed, 16 Sep 2020 01:56:24 GMT
ステータス: 処理完了
システム内更新日: 2022-10-17 23:10:50.123767
Title: Quasi-Autoregressive Residual (QuAR) Flows
Title（参考訳）: 準自己回帰残留流(QuAR)
Authors: Achintya Gopal
Abstract要約: 擬似自己回帰法(QuAR)を用いて残留流の簡易化を行う。従来の残流法と比較して、この単純化は残流の利点の多くを保ちながら、計算時間とメモリの要求を大幅に削減する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Normalizing Flows are a powerful technique for learning and modeling probability distributions given samples from those distributions. The current state of the art results are built upon residual flows as these can model a larger hypothesis space than coupling layers. However, residual flows are extremely computationally expensive both to train and to use, which limits their applicability in practice. In this paper, we introduce a simplification to residual flows using a Quasi-Autoregressive (QuAR) approach. Compared to the standard residual flow approach, this simplification retains many of the benefits of residual flows while dramatically reducing the compute time and memory requirements, thus making flow-based modeling approaches far more tractable and broadening their potential applicability.
Abstract（参考訳）: 正規化フローは、それらの分布から与えられたサンプルの確率分布を学習し、モデル化するための強力な技術である。現在の技術結果は、結合層よりも大きな仮説空間をモデル化できるため、残留フローの上に構築されている。しかし、残留フローは訓練と使用の両方に非常に計算コストがかかるため、実際の適用性が制限される。本稿では,Quasi-Autoregressive (QuAR) アプローチによる残留流の簡易化について述べる。従来の残留流法と比較して、この単純化は残流の利点の多くを保ちながら、計算時間とメモリの要求を劇的に減らし、フローベースのモデリングアプローチをはるかにトラクタブルにし、潜在的な適用可能性を広げる。

関連論文リスト

Verlet Flows: Exact-Likelihood Integrators for Flow-Based Generative Models [4.9425328004453375]
ハミルトン力学のシンプレクティックに着想を得た拡張状態空間上のCNFのクラスであるVerlet Flowを提案する。バーレットフローは、最小の表現性制約を課しながら、非連続的な設定から結合フローアーキテクチャを一般化する、正確な類似した生成モデルを提供する。おもちゃの密度に関する実験では、一般的なハッチンソントレース推定器のばらつきは重要サンプリングには適さないが、一方、Verletフローは完全オートグレートトレース計算に比較可能であり、かなり高速である。
論文参考訳（メタデータ） (2024-05-05T03:47:56Z)
Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文参考訳（メタデータ） (2023-11-22T15:07:59Z)
Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文参考訳（メタデータ） (2023-10-06T16:36:08Z)
Improving Diffusion Models for Inverse Problems using Manifold Constraints [55.91148172752894]
我々は,現在の解法がデータ多様体からサンプルパスを逸脱し,エラーが蓄積することを示す。この問題に対処するため、多様体の制約に着想を得た追加の補正項を提案する。本手法は理論上も経験上も従来の方法よりも優れていることを示す。
論文参考訳（メタデータ） (2022-06-02T09:06:10Z)
Deep Equilibrium Optical Flow Estimation [80.80992684796566]
最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
論文参考訳（メタデータ） (2022-04-18T17:53:44Z)
Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文参考訳（メタデータ） (2022-02-23T06:11:49Z)
Attentive Contractive Flow with Lipschitz-constrained Self-Attention [25.84621883831624]
注意的収縮フロー(ACF)と呼ばれる新しいアプローチを導入する。 ACFは、フローベースの生成モデル - 収縮フロー - の特別なカテゴリを利用する。我々は, ACFをプラグアンドプレイ方式で, 各種のアートフローモデルに導入できることを実証した。
論文参考訳（メタデータ） (2021-09-24T18:02:49Z)
Universal Approximation of Residual Flows in Maximum Mean Discrepancy [24.493721984271566]
リプシッツ残差ブロックからなる正規化流のクラスである残留流について検討する。残差流は最大平均差の普遍近似であることを示す。
論文参考訳（メタデータ） (2021-03-10T00:16:33Z)
Towards Recurrent Autoregressive Flow Models [39.25035894474609]
本稿では,正規化フローを用いた一般的なプロセスモデリングのための手法として,リカレント自己回帰フローを提案する。提案手法は, ニューラル接続を繰り返す正規化フローのパラメータを条件付けすることにより, 逐次的過程における各変数の条件分布を定義する。モデルが3つの複雑なプロセスで訓練される一連の実験を通して、このモデルのクラスの有効性を実証する。
論文参考訳（メタデータ） (2020-06-17T18:38:36Z)
Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
論文参考訳（メタデータ） (2020-04-08T09:07:11Z)
Closing the Dequantization Gap: PixelCNN as a Single-Layer Flow [16.41460104376002]
有限体積を変換し、離散データに対する確率の正確な計算を可能にするサブセットフローを導入する。我々は、WaveNets、PixelCNNs、Transformersを含む通常の離散自己回帰モデルを単層フローとして識別する。我々は, CIFAR-10 を用いて, 脱量子化を訓練した流れモデルについて, 実測結果を示す。
論文参考訳（メタデータ） (2020-02-06T22:58:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。