論文の概要: FInC Flow: Fast and Invertible $k \times k$ Convolutions for Normalizing
Flows
- arxiv url: http://arxiv.org/abs/2301.09266v1
- Date: Mon, 23 Jan 2023 04:31:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-24 14:10:22.379272
- Title: FInC Flow: Fast and Invertible $k \times k$ Convolutions for Normalizing
Flows
- Title（参考訳）: FInC Flow: フローの正規化のための高速で可逆的な$k \times k$ Convolutions
- Authors: Aditya Kallappa, Sandeep Nagar, Girish Varma
- Abstract要約: 可逆畳み込みは、表現的正規化フローベース生成モデルを構築する上で不可欠な要素である。
我々は、$k倍の畳み込み層とDeep Normalizing Flowアーキテクチャを提案する。
- 参考スコア（独自算出の注目度）: 2.156373334386171
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Invertible convolutions have been an essential element for building
expressive normalizing flow-based generative models since their introduction in
Glow. Several attempts have been made to design invertible $k \times k$
convolutions that are efficient in training and sampling passes. Though these
attempts have improved the expressivity and sampling efficiency, they severely
lagged behind Glow which used only $1 \times 1$ convolutions in terms of
sampling time. Also, many of the approaches mask a large number of parameters
of the underlying convolution, resulting in lower expressivity on a fixed
run-time budget. We propose a $k \times k$ convolutional layer and Deep
Normalizing Flow architecture which i.) has a fast parallel inversion algorithm
with running time O$(n k^2)$ ($n$ is height and width of the input image and k
is kernel size), ii.) masks the minimal amount of learnable parameters in a
layer. iii.) gives better forward pass and sampling times comparable to other
$k \times k$ convolution-based models on real-world benchmarks. We provide an
implementation of the proposed parallel algorithm for sampling using our
invertible convolutions on GPUs. Benchmarks on CIFAR-10, ImageNet, and CelebA
datasets show comparable performance to previous works regarding bits per
dimension while significantly improving the sampling time.
- Abstract（参考訳）: 可逆畳み込みは、Glow に導入されて以来、表現的正規化フローベース生成モデルを構築する上で不可欠な要素である。
非可逆な$k \times k$畳み込みを設計し、パスのトレーニングとサンプリングに効率的である。
これらの試みは表現率とサンプリング効率を向上させたが、サンプリング時間の観点からは1ドル1セントの畳み込みしか使わなかったGlowに大きく遅れを取っていた。
また、多くのアプローチは基盤となる畳み込みの多くのパラメータを隠蔽し、固定された実行時予算での表現性が低下する。
我々は、$k \times k$畳み込み層とDeep Normalizing Flowアーキテクチャを提案する。
動作時間 O$(n k^2)$$$(n$は入力画像の高さと幅、kはカーネルサイズ) の高速並列反転アルゴリズムを持つ。
) レイヤ内の学習可能なパラメータの最小量をマスクする。
第3回。
他の$k \times k$ convolution-based model on real-world benchmarksに匹敵する、より優れたフォワードパスとサンプリングタイムを提供する。
本稿では,GPU上の可逆畳み込みを用いたサンプリングのための並列アルゴリズムの実装を提案する。
CIFAR-10、ImageNet、およびCelebAデータセットのベンチマークでは、サンプリング時間を大幅に改善しながら、次元ごとのビットに関する以前の研究と同等のパフォーマンスを示している。
関連論文リスト
- Parallel Backpropagation for Inverse of a Convolution with Application to Normalizing Flows [2.048226951354646]
非可逆的畳み込みの逆は、正規化フローで現れる重要な操作である。
正方形画像に対して,動作時間$O(sqrtn)$の高速並列バックプロパゲーションアルゴリズムを提案する。
従来のモデルと比較して,次元毎に類似したビットでサンプリング時間を大幅に改善した。
論文 参考訳（メタデータ） (2024-10-18T17:35:33Z) - MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images [102.7646120414055]
入力としてスパースなマルチビュー画像を与えられたMVSplatは、クリーンなフィードフォワード3Dガウスを予測できる。
大規模RealEstate10KとACIDベンチマークでは、MVSplatは高速フィードフォワード推論速度(22fps)で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-03-21T17:59:58Z) - FlashFFTConv: Efficient Convolutions for Long Sequences with Tensor
Cores [18.016204763652553]
長いフィルタを持つ畳み込みモデルは、多くの長いシーケンスタスクにおいて最先端の推論能力を示している。
Fast Fourier Transform (FFT) は、長い畳み込みを$O(N logN)$ time in sequence length $N$で実行可能にするが、ハードウェア利用は乏しい。
本稿では,FFT畳み込みの最適化方法について検討する。
論文 参考訳（メタデータ） (2023-11-10T07:33:35Z) - Multi-block-Single-probe Variance Reduced Estimator for Coupled
Compositional Optimization [49.58290066287418]
構成問題の複雑さを軽減するために,MSVR (Multi-block-probe Variance Reduced) という新しい手法を提案する。
本研究の結果は, 試料の複雑さの順序や強靭性への依存など, 様々な面で先行して改善された。
論文 参考訳（メタデータ） (2022-07-18T12:03:26Z) - Paraformer: Fast and Accurate Parallel Transformer for
Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。
出力トークンの数を正確に予測し、隠れた変数を抽出する。
10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
論文 参考訳（メタデータ） (2022-06-16T17:24:14Z) - Asynchronous Stochastic Optimization Robust to Arbitrary Delays [54.61797739710608]
遅延勾配の最適化を考えると、ステップt$毎に、アルゴリズムは古い計算を使って更新する - d_t$ for arbitrary delay $d_t gradient。
本実験は,遅延分布が歪んだり重くなったりした場合のアルゴリズムの有効性とロバスト性を示す。
論文 参考訳（メタデータ） (2021-06-22T15:50:45Z) - Faster Differentially Private Samplers via R\'enyi Divergence Analysis
of Discretized Langevin MCMC [35.050135428062795]
ランゲヴィン力学に基づくアルゴリズムは、統計距離のようなある程度の距離測度の下で、はるかに高速な代替手段を提供する。
我々の手法は単純で汎用的で、アンダーダムドランゲヴィン力学に適用できる。
論文 参考訳（メタデータ） (2020-10-27T22:52:45Z) - Accelerated FBP for computed tomography image reconstruction [1.0266928164137636]
フィルタバックプロジェクション (FBP) は, 許容品質を示す断層画像再構成において一般的に用いられる手法である。
本稿では,アルゴリズムの計算複雑性を$Theta(N2log N)$に減らし,フーリエ空間を回避した加算演算を提案する。
論文 参考訳（メタデータ） (2020-07-13T10:16:54Z) - DO-Conv: Depthwise Over-parameterized Convolutional Layer [66.46704754669169]
本稿では,各入力チャネルが異なる2次元カーネルに変換されるような,奥行きの畳み込みを付加した畳み込み層の拡張を提案する。
従来の畳み込み層をDO-Conv層に置き換えただけでCNNの性能が向上することを示す。
論文 参考訳（メタデータ） (2020-06-22T06:57:10Z) - Adversarial Optimal Transport Through The Convolution Of Kernels With
Evolving Measures [3.1735221946062313]
サンプルベース最適輸送問題の解法として,新しいアルゴリズムを提案する。
分布のモンテカルロシミュレーションとしてのテスト関数の表現は、アルゴリズムを次元に頑健にする。
論文 参考訳（メタデータ） (2020-06-07T19:42:50Z) - Non-Adaptive Adaptive Sampling on Turnstile Streams [57.619901304728366]
カラムサブセット選択、部分空間近似、射影クラスタリング、および空間サブリニアを$n$で使用するターンタイルストリームのボリュームに対する最初の相対エラーアルゴリズムを提供する。
我々の適応的なサンプリング手法は、様々なデータ要約問題に多くの応用をもたらしており、これは最先端を改善するか、より緩和された行列列モデルで以前に研究されただけである。
論文 参考訳（メタデータ） (2020-04-23T05:00:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。