論文の概要: Parallel Backpropagation for Inverse of a Convolution with Application to Normalizing Flows

• arxiv url: http://arxiv.org/abs/2410.14634v1
• Date: Fri, 18 Oct 2024 17:35:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:26:00.885396
• Title: Parallel Backpropagation for Inverse of a Convolution with Application to Normalizing Flows
• Title（参考訳）: 畳み込み逆の並列バックプロパゲーションと正規化流れへの応用
• Authors: Sandeep Nagar, Girish Varma,
• Abstract要約: 非可逆的畳み込みの逆は、正規化フローで現れる重要な操作である。 正方形画像に対して,動作時間$O(sqrtn)$の高速並列バックプロパゲーションアルゴリズムを提案する。 従来のモデルと比較して,次元毎に類似したビットでサンプリング時間を大幅に改善した。
• 参考スコア（独自算出の注目度）: 2.048226951354646
• License:
• Abstract: Inverse of an invertible convolution is an important operation that comes up in Normalizing Flows, Image Deblurring, etc. The naive algorithm for backpropagation of this operation using Gaussian elimination has running time $O(n^3)$ where $n$ is the number of pixels in the image. We give a fast parallel backpropagation algorithm with running time $O(\sqrt{n})$ for a square image and provide a GPU implementation of the same. Inverse Convolutions are usually used in Normalizing Flows in the sampling pass, making them slow. We propose to use Inverse Convolutions in the forward (image to latent vector) pass of the Normalizing flow. Since the sampling pass is the inverse of the forward pass, it will use convolutions only, resulting in efficient sampling times. We use our parallel backpropagation algorithm for optimizing the inverse convolution layer resulting in fast training times also. We implement this approach in various Normalizing Flow backbones, resulting in our Inverse-Flow models. We benchmark Inverse-Flow on standard datasets and show significantly improved sampling times with similar bits per dimension compared to previous models.
• Abstract（参考訳）: 非可逆的畳み込みの逆は、正規化フローや画像のデブロアリングなどに現れる重要な操作である。 ガウス除去法を用いてこの演算を逆伝播するための単純アルゴリズムは、O(n^3)$で実行され、$n$は画像中のピクセル数である。 我々は,2乗画像に対して,実行時間$O(\sqrt{n})$の高速並列バックプロパゲーションアルゴリズムを提案し,そのGPU実装を提供する。 逆の畳み込みは通常サンプリングパスの正規化フローで使用され、遅くする。 正規化フローの前方(画像から潜在ベクトル)パスに逆畳み込みを用いることを提案する。 サンプリングパスはフォワードパスの逆であるため、畳み込みのみを使用し、効率的なサンプリング時間をもたらす。 並列バックプロパゲーションアルゴリズムを用いて、逆畳み込み層を最適化し、トレーニング時間を短縮する。 このアプローチを各種の正規化フローバックボーンに実装し,その結果,逆フローモデルが得られた。 我々は,標準データセット上でInverse-Flowをベンチマークし,従来のモデルと比較して,同じビット単位のサンプリング時間を大幅に改善した。

関連論文リスト

• Fast Samplers for Inverse Problems in Iterative Refinement Models [19.099632445326826]
  逆問題に対する効率的なサンプル作成のためのプラグイン・アンド・プレイフレームワークを提案する。 提案手法は,5段階の条件付きサンプリングステップで高品質なサンプルを生成でき,20～1000段の基準ラインよりも優れる。
  論文  参考訳（メタデータ） (2024-05-27T21:50:16Z)
• Accelerating Parallel Sampling of Diffusion Models [25.347710690711562]
  自己回帰過程を並列化することにより拡散モデルのサンプリングを高速化する新しい手法を提案する。 これらの手法を適用したParaTAAは、普遍的でトレーニング不要な並列サンプリングアルゴリズムである。 実験により、ParaTAAは一般的なシーケンシャルサンプリングアルゴリズムで要求される推論ステップを4$sim$14倍に削減できることを示した。
  論文  参考訳（メタデータ） (2024-02-15T14:27:58Z)
• FInC Flow: Fast and Invertible $k \times k$ Convolutions for Normalizing Flows [2.156373334386171]
  可逆畳み込みは、表現的正規化フローベース生成モデルを構築する上で不可欠な要素である。 我々は、$k倍の畳み込み層とDeep Normalizing Flowアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-01-23T04:31:03Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)
• Nesterov Accelerated ADMM for Fast Diffeomorphic Image Registration [63.15453821022452]
  ディープラーニングに基づくアプローチの最近の発展は、DiffIRのサブ秒間実行を実現している。 本稿では,中間定常速度場を機能的に構成する簡易な反復スキームを提案する。 次に、任意の順序の正規化項を用いて、これらの速度場に滑らかさを課す凸最適化モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-26T19:56:45Z)
• Stochastic Optimization with Laggard Data Pipelines [65.20044914532221]
  共通最適化手法の「データ抽出」拡張は同期手法よりも優れた性能を示すことを示す。 具体的には、ミニバッチによる凸最適化において、データエコーは、最適統計率を維持しながら収束率の曲率に支配される部分の高速化をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-10-26T14:55:31Z)
• Accelerated FBP for computed tomography image reconstruction [1.0266928164137636]
  フィルタバックプロジェクション (FBP) は, 許容品質を示す断層画像再構成において一般的に用いられる手法である。 本稿では,アルゴリズムの計算複雑性を$Theta(N2log N)$に減らし,フーリエ空間を回避した加算演算を提案する。
  論文  参考訳（メタデータ） (2020-07-13T10:16:54Z)
• Adversarial Optimal Transport Through The Convolution Of Kernels With Evolving Measures [3.1735221946062313]
  サンプルベース最適輸送問題の解法として,新しいアルゴリズムを提案する。 分布のモンテカルロシミュレーションとしてのテスト関数の表現は、アルゴリズムを次元に頑健にする。
  論文  参考訳（メタデータ） (2020-06-07T19:42:50Z)
• Non-Adaptive Adaptive Sampling on Turnstile Streams [57.619901304728366]
  カラムサブセット選択、部分空間近似、射影クラスタリング、および空間サブリニアを$n$で使用するターンタイルストリームのボリュームに対する最初の相対エラーアルゴリズムを提供する。 我々の適応的なサンプリング手法は、様々なデータ要約問題に多くの応用をもたらしており、これは最先端を改善するか、より緩和された行列列モデルで以前に研究されただけである。
  論文  参考訳（メタデータ） (2020-04-23T05:00:21Z)
• Gaussianization Flows [113.79542218282282]
  そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。 この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
  論文  参考訳（メタデータ） (2020-03-04T08:15:06Z)
• Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
  ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。 本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。 提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
  論文  参考訳（メタデータ） (2020-02-10T10:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。