論文の概要: Accelerate TarFlow Sampling with GS-Jacobi Iteration

• arxiv url: http://arxiv.org/abs/2505.12849v1
• Date: Mon, 19 May 2025 08:35:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.489615
• Title: Accelerate TarFlow Sampling with GS-Jacobi Iteration
• Title（参考訳）: GS-JacobiイテレーションによるTarFlowサンプリングの高速化
• Authors: Ben Liu, Zhen Qin,
• Abstract要約: 本稿では,一連の最適化手法により,Gauss-Seidel-Jacobi (GS-Jacobi) 反復法を用いて,TarFlowサンプリングを大幅に高速化できることを示す。 4つのTarFlowモデル実験により、GS-Jacobiサンプリングは、生成した画像の品質を維持しながらサンプリング効率を大幅に向上することを示した。
• 参考スコア（独自算出の注目度）: 10.411098875443043
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image generation models have achieved widespread applications. As an instance, the TarFlow model combines the transformer architecture with Normalizing Flow models, achieving state-of-the-art results on multiple benchmarks. However, due to the causal form of attention requiring sequential computation, TarFlow's sampling process is extremely slow. In this paper, we demonstrate that through a series of optimization strategies, TarFlow sampling can be greatly accelerated by using the Gauss-Seidel-Jacobi (abbreviated as GS-Jacobi) iteration method. Specifically, we find that blocks in the TarFlow model have varying importance: a small number of blocks play a major role in image generation tasks, while other blocks contribute relatively little; some blocks are sensitive to initial values and prone to numerical overflow, while others are relatively robust. Based on these two characteristics, we propose the Convergence Ranking Metric (CRM) and the Initial Guessing Metric (IGM): CRM is used to identify whether a TarFlow block is "simple" (converges in few iterations) or "tough" (requires more iterations); IGM is used to evaluate whether the initial value of the iteration is good. Experiments on four TarFlow models demonstrate that GS-Jacobi sampling can significantly enhance sampling efficiency while maintaining the quality of generated images (measured by FID), achieving speed-ups of 4.53x in Img128cond, 5.32x in AFHQ, 2.96x in Img64uncond, and 2.51x in Img64cond without degrading FID scores or sample quality. Code and checkpoints are accessible on https://github.com/encoreus/GS-Jacobi_for_TarFlow
• Abstract（参考訳）: 画像生成モデルは広く応用されている。 例えば、TarFlowモデルはトランスフォーマーアーキテクチャと正規化フローモデルを組み合わせて、複数のベンチマークで最先端の結果を達成する。 しかし、逐次計算を必要とする因果的な注意形態のため、TarFlowのサンプリングプロセスは非常に遅い。 本稿では,一連の最適化手法により,Gauss-Seidel-Jacobi (GS-Jacobi) 反復法を用いて,TarFlowサンプリングを大幅に高速化できることを実証する。 特に、TarFlowモデルのブロックは、画像生成タスクにおいて、少数のブロックが重要な役割を果たすのに対して、他のブロックは比較的寄与しない、いくつかのブロックは初期値に敏感で、数値オーバーフローの傾向があり、他のブロックは比較的堅牢である。 CRMはTarFlowブロックが"単純"(数回の反復で収束する)か"粗"(より多くのイテレーションを要求する)かを識別するために使用され、IGMはイテレーションの初期値が良いかどうかを評価するために使われます。 4つのTarFlowモデルの実験により、GS-Jacobiサンプリングは、生成画像の品質を維持しながらサンプリング効率を著しく向上させ(FIDで測定)、Img128コンドで4.53x、AFHQで5.32x、Img64アンコンドで2.96x、Img64コンドで2.51x、FIDスコアやサンプル品質を劣化させることなく、スピードアップを実現している。 コードとチェックポイントはhttps://github.com/encoreus/GS-Jacobi_for_TarFlowでアクセスできます。

関連論文リスト

• Gaussian Mixture Flow Matching Models [51.976452482535954]
  拡散モデルは正規分布をガウス平均として近似し,その平均を推定する一方,フローマッチングモデルはガウス平均をフロー速度としてパラメータ化する。 離散化誤差による数段階のサンプリングでは性能が低下し、分類器フリーガイダンス(CFG)では過飽和色が生じる傾向にある。 本稿では,CFGの過飽和問題を緩和し,画像生成品質を向上する新しい確率的ガイダンス手法を提案する。
  論文  参考訳（メタデータ） (2025-04-07T17:59:42Z)
• Normalizing Flows are Capable Generative Models [48.31226028595099]
  TarFlowはシンプルでスケーラブルなアーキテクチャで、高性能なNFモデルを実現する。 エンドツーエンドのトレーニングは簡単で、ピクセルを直接モデリングして生成することができる。 TarFlowは、画像の確率推定に新たな最先端結果を設定し、以前のベストメソッドを大きなマージンで上回る。
  論文  参考訳（メタデータ） (2024-12-09T09:28:06Z)
• Boundary-aware Decoupled Flow Networks for Realistic Extreme Rescaling [49.215957313126324]
  Invertible rescaling Network (IRN) やgenerative adversarial Network (GAN) などを含む最近の生成手法は、画像再スケーリングにおいて例外的な性能を示した。 しかし、IRNベースの手法は過度に滑らかな結果を生成する傾向にあり、一方、GANベースの手法は偽の細部を容易に生成する。 本稿では,現実的かつ視覚的に満足な結果を生成するために,境界対応デカップリングフローネットワーク(BDFlow)を提案する。
  論文  参考訳（メタデータ） (2024-05-05T14:05:33Z)
• Comparative Study of Coupling and Autoregressive Flows through Robust Statistical Tests [0.0]
  本稿では,アフィン型と有理2次型の両方において,カップリングと自己回帰流の詳細な比較を提案する。 本研究は,4～400の次元を増大させるマルチモーダルターゲット分布の集合に着目した。 以上の結果から,A-RQSアルゴリズムは精度とトレーニング速度の両面で際立っていることが示唆された。
  論文  参考訳（メタデータ） (2023-02-23T13:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。