論文の概要: Accelerate TarFlow Sampling with GS-Jacobi Iteration

• arxiv url: http://arxiv.org/abs/2505.12849v1
• Date: Mon, 19 May 2025 08:35:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.489615
• Title: Accelerate TarFlow Sampling with GS-Jacobi Iteration
• Title（参考訳）: GS-JacobiイテレーションによるTarFlowサンプリングの高速化
• Authors: Ben Liu, Zhen Qin,
• Abstract要約: 本稿では,一連の最適化手法により,Gauss-Seidel-Jacobi (GS-Jacobi) 反復法を用いて,TarFlowサンプリングを大幅に高速化できることを示す。 4つのTarFlowモデル実験により、GS-Jacobiサンプリングは、生成した画像の品質を維持しながらサンプリング効率を大幅に向上することを示した。
• 参考スコア（独自算出の注目度）: 10.411098875443043
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image generation models have achieved widespread applications. As an instance, the TarFlow model combines the transformer architecture with Normalizing Flow models, achieving state-of-the-art results on multiple benchmarks. However, due to the causal form of attention requiring sequential computation, TarFlow's sampling process is extremely slow. In this paper, we demonstrate that through a series of optimization strategies, TarFlow sampling can be greatly accelerated by using the Gauss-Seidel-Jacobi (abbreviated as GS-Jacobi) iteration method. Specifically, we find that blocks in the TarFlow model have varying importance: a small number of blocks play a major role in image generation tasks, while other blocks contribute relatively little; some blocks are sensitive to initial values and prone to numerical overflow, while others are relatively robust. Based on these two characteristics, we propose the Convergence Ranking Metric (CRM) and the Initial Guessing Metric (IGM): CRM is used to identify whether a TarFlow block is "simple" (converges in few iterations) or "tough" (requires more iterations); IGM is used to evaluate whether the initial value of the iteration is good. Experiments on four TarFlow models demonstrate that GS-Jacobi sampling can significantly enhance sampling efficiency while maintaining the quality of generated images (measured by FID), achieving speed-ups of 4.53x in Img128cond, 5.32x in AFHQ, 2.96x in Img64uncond, and 2.51x in Img64cond without degrading FID scores or sample quality. Code and checkpoints are accessible on https://github.com/encoreus/GS-Jacobi_for_TarFlow
• Abstract（参考訳）: 画像生成モデルは広く応用されている。 例えば、TarFlowモデルはトランスフォーマーアーキテクチャと正規化フローモデルを組み合わせて、複数のベンチマークで最先端の結果を達成する。 しかし、逐次計算を必要とする因果的な注意形態のため、TarFlowのサンプリングプロセスは非常に遅い。 本稿では,一連の最適化手法により,Gauss-Seidel-Jacobi (GS-Jacobi) 反復法を用いて,TarFlowサンプリングを大幅に高速化できることを実証する。 特に、TarFlowモデルのブロックは、画像生成タスクにおいて、少数のブロックが重要な役割を果たすのに対して、他のブロックは比較的寄与しない、いくつかのブロックは初期値に敏感で、数値オーバーフローの傾向があり、他のブロックは比較的堅牢である。 CRMはTarFlowブロックが"単純"(数回の反復で収束する)か"粗"(より多くのイテレーションを要求する)かを識別するために使用され、IGMはイテレーションの初期値が良いかどうかを評価するために使われます。 4つのTarFlowモデルの実験により、GS-Jacobiサンプリングは、生成画像の品質を維持しながらサンプリング効率を著しく向上させ(FIDで測定)、Img128コンドで4.53x、AFHQで5.32x、Img64アンコンドで2.96x、Img64コンドで2.51x、FIDスコアやサンプル品質を劣化させることなく、スピードアップを実現している。 コードとチェックポイントはhttps://github.com/encoreus/GS-Jacobi_for_TarFlowでアクセスできます。

関連論文リスト

• Gaussian Mixture Flow Matching Models [51.976452482535954]
  拡散モデルは正規分布をガウス平均として近似し,その平均を推定する一方,フローマッチングモデルはガウス平均をフロー速度としてパラメータ化する。 離散化誤差による数段階のサンプリングでは性能が低下し、分類器フリーガイダンス(CFG)では過飽和色が生じる傾向にある。 本稿では,CFGの過飽和問題を緩和し,画像生成品質を向上する新しい確率的ガイダンス手法を提案する。
  論文  参考訳（メタデータ） (2025-04-07T17:59:42Z)
• Normalizing Flows are Capable Generative Models [48.31226028595099]
  TarFlowはシンプルでスケーラブルなアーキテクチャで、高性能なNFモデルを実現する。 エンドツーエンドのトレーニングは簡単で、ピクセルを直接モデリングして生成することができる。 TarFlowは、画像の確率推定に新たな最先端結果を設定し、以前のベストメソッドを大きなマージンで上回る。
  論文  参考訳（メタデータ） (2024-12-09T09:28:06Z)
• Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
  任意の制約下で高速かつ高品質な生成を可能にするアルゴリズムを提案する。 推測中、ノイズの多い画像上で計算された勾配更新と、最終的なクリーンな画像で計算されたアップデートとを交換できる。 我々のアプローチは、最先端のトレーニングフリー推論アプローチに匹敵するか、超越した結果をもたらす。
  論文  参考訳（メタデータ） (2024-10-24T14:52:38Z)
• Accelerating Auto-regressive Text-to-Image Generation with Training-free Speculative Jacobi Decoding [60.188309982690335]
  本稿では,SJD (Speculative Jacobi Decoding) の学習自由確率並列復号法を提案する。 SJDは、サンプリングベースのトークン復号におけるランダム性を維持しつつ、自動回帰テキスト・画像生成の推論を加速する。 具体的には、SJDは各ステップで複数のトークンを予測し、確率的基準に基づいてトークンを受け付けます。
  論文  参考訳（メタデータ） (2024-10-02T16:05:27Z)
• Boundary-aware Decoupled Flow Networks for Realistic Extreme Rescaling [49.215957313126324]
  Invertible rescaling Network (IRN) やgenerative adversarial Network (GAN) などを含む最近の生成手法は、画像再スケーリングにおいて例外的な性能を示した。 しかし、IRNベースの手法は過度に滑らかな結果を生成する傾向にあり、一方、GANベースの手法は偽の細部を容易に生成する。 本稿では,現実的かつ視覚的に満足な結果を生成するために,境界対応デカップリングフローネットワーク(BDFlow)を提案する。
  論文  参考訳（メタデータ） (2024-05-05T14:05:33Z)
• PaddingFlow: Improving Normalizing Flows with Padding-Dimensional Noise [4.762593660623934]
  パディングフロー(PaddingFlow)は,パディング次元雑音による正規化フローを改善する新しいデクエント化法である。 非条件密度推定の主ベンチマークで本手法の有効性を検証した。 この結果から,PaddingFlowはすべての実験において優れた性能を発揮できることがわかった。
  論文  参考訳（メタデータ） (2024-03-13T03:28:39Z)
• Scaling Sparse Fine-Tuning to Large Language Models [67.59697720719672]
  大きな言語モデル(LLM)は、パラメータの数が多いため、完全な微調整が難しい。 本研究では,パラメータの配列とパラメータのデルタを事前学習した値に対して保持する新しいスパース微調整法SpIELを提案する。 提案手法は,LoRAのようなパラメータ効率の高い微調整法よりも性能が優れ,実行時間も同等であることを示す。
  論文  参考訳（メタデータ） (2024-01-29T18:43:49Z)
• Comparative Study of Coupling and Autoregressive Flows through Robust Statistical Tests [0.0]
  本稿では,アフィン型と有理2次型の両方において,カップリングと自己回帰流の詳細な比較を提案する。 本研究は,4～400の次元を増大させるマルチモーダルターゲット分布の集合に着目した。 以上の結果から,A-RQSアルゴリズムは精度とトレーニング速度の両面で際立っていることが示唆された。
  論文  参考訳（メタデータ） (2023-02-23T13:34:01Z)
• FInC Flow: Fast and Invertible $k \ imes k$ Convolutions for Normalizing Flows [2.156373334386171]
  可逆畳み込みは、表現的正規化フローベース生成モデルを構築する上で不可欠な要素である。 我々は、$k倍の畳み込み層とDeep Normalizing Flowアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-01-23T04:31:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。