論文の概要: Inference Acceleration of Autoregressive Normalizing Flows by Selective Jacobi Decoding

• arxiv url: http://arxiv.org/abs/2505.24791v1
• Date: Fri, 30 May 2025 16:53:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:53.085768
• Title: Inference Acceleration of Autoregressive Normalizing Flows by Selective Jacobi Decoding
• Title（参考訳）: 選択的ヤコビ復号による自己回帰正規化流れの推論高速化
• Authors: Jiaru Zhang, Juanwu Lu, Ziran Wang, Ruqi Zhang,
• Abstract要約: 正規化フローは、理論的厳密性、分析的対数類似性、エンドツーエンドトレーニングなどの利点を持つ有望な生成モデルである。 近年の進歩は自己回帰モデリングを活用し、表現力と生成品質を大幅に向上させた。 並列反復最適化により自己回帰推論を高速化する選択的ヤコビ復号法(SeJD)を提案する。
• 参考スコア（独自算出の注目度）: 12.338918067455436
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Normalizing flows are promising generative models with advantages such as theoretical rigor, analytical log-likelihood computation, and end-to-end training. However, the architectural constraints to ensure invertibility and tractable Jacobian computation limit their expressive power and practical usability. Recent advancements utilize autoregressive modeling, significantly enhancing expressive power and generation quality. However, such sequential modeling inherently restricts parallel computation during inference, leading to slow generation that impedes practical deployment. In this paper, we first identify that strict sequential dependency in inference is unnecessary to generate high-quality samples. We observe that patches in sequential modeling can also be approximated without strictly conditioning on all preceding patches. Moreover, the models tend to exhibit low dependency redundancy in the initial layer and higher redundancy in subsequent layers. Leveraging these observations, we propose a selective Jacobi decoding (SeJD) strategy that accelerates autoregressive inference through parallel iterative optimization. Theoretical analyses demonstrate the method's superlinear convergence rate and guarantee that the number of iterations required is no greater than the original sequential approach. Empirical evaluations across multiple datasets validate the generality and effectiveness of our acceleration technique. Experiments demonstrate substantial speed improvements up to 4.7 times faster inference while keeping the generation quality and fidelity.
• Abstract（参考訳）: 正規化フローは、理論的な厳密性、分析的なログのような計算、エンドツーエンドのトレーニングといった利点を持つ有望な生成モデルである。 しかしながら、可逆性とトラクタブルなヤコビアン計算を保証するためのアーキテクチャ上の制約は、その表現力と実用性を制限する。 近年の進歩は自己回帰モデリングを活用し、表現力と生成品質を大幅に向上させた。 しかし、このようなシーケンシャルなモデリングは本質的には推論中の並列計算を制限し、実際のデプロイを妨げている。 本稿では,まず,高品質なサンプルを生成するために,推論における厳密な逐次的依存は不要であることを示す。 逐次モデリングにおけるパッチは、全ての先行するパッチを厳格に条件付けすることなく近似することもできる。 さらに、モデルでは初期層に依存性の冗長性が低く、その後の層に依存性の冗長性が高くなる傾向にある。 これらの観測を応用して,並列反復最適化による自己回帰推論を高速化する選択的ヤコビ復号(SeJD)戦略を提案する。 理論解析は、この手法の超線形収束率を示し、必要となるイテレーションの数が元のシーケンシャルなアプローチ以上のものではないことを保証している。 複数のデータセットにまたがる経験的評価は、加速度法の一般化と有効性を検証する。 実験では、生成品質と忠実性を保ちながら、推論の4.7倍の速度向上を示す。

関連論文リスト

• Preconditioned Inexact Stochastic ADMM for Deep Model [35.37705488695026]
  本稿では,拡張性のある並列計算を可能にするアルゴリズム PISA を開発し,様々な第2モーメント方式をサポートする。 厳密な理論的な保証の下で、アルゴリズムは勾配のリプシッツの唯一の仮定の下で収束する。 視覚モデル、大規模言語モデル、強化学習モデル、生成的敵ネットワーク、繰り返しニューラルネットワークを含む様々なFMの総合的または微調整実験は、様々な最先端の方向と比較して優れた数値性能を示す。
  論文  参考訳（メタデータ） (2025-02-15T12:28:51Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Non-autoregressive Sequence-to-Sequence Vision-Language Models [59.445765313094434]
  本稿では,デコーダ内の複数の推論経路をマージする並列デコードシーケンス・ツー・シーケンス・ビジョン言語モデルを提案する。 このモデルは最先端の自己回帰モデルと同等のパフォーマンスを実現するが、推論時間では高速である。
  論文  参考訳（メタデータ） (2024-03-04T17:34:59Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks [65.34977803841007]
  予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。 シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-16T00:11:04Z)
• Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork [73.94896986868146]
  位相検索は現代の計算イメージングシステムにおいて重要な要素である。 近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。 我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2021-01-12T08:36:23Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• Self-Reflective Variational Autoencoder [21.054722609128525]
  変分オートエンコーダ(VAE)は潜在変数生成モデルを学習するための強力なフレームワークである。 自己回帰推論(self-reflective inference)と呼ばれるソリューションを導入します。 実験では, 後部と後部を正確に一致させることの明確な利点を実証的に示す。
  論文  参考訳（メタデータ） (2020-07-10T05:05:26Z)
• Scalable Second Order Optimization for Deep Learning [34.12384996822749]
  本稿では,第2次プレコンディショニング手法のスケーラブルな実装について述べる(第2に,完全行列 Adagrad の変種)。 我々の新しい設計は、多コアCPUと複数のアクセラレーションユニットを組み合わせた深層モデルのトレーニングに、一般的な異種ハードウェアアーキテクチャを効果的に活用する。 本稿では,変換器を用いた機械翻訳,BERTによる言語モデリング,Criteoによるクリックスルー率予測,ResNet-50によるImageNetの画像分類など,非常に大規模な学習課題における最先端の学習性能を示す。
  論文  参考訳（メタデータ） (2020-02-20T20:51:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。