論文の概要: GriDiT: Factorized Grid-Based Diffusion for Efficient Long Image Sequence Generation

• arxiv url: http://arxiv.org/abs/2512.21276v1
• Date: Wed, 24 Dec 2025 16:46:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-25 19:43:21.831542
• Title: GriDiT: Factorized Grid-Based Diffusion for Efficient Long Image Sequence Generation
• Title（参考訳）: GriDiT:高効率長画像系列生成のための決定的グリッドベース拡散
• Authors: Snehal Singh Tomar, Alexandros Graikos, Arjun Krishna, Dimitris Samaras, Klaus Mueller,
• Abstract要約: サブサンプルフレームからなる格子画像にのみ依存する生成モデルを訓練する。 本研究では,Diffusion Transformer (DiT) の強い自己アテンション機構を用いて,フレーム間の相関関係を捉えることで,画像系列を生成することを学ぶ。 我々の手法は、データセット間で、品質および推論速度(少なくとも2倍の速さ)において、一貫してSoTAを上回ります。
• 参考スコア（独自算出の注目度）: 77.13582457917418
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Modern deep learning methods typically treat image sequences as large tensors of sequentially stacked frames. However, is this straightforward representation ideal given the current state-of-the-art (SoTA)? In this work, we address this question in the context of generative models and aim to devise a more effective way of modeling image sequence data. Observing the inefficiencies and bottlenecks of current SoTA image sequence generation methods, we showcase that rather than working with large tensors, we can improve the generation process by factorizing it into first generating the coarse sequence at low resolution and then refining the individual frames at high resolution. We train a generative model solely on grid images comprising subsampled frames. Yet, we learn to generate image sequences, using the strong self-attention mechanism of the Diffusion Transformer (DiT) to capture correlations between frames. In effect, our formulation extends a 2D image generator to operate as a low-resolution 3D image-sequence generator without introducing any architectural modifications. Subsequently, we super-resolve each frame individually to add the sequence-independent high-resolution details. This approach offers several advantages and can overcome key limitations of the SoTA in this domain. Compared to existing image sequence generation models, our method achieves superior synthesis quality and improved coherence across sequences. It also delivers high-fidelity generation of arbitrary-length sequences and increased efficiency in inference time and training data usage. Furthermore, our straightforward formulation enables our method to generalize effectively across diverse data domains, which typically require additional priors and supervision to model in a generative context. Our method consistently outperforms SoTA in quality and inference speed (at least twice-as-fast) across datasets.
• Abstract（参考訳）: 現代のディープラーニング手法は、画像列をシーケンシャルに積み重ねられたフレームの大きなテンソルとして扱うのが一般的である。 しかし、現在の SoTA (State-of-the-art) を考えると、この直接的な表現イデアルは理想的だろうか? 本研究では,この課題を生成モデルという文脈で解決し,より効率的な画像シーケンスデータのモデリング手法を考案することを目的とする。 現状のSoTA画像シーケンス生成手法の非効率性とボトルネックを観察し、大きなテンソルで作業するのではなく、まず粗いシーケンスを低解像度で生成し、次いで個々のフレームを高解像度で精製することにより、生成プロセスを改善することを示した。 サブサンプルフレームからなる格子画像にのみ依存する生成モデルを訓練する。 しかし,Diffusion Transformer (DiT) の強い自己アテンション機構を用いて,フレーム間の相関関係を捉えることで,画像列を生成することを学ぶ。 本定式化では2次元画像生成装置を拡張して低解像度の3次元画像系列生成装置として機能する。 その後、各フレームを個別に超解して、シーケンス非依存の高分解能の詳細を付加する。 このアプローチにはいくつかのアドバンテージがあり、この分野におけるSoTAの重要な制限を克服することができる。 既存の画像シーケンス生成モデルと比較して,提案手法はより優れた合成品質とシーケンス間のコヒーレンス向上を実現している。 また、任意の長さのシーケンスを高忠実に生成し、推論時間とトレーニングデータの使用率を向上させる。 さらに,本手法は多種多様なデータ領域にまたがって効果的に一般化することができる。 我々の手法は、データセット間で、品質および推論速度(少なくとも2倍の速さ)において、一貫してSoTAを上回ります。

関連論文リスト

• Utilizing Image Transforms and Diffusion Models for Generative Modeling of Short and Long Time Series [7.201938834736084]
  可変長時系列の統一生成モデルを提案する。 遅延埋め込みや短時間フーリエ変換などの可逆変換を用いる。 提案手法は,強いベースラインに対して常に最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-25T13:06:18Z)
• Fast constrained sampling in pre-trained diffusion models [80.99262780028015]
  任意の制約下で高速で高品質な生成を可能にするアルゴリズムを提案する。 我々の手法は、最先端のトレーニングフリー推論手法に匹敵するか、超越した結果をもたらす。
  論文  参考訳（メタデータ） (2024-10-24T14:52:38Z)
• Alleviating Distortion in Image Generation via Multi-Resolution Diffusion Models and Time-Dependent Layer Normalization [26.926712014346432]
  本稿では,新しいマルチレゾリューションネットワークと時間依存層正規化を統合することで,拡散モデルの革新的拡張を提案する。 提案手法の有効性は,ImageNet 256 x 256で1.70,ImageNet 512 x 512で2.89の新しい最先端FIDスコアを設定することで,クラス条件のImageNet生成ベンチマークで実証される。
  論文  参考訳（メタデータ） (2024-06-13T17:59:58Z)
• Active Generation for Image Classification [45.93535669217115]
  本稿では,モデルのニーズと特徴に着目し,画像生成の効率性に対処することを提案する。 能動学習の中心的傾向として,ActGenという手法が,画像生成のトレーニング・アウェア・アプローチを取り入れている。
  論文  参考訳（メタデータ） (2024-03-11T08:45:31Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Progressive Text-to-Image Generation [40.09326229583334]
  本稿では,高忠実度テキスト・画像生成のためのプログレッシブモデルを提案する。 提案手法は, 既存のコンテキストに基づいて, 粗い画像から細かな画像への新しい画像トークンの作成によって効果を発揮する。 結果として得られた粗大な階層構造により、画像生成プロセスは直感的で解釈可能である。
  論文  参考訳（メタデータ） (2022-10-05T14:27:20Z)
• DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation [56.514462874501675]
  本稿では,動的スパースアテンションに基づくトランスフォーマーモデルを提案する。 このアプローチの核心は、ある位置がフォーカスすべき最適なトークン数の変化をカバーすることに特化した、新しいダイナミックアテンションユニットです。 3つの応用、ポーズ誘導型人物画像生成、エッジベース顔合成、歪みのない画像スタイル転送の実験により、DynaSTは局所的な詳細において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-07-13T11:12:03Z)
• Bayesian Image Reconstruction using Deep Generative Models [7.012708932320081]
  本研究では,最先端(sota)生成モデルを用いて強力な画像先行モデルを構築する。 BRGM (Bayesian Reconstruction through Generative Models) と呼ばれる本手法では,1つの事前学習されたジェネレータモデルを用いて,異なる画像復元タスクを解く。
  論文  参考訳（メタデータ） (2020-12-08T17:11:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。