論文の概要: Spatial Gram Alignment for Ultra-High-Resolution Image Synthesis

• arxiv url: http://arxiv.org/abs/2605.20808v1
• Date: Wed, 20 May 2026 06:59:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.540863
• Title: Spatial Gram Alignment for Ultra-High-Resolution Image Synthesis
• Title（参考訳）: 超高分解能画像合成のための空間グラムアライメント
• Authors: Jinjin Zhang, Xiefan Guo, Di Huang,
• Abstract要約: 最新の超高分解能画像合成は、大規模事前学習潜在拡散モデル(LDM)の堅牢な生成能力に大きく依存している 本稿では,LDMのネイティブ生成能力を維持しつつ,視覚基盤モデルの表現先を明示的に活用する新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 38.08544812796336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern ultra-high-resolution image synthesis relies heavily on the robust generative capacity of large-scale pre-trained Latent Diffusion Models (LDMs). While recent representation alignment methods have proven effective by distilling visual priors from foundation models (e.g., SAM or DINO) into generative latent features, scaling these approaches to pre-trained LDMs at extreme resolutions exposes a critical learnability-fidelity conflict. Specifically, forcing direct patch-wise feature distillation inherently perturbs the pre-trained latent manifold, ultimately leading to generation degradation. To address this bottleneck, we propose Spatial Gram Alignment (SGA), a novel framework that explicitly leverages the representation priors of vision foundation models while preserving the native generative capacity of LDMs. Moving beyond restrictive direct alignment, SGA imposes a non-invasive spatial constraint by aligning the internal self-similarities of the generative features with those of the foundation priors. This spatial constraint effectively establishes macroscopic structural coherence, while the native generative objectives retain the microscopic pixel-level fidelity inherent to the original LDMs. Notably, this versatile strategy integrates seamlessly across both intermediate diffusion features and VAE latents within pre-trained LDMs. Extensive experiments demonstrate that SGA achieves state-of-the-art performance for ultra-high-resolution text-to-image synthesis, yielding an effective reconciliation between global structural integrity and fine-grained visual details. Code is available at https://github.com/zhang0jhon/SGA.
• Abstract（参考訳）: 現代の超高解像度画像合成は、大規模訓練済み潜在拡散モデル(LDM)の堅牢な生成能力に大きく依存している。 最近の表現アライメント法は、基礎モデル(SAMやDINOなど)から生成潜在特徴へ視覚的先行を蒸留することで有効であることが証明されているが、これらのアプローチを極端解像度で事前学習されたLCDに拡張することで、重要な学習可能性と忠実さの衝突が露呈している。 具体的には、直接パッチワイドな特徴蒸留を強制すると、本来はトレーニング済みの潜在多様体が乱れ、最終的に生成が劣化する。 このボトルネックに対処するため、我々は、LDMのネイティブな生成能力を維持しつつ、視覚基盤モデルの表現先を明示的に活用する新しいフレームワークであるSGA(Spatial Gram Alignment)を提案する。 制限的直接アライメントを超えて、SGAは、生成的特徴の内的自己相似性を基礎的先行と整合させることにより、非侵襲的空間制約を課す。 この空間的制約は、マクロな構造的コヒーレンスを効果的に確立する一方、ネイティブな生成目的は、元のLCMに固有の顕微鏡レベルの忠実さを保持する。 特に、この汎用戦略は、事前訓練されたLDM内の中間拡散特性とVOE潜伏剤の両方をシームレスに統合する。 広汎な実験により、SGAは超高解像度テキスト・画像合成の最先端性能を達成し、グローバルな構造整合性ときめ細かな視覚的詳細とを効果的に整合させることを示した。 コードはhttps://github.com/zhang0jhon/SGAで入手できる。

関連論文リスト

• LPH-VTON: Resolving the Structure-Texture Dilemma of Virtual Try-On via Latent Process Handover [15.242291833451882]
  仮想トライオン(Virtual Try-On)は、人の体とポーズを正確に整列した衣服のフォトリアリスティックなイメージを合成することを目的としている。 しかし、現在の拡散に基づく手法は、構造的完全性とテクスチャ的忠実性の間に根本的なトレードオフに直面している。 LPH-VTONは、この緊張を1つの連続的分極過程の中で解消する新しい相乗的フレームワークである。
  論文  参考訳（メタデータ） (2026-05-14T14:18:56Z)
• Deep Dreams Are Made of This: Visualizing Monosemantic Features in Diffusion Models [0.12277343096128711]
  本稿では,最適化による特徴可視化を潜時拡散モデルに拡張する機械的解釈可能性手法である潜時可視化法(LVO)を提案する。 LVOはスパースオートエンコーダ(SAE)を用いて、多意味層表現をモノセマンティックな特徴に分解する。
  論文  参考訳（メタデータ） (2026-05-06T13:21:24Z)
• Coevolving Representations in Joint Image-Feature Diffusion [13.292849179066993]
  拡散を導く表現空間は、それ自体が生成タスクに適応すべきである。 学習中に意味表現空間が進化するフレームワークであるCoevolving Diffusion Representation (CoReDi)を提案する。 実験により、CoReDiは、固定表現空間で動作する連成拡散モデルと比較して、より高速な収束とより高いサンプル品質を実現することが示された。
  論文  参考訳（メタデータ） (2026-04-19T15:29:15Z)
• Better with Less: Tackling Heterogeneous Multi-Modal Image Joint Pretraining via Conditioned and Degraded Masked Autoencoder [34.73963627819185]
  高分解能光合成開口レーダ(SAR)プレトレーニングは、単一ソース表現を相互に強化するために、モダリティの相乗効果を求める。 我々は、アライメントの少ないテキスト・ベッター・シナジーの先駆者であるCoDe-MAEを提案する。 CoDe-MAEは、表現の劣化を防ぎ、多様な単一および双方向の下流タスクにまたがる新しい最先端のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2026-04-18T10:23:00Z)
• SSG: Scaled Spatial Guidance for Multi-Scale Visual Autoregressive Generation [10.295970926059812]
  視覚自己回帰モデル(VAR)は次のスケールの予測を通じて画像を生成する。 実際には、この階層はキャパシティの制限と累積誤差によってモデルが粗いから細かい性質から逸脱してしまうため、推論時にドリフトすることができる。 本研究では,グローバルなコヒーレンスを維持しつつ,意図した階層に向けて生成を行うためのトレーニング不要な推論時間ガイダンスであるスケールド空間ガイダンス(SSG)を提案する。
  論文  参考訳（メタデータ） (2026-02-05T10:48:58Z)
• FUDOKI: Discrete Flow-based Unified Understanding and Generation via Kinetic-Optimal Velocities [76.46448367752944]
  MLLM(Multimodal large language model)は、単一のフレームワーク内で視覚的理解と画像生成を統一する言語である。 ほとんどの既存のMLLMはAutore(AR)アーキテクチャに依存しており、将来の開発に固有の制限を課している。 本稿では,離散フローマッチングに基づく統一マルチモーダルモデルであるFUDOKIを紹介する。
  論文  参考訳（メタデータ） (2025-05-26T15:46:53Z)
• Exploring Representation-Aligned Latent Space for Better Generation [86.45670422239317]
  生成性能を改善するために,セマンティックな事前情報を統合するReaLSを導入する。 本研究では、ReaLSでトレーニングされたDETとSiTが、FID測定値の15%改善を実現することを示す。 拡張されたセマンティック潜在空間は、セグメンテーションや深さ推定のようなより知覚的な下流タスクを可能にする。
  論文  参考訳（メタデータ） (2025-02-01T07:42:12Z)
• High-resolution Face Swapping via Latent Semantics Disentanglement [50.23624681222619]
  本稿では,事前学習したGANモデルの事前知識を用いた,新しい高分解能幻覚顔交換法を提案する。 我々は、ジェネレータの進行的な性質を利用して、潜在意味論を明示的に解き放つ。 我々は,2時間制約を潜時空間と画像空間に課すことにより,映像面スワップに拡張する。
  論文  参考訳（メタデータ） (2022-03-30T00:33:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。