論文の概要: Restoring Semantic Fidelity for Training-Free High-Resolution Image Generation in Diffusion Transformers
- arxiv url: http://arxiv.org/abs/2611.01696v1
- Date: Sun, 01 Nov 2026 08:32:03 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:46:34.394184
- Title: Restoring Semantic Fidelity for Training-Free High-Resolution Image Generation in Diffusion Transformers
- Title(参考訳): 拡散変圧器のトレーニング不要高分解能画像生成のための回復セマンティック忠実度
- Abstract要約: Diffusion Transformer (DiT) ベースのテキスト-画像モデルは最近、画像合成において顕著な成功を収めている。
しかしながら、トレーニングの解像度を超えて直接適用する場合、これらのモデルは深刻な意味の劣化に悩まされることが多い。
これらの課題に対処するために,高解像度画像生成のためのトレーニング不要のフレームワークを提案する。
- 参考スコア(独自算出の注目度): 33.119487300332324
- License:
- Abstract: Diffusion Transformer (DiT)-based text-to-image models have recently achieved remarkable success in image synthesis. However, when directly applied beyond their training resolution, these models often suffer from severe semantic degradation, where meaningful semantic content disappears. Although existing training-free high-resolution generation methods can mitigate this issue, the inherent semantic degradation at high resolutions remains largely unresolved, leading to degraded fine-grained details. Furthermore, widely used structural guidance methods lack modeling of the structure and details in the intermediate trajectory, which degrades the quality of the generated results. In this paper, we propose a training-free framework for high-resolution image generation to address these challenges. First, we propose a text-visual scale-decoupled attention (TVSDA) module, which restores the model's ability to generate semantically meaningful content at high resolutions by preserving the global receptive field of text tokens while aligning the receptive field of image tokens with the training resolution. Second, we propose a structure-detail guidance (SDG) strategy that explicitly models structural information and fine details through scale-wise and temporal-wise guidance, overcoming the limitations of conventional low-resolution guidance. Extensive experiments demonstrate that our method significantly improves both structural coherence and detail fidelity over existing training-free DiT-based high-resolution generation approaches. The code is available at https://github.com/ljjcoder/Restoring-Semantic-Fidelity.
- Abstract(参考訳): Diffusion Transformer (DiT) ベースのテキスト-画像モデルは最近、画像合成において顕著な成功を収めている。
しかしながら、トレーニングの解決を超えて直接適用する場合、これらのモデルは意味のある意味的内容が消える深刻な意味的劣化に悩まされることが多い。
既存のトレーニングフリーな高分解能生成法はこの問題を軽減することができるが、高分解能における固有の意味的劣化は未解決のままであり、微粒化に繋がる。
さらに、広く使われている構造誘導法は、中間軌道における構造と詳細のモデリングを欠いているため、生成した結果の品質が低下する。
本稿では,これらの課題に対処するための高解像度画像生成のためのトレーニングフリーフレームワークを提案する。
まず,テキストトークンのグローバルな受容領域を保ちながら,画像トークンの受容領域をトレーニング解像度と整合させながら,高解像度で意味のあるコンテンツを生成する能力を復元する,テキスト-視覚的スケール・デカップリング・アテンション(TVSDA)モジュールを提案する。
第2に,従来の低分解能ガイダンスの限界を克服し,大規模かつ時間的に構造情報や細部を明示的にモデル化する構造詳細ガイダンス(SDG)戦略を提案する。
大規模な実験により,本手法は既存のトレーニングフリーなDiTを用いた高分解能生成手法に比べて,構造コヒーレンスと細部忠実度の両方を著しく改善することが示された。
コードはhttps://github.com/ljjcoder/Restoring-Semantic-Fidelityで公開されている。
関連論文リスト
- GloTok: Global Perspective Tokenizer for Image Reconstruction and Generation [51.95701097588426]
トークン化された特徴のより均一な意味分布をモデル化するために,Global Perspective Tokenizer(GloTok)を導入する。
量子化による再構成誤差を最小限に抑えるために, 微細な細部を復元するために, 残差学習モジュールを提案する。
標準のImageNet-1kベンチマーク実験により,提案手法が最先端の復元性能と生成品質を実現することを確認した。
論文 参考訳(メタデータ) (2025-11-18T06:40:26Z) - Visual Autoregressive Modeling for Image Super-Resolution [14.935662351654601]
次世代の予測モデルとして, ISRフレームワークの視覚的自己回帰モデルを提案する。
大規模データを収集し、ロバストな生成先行情報を得るためのトレーニングプロセスを設計する。
論文 参考訳(メタデータ) (2025-01-31T09:53:47Z) - DaLPSR: Leverage Degradation-Aligned Language Prompt for Real-World Image Super-Resolution [19.33582308829547]
本稿では, 精度, 精細度, 高忠実度画像復元のために, 劣化対応言語プロンプトを活用することを提案する。
提案手法は,新しい最先端の知覚品質レベルを実現する。
論文 参考訳(メタデータ) (2024-06-24T09:30:36Z) - DeeDSR: Towards Real-World Image Super-Resolution via Degradation-Aware Stable Diffusion [27.52552274944687]
低解像度画像のコンテンツや劣化を認識する拡散モデルの能力を高める新しい2段階の劣化認識フレームワークを提案する。
最初の段階では、教師なしのコントラスト学習を用いて画像劣化の表現を得る。
第2段階では、分解対応モジュールを単純化されたControlNetに統合し、様々な劣化への柔軟な適応を可能にします。
論文 参考訳(メタデータ) (2024-03-31T12:07:04Z) - FouriScale: A Frequency Perspective on Training-Free High-Resolution Image Synthesis [48.9652334528436]
本稿では、周波数領域解析の観点から、FouriScaleの革新的な学習不要アプローチを紹介する。
従来の拡散モデルの畳み込み層を,低域演算とともに拡張手法を組み込むことで置き換える。
提案手法は, 生成画像の構造的整合性と忠実度をバランスさせ, 任意のサイズ, 高解像度, 高品質な生成の驚くべき能力を実現する。
論文 参考訳(メタデータ) (2024-03-19T17:59:33Z) - CoSeR: Bridging Image and Language for Cognitive Super-Resolution [74.24752388179992]
本稿では,低解像度画像の理解能力を備えたSRモデルを実現するCoSeR(Cognitive Super-Resolution)フレームワークを提案する。
画像の外観と言語理解を組み合わせることで、認知的な埋め込みを生成する。
画像の忠実度をさらに向上させるため、「オール・イン・アテンション」と呼ばれる新しい条件注入方式を提案する。
論文 参考訳(メタデータ) (2023-11-27T16:33:29Z) - Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。
CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。
DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文 参考訳(メタデータ) (2023-10-11T12:46:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。