論文の概要: When Latents Forget Pixels: Restoring Fidelity in Diffusion Transformer Super-Resolution
- arxiv url: http://arxiv.org/abs/2608.09133v1
- Date: Mon, 10 Aug 2026 05:24:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.091815
- Title: When Latents Forget Pixels: Restoring Fidelity in Diffusion Transformer Super-Resolution
- Title（参考訳）: 日射変圧器の超解像における正当性回復
- Abstract要約: 本稿では,VAE圧縮前にLR観測された画素の証拠を保存し,復元を通じて再利用する,画素基底超解像(PGSR)フレームワークを提案する。
実験により、PGSRは現実主義のトレードオフを改善し、既存の潜在生成型SRアプローチよりも忠実で視覚的に説得力のある結果をもたらすことが示された。
- 参考スコア（独自算出の注目度）: 47.89708788628452
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image super-resolution (SR) with large generative models has recently achieved remarkable perceptual quality, yet maintaining fidelity to the LR observation remains challenging. In particular, we observe that diffusion transformers (DiTs) built on latent representations suffer from a critical limitation: the compression bottleneck of the VAE weakens fine-grained spatial information, leading to hallucinated details that are weakly grounded in the input image. In this work, we revisit generative SR from a representation perspective and propose a pixel-grounded super-resolution (PGSR) framework that preserves LR-observed pixel evidence before VAE compression and reuses it throughout restoration. Instead of relying solely on the compressed latent condition, PGSR extracts pre-VAE pixel evidence from the upsampled LR image and reuses it at two stages. First, Condition-Side Trajectory Guidance fuses LR-derived pixel evidence with the latent LR condition to guide the latent restoration trajectory. Second, Decoder-Side Pixel Grounding injects multi-scale pixel features into the frozen VAE decoder to ground the final rendering with LR-observed cues. To efficiently adapt large pretrained DiT models, we keep the latent autoencoder and main flow-matching backbone frozen, and train only lightweight restoration modules. We further study an efficient local-window attention variant for improved high-resolution efficiency and scalability. Extensive experiments demonstrate that PGSR improves the realism--fidelity trade-off and produces more faithful, visually convincing results than existing latent generative SR approaches.
- Abstract（参考訳）: 大規模な生成モデルを持つ画像超解像(SR)は近年、目覚しい品質を達成しているが、LR観測への忠実さは依然として困難である。
特に,遅延表現上に構築された拡散変圧器 (DiT) は, 空間情報の圧縮ボトルネックが微粒化を弱め, 入力画像に弱接する幻覚的細部を生じさせる。
本稿では,表現の観点から生成SRを再検討し,VAE圧縮前のLR観測画素の証拠を保存し,復元を通して再利用する画素地上超解像(PGSR)フレームワークを提案する。
PGSRは圧縮された潜伏状態のみに頼る代わりに、アップサンプリングされたLR画像からVAE前のピクセル証拠を抽出し、2段階で再利用する。
第一に、条件側トラジェクトリガイダンスはLR由来のピクセルエビデンスを潜時LR条件で融合させ、潜時回復軌跡を導出する。
次に、Decoder-Side Pixel Groundingは、凍ったVAEデコーダにマルチスケールのピクセル機能を注入し、LR観測キューで最終的なレンダリングをグラウンドする。
遅延オートエンコーダとメインフローマッチングバックボーンを凍結し,軽量復元モジュールのみを訓練する。
さらに、高分解能効率とスケーラビリティを向上させるために、効率的な局部窓のアテンション変種について検討する。
広範な実験により、PGSRは現実主義のトレードオフを改善し、既存の潜在生成型SRアプローチよりも忠実で視覚的に説得力のある結果をもたらすことが示されている。
関連論文リスト
- DNF-SR: Dual-Input and Negative-Aware Feature Fine-Tuning for Real-World Image Super-Resolution [50.847827209157494]
LRを拡散モデルに非媒介的に供給すると、モデルの元々の入力との分配ギャップが生じる。
本稿では,Real-ISRのためのDual-Input and Negative-Aware Feature Fine-tuning法を提案する。
この特性を利用して、高品質な結果を生み出すためのモデルであるNF2T(Negative-Aware Feature Fine-Tuning)を提案する。
論文 参考訳（メタデータ） (2026-09-14T06:53:22Z) - PixelIR: Fidelity-Perception Decoupling via Pixel-Space Image-Residual Flow Matching for Efficient One-Step Real-World Super-Resolution [28.787313933850687]
リアルワールド・イメージ・スーパーレゾリューション(Real-ISR)は、知覚的に現実的な詳細を再構築しながら、劣化した観察によって支えられた構造を保存することを目的としている。
画素空間画像-残差フローマッチングに基づいて構築された,忠実度知覚デカップリングフレームワークであるPixelIRを提案する。
実験によると、PixelIRはRealSRとDRealSRの両方でPSNR、SSIM、LPIPSをリードする。
論文 参考訳（メタデータ） (2026-08-31T13:39:54Z) - Ultra-High-Definition Restoration Transformers with Correlation Matching Transformation [113.23094779244771]
UHDformer++は、UHD(Ultra-High-Definition)イメージ復元タスクを解決するトランスフォーマーベースのフレームワークである。
1)マルチレベル特徴抽出のための高分解能空間(HR)、2)コンパクトで代表的な特徴を学習するための低分解能空間(LR)、3)低分解能特徴をSRからアップするための超分解能空間(SR)、そして4)最終画像復元のための低分解能融合再生空間(LHFR)である。
論文 参考訳（メタデータ） (2026-08-18T20:41:27Z) - VARestorer: One-Step VAR Distillation for Real-World Image Super-Resolution [76.19751531910039]
本稿では,事前学習したテキストから画像へのVARモデルを,ワンステップのISRモデルに変換するフレームワークであるVARestorerを提案する。
VARestorerは、DIV2Kデータセット上で72.32 MUSIQと0.7669 CLIPIQAで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-04-23T09:09:36Z) - Latent Diffusion, Implicit Amplification: Efficient Continuous-Scale Super-Resolution for Remote Sensing Images [7.920423405957888]
E$2$DiffSRは、最先端のSR手法と比較して、客観的な指標と視覚的品質を達成する。
拡散に基づくSR法の推論時間を非拡散法と同程度のレベルに短縮する。
論文 参考訳（メタデータ） (2024-10-30T09:14:13Z) - ControlSR: Taming Diffusion Models for Consistent Real-World Image Super Resolution [68.72454974431749]
我々は、一貫した実世界の画像超解像(Real-ISR)に対して拡散モデルをテーム化する新しい方法であるControlSRを提案する。
提案モデルでは,複数のテストセット上で複数の測定値にまたがる性能が向上し,既存の手法よりもLR画像でより一貫したSR結果が得られる。
論文 参考訳（メタデータ） (2024-10-18T08:35:57Z) - LaRE$^2$: Latent Reconstruction Error Based Method for Diffusion-Generated Image Detection [31.009153793849183]
ラテント再構成誤差 (LaRE) は, 画像検出のための遅延空間における最初のリコンストラクションエラーに基づく特徴である。
LaREを利用するために,LaREによって誘導される画像の特徴を洗練し,特徴の識別性を向上するError-Guided Feature Refinement Module (EGRE)を提案する。
我々のEGREはアライメント・then-refine機構を利用しており、空間的・チャネル的な視点から生成画像を検出するために画像特徴を効果的に洗練する。
論文 参考訳（メタデータ） (2024-03-26T07:55:16Z) - Reti-Diff: Illumination Degradation Image Restoration with Retinex-based
Latent Diffusion Model [59.08821399652483]
照明劣化画像復元(IDIR)技術は、劣化した画像の視認性を改善し、劣化した照明の悪影響を軽減することを目的としている。
これらのアルゴリズムのうち、拡散モデル(DM)に基づく手法は期待できる性能を示しているが、画像レベルの分布を予測する際に、重い計算要求や画素の不一致の問題に悩まされることが多い。
我々は、コンパクトな潜在空間内でDMを活用して、簡潔な指導先を生成することを提案し、IDIRタスクのためのReti-Diffと呼ばれる新しいソリューションを提案する。
Reti-Diff は Retinex-based Latent DM (RLDM) と Retinex-Guided Transformer (RG) の2つの鍵成分からなる。
論文 参考訳（メタデータ） (2023-11-20T09:55:06Z) - SRDiff: Single Image Super-Resolution with Diffusion Probabilistic
Models [19.17571465274627]
単一の画像スーパーリゾリューション(SISR)は、与えられた低リゾリューション(LR)画像から高解像度(HR)画像を再構成することを目的とする。
新規な単像超解像拡散確率モデル(SRDiff)を提案する。
SRDiffはデータ可能性の変動境界の変種に最適化されており、多様で現実的なSR予測を提供することができる。
論文 参考訳（メタデータ） (2021-04-30T12:31:25Z) - Characteristic Regularisation for Super-Resolving Face Images [81.84939112201377]
既存の顔画像超解像法(SR)は、主に人工的にダウンサンプリングされた低解像度(LR)画像の改善に焦点を当てている。
従来の非教師なしドメイン適応(UDA)手法は、未ペアの真のLRとHRデータを用いてモデルをトレーニングすることでこの問題に対処する。
これにより、視覚的特徴を構成することと、画像の解像度を高めることの2つのタスクで、モデルをオーバーストレッチする。
従来のSRモデルとUDAモデルの利点を結合する手法を定式化する。
論文 参考訳（メタデータ） (2019-12-30T16:27:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。