論文の概要: PixRestore: Unified Image Restoration via Pixel Diffusion Transformer
- arxiv url: http://arxiv.org/abs/2608.16793v1
- Date: Mon, 17 Aug 2026 16:49:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.796634
- Title: PixRestore: Unified Image Restoration via Pixel Diffusion Transformer
- Title（参考訳）: PixRestore:Pixel Diffusion Transformerによる統一イメージ復元
- Abstract要約: 統一画像復元(UIR)は、低品質(LQ)画像から高品質(HQ)コンテンツを異なる劣化で復元することを目的としている。
本稿では,VAEフリー画素空間拡散変換器(DiT)であるPixRestoreについて述べる。
PixRestoreは、パッチされたピクセル上で直接フローマッチングを実行し、トークンシーケンスをトラクタブルに保ちながら、きめ細かい詳細を保存する。
- 参考スコア（独自算出の注目度）: 25.58481833908051
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unified image restoration (UIR) aims to recover high-quality (HQ) content from low-quality (LQ) images with different degradations using a single model. Most recent methods adapt large pretrained text-to-image (T2I) latent diffusion models for their strong capacity and generative priors. However, the variational autoencoder (VAE) in latent T2I models may discard restoration-sensitive details, while the open-ended synthesis prior can introduce content-inconsistent artifacts. We present PixRestore, a VAE-free pixel-space Diffusion Transformer (DiT) for UIR, where the diffusion backbone is trained entirely from scratch, without relying on T2I pretraining. PixRestore performs flow matching directly on patchified pixels, preserving fine-grained details while keeping the token sequence tractable. To adapt to different degradations, PixRestore learns to predict the reliability of layer features using LQ--HQ DINO feature similarity. Features from more reliable layers are fused as dense conditioning, while less reliable layers receive stronger HQ-feature supervision to encourage degradation removal. We train PixRestore on a large-scale corpus of diverse scenes and degradations, and further finetune it into a one-step generator using DINO-based adversarial objectives for efficient inference. Experiments on public benchmarks and real-world test sets show that, with only about 50M parameters and single-step inference, PixRestore achieves the best overall fidelity, perceptual quality, and robustness to degradations among competing UIR models while being far more efficient. Larger PixRestore variants can further boost performance, demonstrating the scalability of our pixel-space design. Code and the curated benchmark can be found at https://github.com/csslc/PixRestore.
- Abstract（参考訳）: 統一画像復元(UIR)は、低品質(LQ)画像から高品質(HQ)コンテンツを1つのモデルで再現することを目的としている。
最新の手法では、大きな事前訓練されたテキスト・トゥ・イメージ(T2I)潜時拡散モデルを適用して、その強い能力と生成前駆体に適応する。
しかし、潜在T2Iモデルにおける変分オートエンコーダ(VAE)は、復元に敏感な詳細を廃止する可能性がある。
本稿では,VAEフリー画素空間拡散変換器(DiT)であるPixRestoreについて述べる。
PixRestoreは、パッチされたピクセル上で直接フローマッチングを実行し、トークンシーケンスをトラクタブルに保ちながら、きめ細かい詳細を保存する。
異なる劣化に対応するため、PixRestoreはLQ-HQ DINOの機能類似性を使用して、レイヤ機能の信頼性を予測することを学ぶ。
より信頼性の高い層からの機能は密な条件付けとして融合されるが、信頼性の低い層は、劣化を促進させるためにより強力なHQ-Featureの監督を受ける。
PixRestoreを多種多様なシーンと劣化の大規模コーパスで訓練し、さらにDINOをベースとした対向目的を用いて1ステップのジェネレータに微調整し、効率的な推論を行う。
公開ベンチマークと実世界のテストセットの実験では、約5000万のパラメータと単一ステップの推論だけで、PixRestoreは、競合するUIRモデル間の分解に対する最高の全体的な忠実さ、知覚的品質、堅牢性を達成し、はるかに効率的である。
PixRestoreの大きなバリエーションは、パフォーマンスをさらに向上させ、ピクセル空間設計のスケーラビリティを実証します。
コードとキュレートされたベンチマークはhttps://github.com/csslc/PixRestoreで見ることができる。
関連論文リスト
- When Latents Forget Pixels: Restoring Fidelity in Diffusion Transformer Super-Resolution [47.89708788628452]
本稿では,VAE圧縮前にLR観測された画素の証拠を保存し,復元を通じて再利用する,画素基底超解像(PGSR)フレームワークを提案する。
実験により、PGSRは現実主義のトレードオフを改善し、既存の潜在生成型SRアプローチよりも忠実で視覚的に説得力のある結果をもたらすことが示された。
論文 参考訳（メタデータ） (2026-08-10T05:24:39Z) - Eliminating VAE for Fast and High-Resolution Generative Detail Restoration [19.313842956605356]
拡散モデルは、現実世界の超解像(SR)タスクにおいて顕著なブレークスルーを達成した。
GenDRのような最近の研究は、ステップ番号を1に最小化するためにステップ蒸留を採用している。
GenDR-Pixは4K画像を1秒と6GBで復元できる。
論文 参考訳（メタデータ） (2026-02-11T08:23:30Z) - SSDD: Single-Step Diffusion Decoder for Efficient Image Tokenization [56.12853087022071]
スケーリングとトレーニングの安定性を向上させるために,新しい画素拡散デコーダアーキテクチャを導入する。
蒸留を用いて, 拡散復号器の性能を効率よく再現する。
これによりSSDDは、敵の損失なしに訓練された単一ステップ再構成に最適化された最初の拡散デコーダとなる。
論文 参考訳（メタデータ） (2025-10-06T15:57:31Z) - Multi-scale Image Super Resolution with a Single Auto-Regressive Model [40.77470215283583]
視覚的自己回帰(VAR)モデリングの最近の進歩を利用して、画像超解像(ISR)に取り組む。
我々の知る限りでは、量子化器が様々なスケールで意味的に一貫した残留を強制するために訓練されたのはこれが初めてである。
本モデルでは, LR画像と超解像を, 1回の前方通過で, 目標値の半値と全値でデノマイズすることができる。
論文 参考訳（メタデータ） (2025-06-05T13:02:23Z) - Timestep-Aware Diffusion Model for Extreme Image Rescaling [47.89362819768323]
本稿では,時間認識拡散モデル(TADM)と呼ばれる,画像再スケーリングのための新しいフレームワークを提案する。
TADMは、事前訓練されたオートエンコーダの潜在空間で再スケーリング操作を行う。
これは、事前訓練されたテキスト・ツー・イメージ拡散モデルによって学習された強力な自然画像の先行を効果的に活用する。
論文 参考訳（メタデータ） (2024-08-17T09:51:42Z) - Referring Flexible Image Restoration [9.664435854616633]
フレキシブル・イメージ・リカバリ(RFIR)を参考に
そこで我々はまず,分解した画像を含む153,423個のサンプルからなるRFIRという大規模合成データセットを構築した。
劣化画像の劣化型を同時に認識し,テキストプロンプトによる特定の劣化を除去する,TransRFIRと呼ばれる新しいトランスフォーマーベースのマルチタスクモデルを提案する。
論文 参考訳（メタデータ） (2024-04-16T07:25:17Z) - Improving Diffusion-Based Image Synthesis with Context Prediction [49.186366441954846]
既存の拡散モデルは、主に、劣化した画像から空間軸に沿って画素幅または特徴幅の制約で入力画像を再構成しようとする。
文脈予測を用いて拡散に基づく画像合成を改善するためのConPreDiffを提案する。
我々のConPreDiffは従来手法を一貫して上回り、ゼロショットFIDスコア6.21で、MS-COCO上で新たなSOTAテキスト・画像生成結果を達成する。
論文 参考訳（メタデータ） (2024-01-04T01:10:56Z) - DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior [70.46245698746874]
DiffBIRは、視覚の異なる画像復元タスクを処理できる一般的な修復パイプラインである。
DiffBIRは, ブラインド画像復元問題を, 1) 劣化除去: 画像に依存しない内容の除去; 2) 情報再生: 失われた画像内容の生成の2段階に分離する。
第1段階では, 修復モジュールを用いて劣化を除去し, 高忠実度復元結果を得る。
第2段階では、潜伏拡散モデルの生成能力を活用して現実的な詳細を生成するIRControlNetを提案する。
論文 参考訳（メタデータ） (2023-08-29T07:11:52Z) - DR2: Diffusion-based Robust Degradation Remover for Blind Face
Restoration [66.01846902242355]
ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。
トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。
本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
論文 参考訳（メタデータ） (2023-03-13T06:05:18Z) - Rethinking the Paradigm of Content Constraints in Unpaired
Image-to-Image Translation [9.900050049833986]
本稿では,パッチレベルの特徴の潜在空間における表現的類似性を制約することにより,コンテンツ管理のシンプルかつ効率的な方法であるEnCoを提案する。
類似性関数に対しては、I2Iタスクで広く使われている対照的な損失ではなく、単純なMSE損失を用いる。
さらに, 識別者によるサンプリングにおける役割を再考し, ランダムサンプリングの代替として, DAG(Disdisnative attention-guided)パッチサンプリング戦略を提案する。
論文 参考訳（メタデータ） (2022-11-20T04:39:57Z) - Restormer: Efficient Transformer for High-Resolution Image Restoration [118.9617735769827]
畳み込みニューラルネットワーク(CNN)は、大規模データから一般化可能な画像の事前学習をうまく行う。
トランスフォーマーは、自然言語とハイレベルな視覚タスクにおいて、顕著なパフォーマンス向上を示している。
我々のモデルであるRecovery Transformer (Restormer) は、いくつかの画像復元タスクにおいて最先端の結果を得る。
論文 参考訳（メタデータ） (2021-11-18T18:59:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。