論文の概要: GramSR: Visual Feature Conditioning for Diffusion-Based Super-Resolution
- arxiv url: http://arxiv.org/abs/2604.25457v1
- Date: Tue, 28 Apr 2026 10:05:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-29 16:49:17.811454
- Title: GramSR: Visual Feature Conditioning for Diffusion-Based Super-Resolution
- Title(参考訳): GramSR: 拡散に基づく超解法のための視覚的特徴条件付け
- Authors: Fabio D'Oronzio, Federico Putamorsi, Leonardo Zini, Marcella Cornia, Lorenzo Baraldi,
- Abstract要約: GramSRは、DINOv3エンコーダを用いて低解像度入力から抽出された高密度な視覚的特徴をテキストコンディショニングに置き換える1ステップの拡散ベースの超解像度フレームワークである。
標準SRベンチマークの実験では、GramSRは既存の1段階拡散法より一貫して優れており、優れた構造忠実性とテクスチャリアリズムを実現している。
- 参考スコア(独自算出の注目度): 21.121037498869672
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite recent advances, single-image super-resolution (SR) remains challenging, especially in real-world scenarios with complex degradations. Diffusion-based SR methods, particularly those built on Stable Diffusion, leverage strong generative priors but commonly rely on text conditioning derived from semantic captioning. Such textual descriptions provide only high-level semantics and lack the spatially aligned visual information required for faithful restoration, leading to a representation gap between abstract semantics and spatially aligned visual details. To address this limitation, we propose GramSR, a one-step diffusion-based SR framework that replaces text conditioning with dense visual features extracted from the low-resolution input using a pre-trained DINOv3 encoder. GramSR adopts a three-stage LoRA architecture, where pixel-level, semantic-level, and texture-level LoRA modules are trained sequentially. The pixel-level module focuses on degradation removal using $\ell_2$ loss, the semantic-level module enhances perceptual details via LPIPS and CSD losses, and the texture-level module enforces feature correlation consistency through a Gram matrix loss computed from DINOv3 features. At inference, independent guidance scales enable flexible control over degradation removal, semantic enhancement, and texture preservation. Extensive experiments on standard SR benchmarks demonstrate that GramSR consistently outperforms existing one-step diffusion-based methods, achieving superior structural fidelity and texture realism. The code for this work is available at: https://github.com/aimagelab/GramSR.
- Abstract(参考訳): 近年の進歩にもかかわらず、特に複雑な劣化を伴う現実のシナリオでは、シングルイメージ超解像(SR)は難しいままである。
拡散に基づくSR法、特に安定拡散に基づいて構築された手法は、強い生成的先行性を利用するが、一般的には意味的なキャプションから派生したテキスト条件に依存している。
このようなテキスト記述は、高レベルな意味論のみを提供し、忠実な復元に必要な空間的に整合した視覚情報がないため、抽象的な意味論と空間的に整合した視覚的詳細の間の表現のギャップが生じる。
この制限に対処するため,DINOv3エンコーダを用いた低解像度入力から抽出した高密度視覚特徴にテキスト条件を置き換える一段階拡散型SRフレームワークであるGramSRを提案する。
GramSRは3段階のLoRAアーキテクチャを採用し、ピクセルレベル、セマンティックレベル、テクスチャレベルのLoRAモジュールを順次トレーニングする。
ピクセルレベルのモジュールは$\ell_2$損失による劣化除去、セマンティックレベルのモジュールはLPIPSとCSD損失による知覚的詳細の強化、テクスチャレベルのモジュールはDINOv3の機能から計算されたグラム行列損失によって特徴相関一貫性を強制する。
推論において、独立したガイダンススケールは、分解の除去、セマンティックエンハンスメント、テクスチャ保存に対する柔軟な制御を可能にする。
標準SRベンチマークの広範な実験により、GramSRは既存の1段階拡散法よりも優れ、優れた構造忠実性とテクスチャリアリズムを実現することが示されている。
この作業のコードは、https://github.com/aimagelab/GramSRで公開されている。
関連論文リスト
- Disentangled Textual Priors for Diffusion-based Image Super-Resolution [41.71306518338786]
Image Super-Resolutionは、劣化した低解像度入力から高解像度画像を再構成することを目的としている。
既存のアプローチは、グローバルなレイアウトとローカルな詳細を混ぜ合わせた、絡み合った、あるいは粗い粒度の前のものに依存することが多い。
DTPSRは,2つの相補的な次元に絡み合ったテキストの先行処理を導入する新しい拡散型SRフレームワークである。
論文 参考訳(メタデータ) (2026-03-08T03:02:55Z) - InfScene-SR: Spatially Continuous Inference for Arbitrary-Size Image Super-Resolution [3.6762434952581713]
InfScene-SRは、空間的に連続した超解像を可能にするフレームワークである。
拡散モデルの反復的精密化過程を、新しいガイド付きおよび分散補正融合機構で適用する。
論文 参考訳(メタデータ) (2026-02-23T11:34:59Z) - SRSR: Enhancing Semantic Accuracy in Real-World Image Super-Resolution with Spatially Re-Focused Text-Conditioning [59.013863248600046]
本稿では,空間的に再焦点を絞ったテキストコンディショニングを推論時に洗練する超解像フレームワークを提案する。
第二に,非接地画素に対するテキストの影響を選択的に回避し,幻覚を防ぐ空間的自由誘導機構を導入する。
論文 参考訳(メタデータ) (2025-10-26T05:03:55Z) - SeG-SR: Integrating Semantic Knowledge into Remote Sensing Image Super-Resolution via Vision-Language Model [38.06930079816157]
高解像度(HR)リモートセンシング画像は、都市計画や環境モニタリングなど幅広い用途において重要な役割を担っている。
センサーやデータ転送リンクの制限により、実際に取得された画像は分解能の低下に悩まされることが多い。
RSISR(Remote Sensing Image Super-Resolution)は、ローレゾリューション(LR)入力からHRイメージを再構築することを目的としており、直接HR画像を取得するためのコスト効率の良い代替手段を提供する。
論文 参考訳(メタデータ) (2025-05-29T02:38:34Z) - Manifold-aware Representation Learning for Degradation-agnostic Image Restoration [135.90908995927194]
画像復元(IR)は、ノイズ、ぼかし、迷路、雨、低照度といった様々な汚職に影響を受ける劣化した入力から高品質な画像を復元することを目的としている。
我々は、入力特徴空間を3つのセマンティックに整列した並列分岐に明示的に分解する1つのIRにおいて、すべてに統一されたフレームワークであるMIRAGEを提案する。
このモジュラ分解は、多種多様な分解の一般化と効率を大幅に改善する。
論文 参考訳(メタデータ) (2025-05-24T12:52:10Z) - CLIP-SR: Collaborative Linguistic and Image Processing for Super-Resolution [21.843398350371867]
畳み込みニューラルネットワーク(CNN)は、画像超解像(SR)を大幅に進歩させた
ほとんどのCNNベースのメソッドはピクセルベースの変換のみに依存しており、アーティファクトやぼやけにつながっている。
テキストのセマンティックスと視覚的特徴を統合するマルチモーダルなセマンティックエンハンスメントフレームワークを提案する。
論文 参考訳(メタデータ) (2024-12-16T09:50:09Z) - Image Super-Resolution with Text Prompt Diffusion [118.023531454099]
画像SRにテキストプロンプトを導入し、劣化前の情報を提供する。
PromptSRは、最新のマルチモーダル大言語モデル(MLLM)を利用して、低解像度画像からプロンプトを生成する。
実験により、テキストプロンプトをSRに導入すると、合成画像と実世界の画像の両方で印象的な結果が得られることが示された。
論文 参考訳(メタデータ) (2023-11-24T05:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。