論文の概要: XPSR: Cross-modal Priors for Diffusion-based Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2403.05049v2
• Date: Fri, 19 Jul 2024 16:31:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 23:47:06.633342
• Title: XPSR: Cross-modal Priors for Diffusion-based Image Super-Resolution
• Title（参考訳）: XPSR:拡散型画像スーパーリゾリューションのためのクロスモーダルプライオリティ
• Authors: Yunpeng Qu, Kun Yuan, Kai Zhao, Qizhi Xie, Jinhua Hao, Ming Sun, Chao Zhou,
• Abstract要約: 画像超解法では, 拡散法が注目されている。 ISRモデルでは、意味や劣化情報を知覚することは困難であり、不正確な内容や非現実的なアーティファクトによる復元画像が得られる。 拡散モデルに対する高精度かつ包括的意味条件を取得するために,テキストクロスモーダル・プライマリ・フォー・スーパー・リゾリューション(XPSR)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 14.935662351654601
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion-based methods, endowed with a formidable generative prior, have received increasing attention in Image Super-Resolution (ISR) recently. However, as low-resolution (LR) images often undergo severe degradation, it is challenging for ISR models to perceive the semantic and degradation information, resulting in restoration images with incorrect content or unrealistic artifacts. To address these issues, we propose a \textit{Cross-modal Priors for Super-Resolution (XPSR)} framework. Within XPSR, to acquire precise and comprehensive semantic conditions for the diffusion model, cutting-edge Multimodal Large Language Models (MLLMs) are utilized. To facilitate better fusion of cross-modal priors, a \textit{Semantic-Fusion Attention} is raised. To distill semantic-preserved information instead of undesired degradations, a \textit{Degradation-Free Constraint} is attached between LR and its high-resolution (HR) counterpart. Quantitative and qualitative results show that XPSR is capable of generating high-fidelity and high-realism images across synthetic and real-world datasets. Codes are released at \url{https://github.com/qyp2000/XPSR}.
• Abstract（参考訳）: 近年,画像超解像法 (ISR) では拡散法が注目されている。 しかし、低解像度(LR)画像は深刻な劣化を受けることが多いため、ISRモデルでは意味や劣化に関する情報を認識できないため、誤った内容や非現実的なアーティファクトの復元画像が得られる。 これらの問題に対処するために,超解法のためのtextit{Cross-modal Priors for Super-Resolution (XPSR) フレームワークを提案する。 XPSR内では、拡散モデルの正確かつ包括的な意味条件を得るために、最先端のマルチモーダル大言語モデル(MLLM)が利用される。 クロスモーダルな事前の融合を容易にするために、 \textit{Semantic-Fusion Attention} が上げられる。 望ましくない劣化の代わりにセマンティック保存情報を蒸留するために、LRとその高分解能(HR)間で \textit{Degradation-Free Constraint} が付加される。 定量的および定性的な結果は、XPSRが合成および実世界のデータセット間で高忠実で高現実的な画像を生成することができることを示している。 コードは \url{https://github.com/qyp2000/XPSR} でリリースされる。

関連論文リスト

• ConsisSR: Delving Deep into Consistency in Diffusion-based Image Super-Resolution [28.945663118445037]
  実世界の超解像(Real-ISR)は、未知の複雑な劣化によって劣化した低品質(LQ)入力から高品質(HQ)イメージを復元することを目的としている。 セマンティックとピクセルレベルの整合性を扱うためにConsisSRを導入する。
  論文  参考訳（メタデータ） (2024-10-17T17:41:52Z)
• DaLPSR: Leverage Degradation-Aligned Language Prompt for Real-World Image Super-Resolution [19.33582308829547]
  本稿では, 精度, 精細度, 高忠実度画像復元のために, 劣化対応言語プロンプトを活用することを提案する。 提案手法は,新しい最先端の知覚品質レベルを実現する。
  論文  参考訳（メタデータ） (2024-06-24T09:30:36Z)
• SeeSR: Towards Semantics-Aware Real-World Image Super-Resolution [16.815468458589635]
  生成した実世界の画像の超解像のセマンティックな忠実さをよりよく保存するためのセマンティックス・アウェア・アプローチを提案する。 まず, 高精度なソフト・ハード・セマンティック・プロンプトを高い劣化下でも生成できる劣化対応プロンプト抽出器を訓練する。 実験により,本手法はよりリアルな画像の詳細を再現し,セマンティクスをよりよく保持できることが示された。
  論文  参考訳（メタデータ） (2023-11-27T18:11:19Z)
• CoSeR: Bridging Image and Language for Cognitive Super-Resolution [74.24752388179992]
  本稿では,低解像度画像の理解能力を備えたSRモデルを実現するCoSeR(Cognitive Super-Resolution)フレームワークを提案する。 画像の外観と言語理解を組み合わせることで、認知的な埋め込みを生成する。 画像の忠実度をさらに向上させるため、「オール・イン・アテンション」と呼ばれる新しい条件注入方式を提案する。
  論文  参考訳（メタデータ） (2023-11-27T16:33:29Z)
• RBSR: Efficient and Flexible Recurrent Network for Burst Super-Resolution [57.98314517861539]
  バースト超解像(BurstSR)は、高解像度(HR)画像を低解像度(LR)画像と雑音画像から再構成することを目的としている。 本稿では,効率よくフレキシブルなリカレントネットワークでフレーム単位のキューを融合させることを提案する。
  論文  参考訳（メタデータ） (2023-06-30T12:14:13Z)
• Implicit Diffusion Models for Continuous Super-Resolution [65.45848137914592]
  本稿では,高忠実度連続画像超解像のためのインプリシティ拡散モデル(IDM)を提案する。 IDMは暗黙のニューラル表現とデノナイジング拡散モデルを統合されたエンドツーエンドフレームワークに統合する。 スケーリング係数は分解能を調節し、最終出力におけるLR情報と生成された特徴の比率を変調する。
  論文  参考訳（メタデータ） (2023-03-29T07:02:20Z)
• Hierarchical Similarity Learning for Aliasing Suppression Image Super-Resolution [64.15915577164894]
  エイリアスの影響を抑制するために階層画像超解像ネットワーク(HSRNet)を提案する。 HSRNetは、他の作品よりも定量的かつ視覚的なパフォーマンスを向上し、エイリアスをより効果的に再送信する。
  論文  参考訳（メタデータ） (2022-06-07T14:55:32Z)
• Best-Buddy GANs for Highly Detailed Image Super-Resolution [71.13466303340192]
  我々は,低分解能(LR)入力に基づいて高分解能(HR)画像を生成する単一画像超解像(SISR)問題を考える。 このラインに沿ったほとんどのメソッドは、SISRタスクに十分な柔軟性がない、事前定義されたシングルLRシングルHRマッピングに依存しています。 リッチディテールSISRのためのベストバディGAN(Beby-GAN)を提案する。 イミュータブルな1対1の制約を緩和することで、推定されたパッチを動的に最高の監視を求めることができる。
  論文  参考訳（メタデータ） (2021-03-29T02:58:27Z)
• Deep Cyclic Generative Adversarial Residual Convolutional Networks for Real Image Super-Resolution [20.537597542144916]
  我々は、LRとHRデータ分布間の領域整合性を維持するために、深い循環ネットワーク構造を考える。 本稿では,LRからHRドメインへの変換のためのGAN(Generative Adversarial Network)フレームワークを用いた学習により,超解像残留周期生成逆ネットワーク(SRResCycGAN)を提案する。
  論文  参考訳（メタデータ） (2020-09-07T11:11:18Z)
• DDet: Dual-path Dynamic Enhancement Network for Real-World Image Super-Resolution [69.2432352477966]
  実画像超解像(Real-SR)は、実世界の高分解能画像(HR)と低分解能画像(LR)の関係に焦点を当てている。 本稿では,Real-SRのためのデュアルパス動的拡張ネットワーク(DDet)を提案する。 特徴表現のための大規模な畳み込みブロックを積み重ねる従来の手法とは異なり、非一貫性のある画像対を研究するためのコンテンツ認識フレームワークを導入する。
  論文  参考訳（メタデータ） (2020-02-25T18:24:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。