論文の概要: AllRestorer: All-in-One Transformer for Image Restoration under Composite Degradations

• arxiv url: http://arxiv.org/abs/2411.10708v1
• Date: Sat, 16 Nov 2024 05:30:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:33:30.384689
• Title: AllRestorer: All-in-One Transformer for Image Restoration under Composite Degradations
• Title（参考訳）: AllRestorer: 複合劣化下の画像復元のためのオールインワン変換器
• Authors: Jiawei Mao, Yu Yang, Xuesong Yin, Ling Shao, Hao Tang,
• Abstract要約: 本稿では,新しいトランスフォーマーベースの復元フレームワークAllRestorerを提案する。 AllRestorerは、すべてのイメージ障害を適応的に考慮し、シーンディスクリプタのミスダイレクトによるエラーを避ける。 CDD-11データセットのベースラインと比較して,AllRestorerはPSNRの5.00dB増加を実現している。
• 参考スコア（独自算出の注目度）: 52.076067325999226
• License:
• Abstract: Image restoration models often face the simultaneous interaction of multiple degradations in real-world scenarios. Existing approaches typically handle single or composite degradations based on scene descriptors derived from text or image embeddings. However, due to the varying proportions of different degradations within an image, these scene descriptors may not accurately differentiate between degradations, leading to suboptimal restoration in practical applications. To address this issue, we propose a novel Transformer-based restoration framework, AllRestorer. In AllRestorer, we enable the model to adaptively consider all image impairments, thereby avoiding errors from scene descriptor misdirection. Specifically, we introduce an All-in-One Transformer Block (AiOTB), which adaptively removes all degradations present in a given image by modeling the relationships between all degradations and the image embedding in latent space. To accurately address different variations potentially present within the same type of degradation and minimize ambiguity, AiOTB utilizes a composite scene descriptor consisting of both image and text embeddings to define the degradation. Furthermore, AiOTB includes an adaptive weight for each degradation, allowing for precise control of the restoration intensity. By leveraging AiOTB, AllRestorer avoids misdirection caused by inaccurate scene descriptors, achieving a 5.00 dB increase in PSNR compared to the baseline on the CDD-11 dataset.
• Abstract（参考訳）: 画像復元モデルは、実世界のシナリオにおいて、複数の劣化の同時的相互作用に直面していることが多い。 既存のアプローチは通常、テキストや画像の埋め込みから派生したシーン記述子に基づいて、単一または複合的な分解を処理する。 しかし, 画像内の劣化率が異なるため, これらのシーン記述子は劣化率を正確に区別することができず, 実用上, 準最適復元に繋がる可能性がある。 この問題に対処するために,新しいトランスフォーマーベースの復元フレームワークであるAllRestorerを提案する。 AllRestorerでは,すべての画像障害を適応的に考慮し,シーン記述ミスによるエラーを回避する。 具体的には、任意の画像に存在するすべての劣化を適応的に除去するオールインワントランスフォーマーブロック(AiOTB)を導入する。 AiOTBは、画像とテキストの埋め込みの両方からなる複合シーン記述子を使用して、同じ種類の劣化に存在する可能性のあるさまざまなバリエーションに正確に対処し、曖昧さを最小限に抑える。 さらに、AiOTBは各劣化に対する適応重みを含み、復元強度を正確に制御することができる。 AiOTBを活用することで、AllRestorerは不正確なシーン記述子による誤った方向付けを回避し、CDD-11データセットのベースラインに比べてPSNRが5.00dB向上する。

関連論文リスト

• OneRestore: A Universal Restoration Framework for Composite Degradation [33.556183375565034]
  現実のシナリオでは、画像障害はしばしば複合的な劣化として現れ、低光、迷路、雨、雪といった要素の複雑な相互作用を示す。 本研究では, 複雑な複合劣化シナリオを正確に表現するために, 4つの物理劣化パラダイムを統合した多目的イメージングモデルを提案する。 OneRestoreは、適応的で制御可能なシーン復元のために設計された新しいトランスフォーマーベースのフレームワークである。
  論文  参考訳（メタデータ） (2024-07-05T16:27:00Z)
• Preserving Full Degradation Details for Blind Image Super-Resolution [40.152015542099704]
  劣化低分解能画像(LR)の再生による劣化表現の学習方法を提案する。 復調器に入力LR画像の再構成を誘導することにより、その表現に全劣化情報をエンコードすることができる。 実験により, 精度が高く, 強靭な劣化情報を抽出できることが確認された。
  論文  参考訳（メタデータ） (2024-07-01T13:54:59Z)
• Restorer: Removing Multi-Degradation with All-Axis Attention and Prompt Guidance [12.066756224383827]
  textbfRestorerはトランスフォーマーベースのオールインワン画像復元モデルである。 追加のトレーニングを必要とせずに、現実世界のシナリオで複合的な劣化を処理することができる。 推論中は効率が良く、現実世界の応用の可能性も示唆している。
  論文  参考訳（メタデータ） (2024-06-18T13:18:32Z)
• Cross-Consistent Deep Unfolding Network for Adaptive All-In-One Video Restoration [78.14941737723501]
  オールインワンVRのためのクロスコンセントディープ・アンフォールディング・ネットワーク(CDUN)を提案する。 2つのカスケード手順を編成することにより、CDUNは様々な劣化に対する適応的な処理を達成する。 さらに、より隣接するフレームからの情報を活用するために、ウィンドウベースのフレーム間融合戦略を導入する。
  論文  参考訳（メタデータ） (2023-09-04T14:18:00Z)
• All-in-one Multi-degradation Image Restoration Network via Hierarchical Degradation Representation [47.00239809958627]
  我々は新しいオールインワン・マルチデグレーション画像復元ネットワーク(AMIRNet)を提案する。 AMIRNetは、クラスタリングによって木構造を段階的に構築することで、未知の劣化画像の劣化表現を学習する。 この木構造表現は、様々な歪みの一貫性と不一致を明示的に反映しており、画像復元の具体的な手がかりとなっている。
  論文  参考訳（メタデータ） (2023-08-06T04:51:41Z)
• PromptIR: Prompting for All-in-One Blind Image Restoration [64.02374293256001]
  我々は、オールインワン画像復元のためのプロンプトIR(PromptIR)を提案する。 本手法では, 劣化特異的情報をエンコードするプロンプトを用いて, 復元ネットワークを動的に案内する。 PromptIRは、軽量なプロンプトがほとんどない汎用的で効率的なプラグインモジュールを提供する。
  論文  参考訳（メタデータ） (2023-06-22T17:59:52Z)
• DR2: Diffusion-based Robust Degradation Remover for Blind Face Restoration [66.01846902242355]
  ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。 トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。 本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
  論文  参考訳（メタデータ） (2023-03-13T06:05:18Z)
• Invertible Rescaling Network and Its Extensions [118.72015270085535]
  本研究では,新たな視点から双方向の劣化と復元をモデル化する,新しい可逆的枠組みを提案する。 我々は、有効な劣化画像を生成し、失われたコンテンツの分布を変換する可逆モデルを開発する。 そして、ランダムに描画された潜在変数とともに、生成された劣化画像に逆変換を適用することにより、復元可能とする。
  論文  参考訳（メタデータ） (2022-10-09T06:58:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。