論文の概要: A Dive into SAM Prior in Image Restoration

• arxiv url: http://arxiv.org/abs/2305.13620v1
• Date: Tue, 23 May 2023 02:31:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 19:43:59.910648
• Title: A Dive into SAM Prior in Image Restoration
• Title（参考訳）: 画像復元に先立つSAMへのディブ
• Authors: Zeyu Xiao, Jiawang Bai, Zhihe Lu, Zhiwei Xiong
• Abstract要約: 画像復元(IR)の目的は、その劣化した低品質(LQ)観測から高品質(HQ)イメージを復元することである。 本稿では,既存のIRネットワークにセマンティックプリエントを組み込む軽量SAMプリエントチューニング(SPT)ユニットを提案する。 我々の手法で唯一訓練可能なモジュールとして、SPTユニットは効率とスケーラビリティの両方を改善する可能性がある。
• 参考スコア（独自算出の注目度）: 40.03648504115027
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The goal of image restoration (IR), a fundamental issue in computer vision, is to restore a high-quality (HQ) image from its degraded low-quality (LQ) observation. Multiple HQ solutions may correspond to an LQ input in this poorly posed problem, creating an ambiguous solution space. This motivates the investigation and incorporation of prior knowledge in order to effectively constrain the solution space and enhance the quality of the restored images. In spite of the pervasive use of hand-crafted and learned priors in IR, limited attention has been paid to the incorporation of knowledge from large-scale foundation models. In this paper, we for the first time leverage the prior knowledge of the state-of-the-art segment anything model (SAM) to boost the performance of existing IR networks in an parameter-efficient tuning manner. In particular, the choice of SAM is based on its robustness to image degradations, such that HQ semantic masks can be extracted from it. In order to leverage semantic priors and enhance restoration quality, we propose a lightweight SAM prior tuning (SPT) unit. This plug-and-play component allows us to effectively integrate semantic priors into existing IR networks, resulting in significant improvements in restoration quality. As the only trainable module in our method, the SPT unit has the potential to improve both efficiency and scalability. We demonstrate the effectiveness of the proposed method in enhancing a variety of methods across multiple tasks, such as image super-resolution and color image denoising.
• Abstract（参考訳）: コンピュータビジョンの基本的な課題である画像復元(IR)の目標は、その劣化した低品質(LQ)観測から高品質(HQ)イメージを復元することである。 複数のHQソリューションは、この不十分な問題におけるLQ入力に対応し、あいまいな解空間を生成する。 これにより、解空間を効果的に制約し、復元された画像の品質を高めるために、事前知識の調査と導入の動機となる。 IRにおける手作り・学習の先駆的利用にもかかわらず、大規模な基礎モデルからの知識の取り込みには限定的な注意が払われている。 本稿では,既存のIRネットワークの性能をパラメータ効率のよいチューニング方法で向上させるために,SAM(State-of-the-art segment Any Model)の事前知識を初めて活用する。 特にSAMの選択は、画像劣化に対する堅牢性に基づいており、HQセマンティックマスクを抽出することができる。 セマンティックな事前情報を活用し,復元品質を向上させるために,軽量なSAM事前チューニングユニットを提案する。 このプラグアンドプレイコンポーネントにより、既存のirネットワークにセマンティクスプリエントを効果的に統合することが可能になり、復元品質が大幅に向上します。 我々の方法で唯一訓練可能なモジュールとして、SPTユニットは効率とスケーラビリティの両方を改善する可能性がある。 提案手法は,画像の超解像やカラー画像の復調など,複数のタスクにまたがる様々な手法の強化に有効であることを示す。

関連論文リスト

• Haze-Aware Attention Network for Single-Image Dehazing [10.881567541939653]
  本稿では,HAAM(Haze-Aware Attention Module)とMFEM(Multiscale Frequency Enhancement Module)を組み合わせたデハージングネットワークを提案する。 HAAMは大気散乱モデルにインスパイアされ、物理的原理を高次元の特徴に巧みに組み込んで目的の脱ハージングを行う。 我々の研究は、画像デハジングの分野を前進させるだけでなく、コンピュータビジョンの幅広い応用のための注意機構の設計に関する洞察も提供する。
  論文  参考訳（メタデータ） (2024-07-16T08:42:39Z)
• Diff-Restorer: Unleashing Visual Prompts for Diffusion-based Universal Image Restoration [19.87693298262894]
  拡散モデルに基づく普遍的な画像復元手法であるDiff-Restorerを提案する。 我々は、事前学習された視覚言語モデルを用いて、劣化した画像から視覚的プロンプトを抽出する。 また、デグレーション対応デコーダを設計し、構造的補正を行い、潜在コードをピクセル領域に変換する。
  論文  参考訳（メタデータ） (2024-07-04T05:01:10Z)
• PriorNet: A Novel Lightweight Network with Multidimensional Interactive Attention for Efficient Image Dehazing [8.837086917206525]
  ヘイズ画像は視覚的品質を低下させ、デハジングはその後の処理タスクにとって重要な前提条件である。 本稿では,新鮮で軽量で適応性の高いデハジングネットワークであるPresiderNetを紹介する。 PriorNetのコアは、多次元インタラクティブアテンション(MIA)機構で、様々なヘイズ特性を効果的に捉えている。
  論文  参考訳（メタデータ） (2024-04-24T04:20:22Z)
• LIR: A Lightweight Baseline for Image Restoration [4.187190284830909]
  画像復元作業の本質的な特徴は、多くの作品で見落とされがちである。 LIRと呼ばれる画像復元のための軽量ベースラインネットワークを提案し、画像の効率よく復元し、劣化を除去する。 我々のLIRは、Pak Signal-to-Noise Ratio (PSNR)における最先端構造類似度指標(SSIM)および最先端モデルに匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2024-02-02T12:39:47Z)
• Exploring Resolution and Degradation Clues as Self-supervised Signal for Low Quality Object Detection [77.3530907443279]
  劣化した低解像度画像中の物体を検出するための,新しい自己教師型フレームワークを提案する。 本手法は, 既存手法と比較して, 異変劣化状況に直面する場合に比べ, 優れた性能を示した。
  論文  参考訳（メタデータ） (2022-08-05T09:36:13Z)
• Rank-Enhanced Low-Dimensional Convolution Set for Hyperspectral Image Denoising [50.039949798156826]
  本稿では,ハイパースペクトル(HS)画像の難解化問題に対処する。 ランク付き低次元畳み込み集合(Re-ConvSet)を提案する。 次に、Re-ConvSetを広く使われているU-Netアーキテクチャに組み込んで、HS画像復号法を構築する。
  論文  参考訳（メタデータ） (2022-07-09T13:35:12Z)
• Hierarchical Similarity Learning for Aliasing Suppression Image Super-Resolution [64.15915577164894]
  エイリアスの影響を抑制するために階層画像超解像ネットワーク(HSRNet)を提案する。 HSRNetは、他の作品よりも定量的かつ視覚的なパフォーマンスを向上し、エイリアスをより効果的に再送信する。
  論文  参考訳（メタデータ） (2022-06-07T14:55:32Z)
• Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
  畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。 ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。 提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
  論文  参考訳（メタデータ） (2020-03-15T11:04:30Z)
• Gated Fusion Network for Degraded Image Super Resolution [78.67168802945069]
  本稿では,基本特徴と回復特徴を別々に抽出する二分岐畳み込みニューラルネットワークを提案する。 特徴抽出ステップを2つのタスク非依存ストリームに分解することで、デュアルブランチモデルがトレーニングプロセスを容易にすることができる。
  論文  参考訳（メタデータ） (2020-03-02T13:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。