論文の概要: A Dive into SAM Prior in Image Restoration
- arxiv url: http://arxiv.org/abs/2305.13620v1
- Date: Tue, 23 May 2023 02:31:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 19:43:59.910648
- Title: A Dive into SAM Prior in Image Restoration
- Title(参考訳): 画像復元に先立つSAMへのディブ
- Authors: Zeyu Xiao, Jiawang Bai, Zhihe Lu, Zhiwei Xiong
- Abstract要約: 画像復元(IR)の目的は、その劣化した低品質(LQ)観測から高品質(HQ)イメージを復元することである。
本稿では,既存のIRネットワークにセマンティックプリエントを組み込む軽量SAMプリエントチューニング(SPT)ユニットを提案する。
我々の手法で唯一訓練可能なモジュールとして、SPTユニットは効率とスケーラビリティの両方を改善する可能性がある。
- 参考スコア(独自算出の注目度): 40.03648504115027
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The goal of image restoration (IR), a fundamental issue in computer vision,
is to restore a high-quality (HQ) image from its degraded low-quality (LQ)
observation. Multiple HQ solutions may correspond to an LQ input in this poorly
posed problem, creating an ambiguous solution space. This motivates the
investigation and incorporation of prior knowledge in order to effectively
constrain the solution space and enhance the quality of the restored images. In
spite of the pervasive use of hand-crafted and learned priors in IR, limited
attention has been paid to the incorporation of knowledge from large-scale
foundation models. In this paper, we for the first time leverage the prior
knowledge of the state-of-the-art segment anything model (SAM) to boost the
performance of existing IR networks in an parameter-efficient tuning manner. In
particular, the choice of SAM is based on its robustness to image degradations,
such that HQ semantic masks can be extracted from it. In order to leverage
semantic priors and enhance restoration quality, we propose a lightweight SAM
prior tuning (SPT) unit. This plug-and-play component allows us to effectively
integrate semantic priors into existing IR networks, resulting in significant
improvements in restoration quality. As the only trainable module in our
method, the SPT unit has the potential to improve both efficiency and
scalability. We demonstrate the effectiveness of the proposed method in
enhancing a variety of methods across multiple tasks, such as image
super-resolution and color image denoising.
- Abstract(参考訳): コンピュータビジョンの基本的な課題である画像復元(IR)の目標は、その劣化した低品質(LQ)観測から高品質(HQ)イメージを復元することである。
複数のHQソリューションは、この不十分な問題におけるLQ入力に対応し、あいまいな解空間を生成する。
これにより、解空間を効果的に制約し、復元された画像の品質を高めるために、事前知識の調査と導入の動機となる。
IRにおける手作り・学習の先駆的利用にもかかわらず、大規模な基礎モデルからの知識の取り込みには限定的な注意が払われている。
本稿では,既存のIRネットワークの性能をパラメータ効率のよいチューニング方法で向上させるために,SAM(State-of-the-art segment Any Model)の事前知識を初めて活用する。
特にSAMの選択は、画像劣化に対する堅牢性に基づいており、HQセマンティックマスクを抽出することができる。
セマンティックな事前情報を活用し,復元品質を向上させるために,軽量なSAM事前チューニングユニットを提案する。
このプラグアンドプレイコンポーネントにより、既存のirネットワークにセマンティクスプリエントを効果的に統合することが可能になり、復元品質が大幅に向上します。
我々の方法で唯一訓練可能なモジュールとして、SPTユニットは効率とスケーラビリティの両方を改善する可能性がある。
提案手法は,画像の超解像やカラー画像の復調など,複数のタスクにまたがる様々な手法の強化に有効であることを示す。
関連論文リスト
- PriorNet: A Novel Lightweight Network with Multidimensional Interactive Attention for Efficient Image Dehazing [8.837086917206525]
ヘイズ画像は視覚的品質を低下させ、デハジングはその後の処理タスクにとって重要な前提条件である。
本稿では,新鮮で軽量で適応性の高いデハジングネットワークであるPresiderNetを紹介する。
PriorNetのコアは、多次元インタラクティブアテンション(MIA)機構で、様々なヘイズ特性を効果的に捉えている。
論文 参考訳(メタデータ) (2024-04-24T04:20:22Z) - DarkShot: Lighting Dark Images with Low-Compute and High-Quality [11.256790804961563]
本稿では,従来のSOTA(State-of-the-art)手法を低照度拡張タスクで上回る軽量ネットワークを提案する。
我々のモデルは、SOTAの復元品質を維持しながら、最小限の計算でUHD 4K解像度画像を復元することができる。
論文 参考訳(メタデータ) (2023-12-28T03:26:50Z) - Exploring Resolution and Degradation Clues as Self-supervised Signal for
Low Quality Object Detection [77.3530907443279]
劣化した低解像度画像中の物体を検出するための,新しい自己教師型フレームワークを提案する。
本手法は, 既存手法と比較して, 異変劣化状況に直面する場合に比べ, 優れた性能を示した。
論文 参考訳(メタデータ) (2022-08-05T09:36:13Z) - Rank-Enhanced Low-Dimensional Convolution Set for Hyperspectral Image
Denoising [50.039949798156826]
本稿では,ハイパースペクトル(HS)画像の難解化問題に対処する。
ランク付き低次元畳み込み集合(Re-ConvSet)を提案する。
次に、Re-ConvSetを広く使われているU-Netアーキテクチャに組み込んで、HS画像復号法を構築する。
論文 参考訳(メタデータ) (2022-07-09T13:35:12Z) - Hierarchical Similarity Learning for Aliasing Suppression Image
Super-Resolution [64.15915577164894]
エイリアスの影響を抑制するために階層画像超解像ネットワーク(HSRNet)を提案する。
HSRNetは、他の作品よりも定量的かつ視覚的なパフォーマンスを向上し、エイリアスをより効果的に再送信する。
論文 参考訳(メタデータ) (2022-06-07T14:55:32Z) - Deep Unrolled Network for Video Super-Resolution [0.45880283710344055]
ビデオスーパーリゾリューション(VSR)は、対応する低リゾリューション(LR)バージョンから高リゾリューション(HR)画像のシーケンスを再構築することを目的としています。
伝統的に、VSR問題の解法は、画像形成や動きの仮定に関する事前知識を利用する反復アルゴリズムに基づいている。
ディープラーニング(DL)アルゴリズムは、大量の画像から空間パターンを効率的に学習できます。
未使用の最適化技術に基づく新しいVSRニューラルネットワークを提案し,その性能を議論する。
論文 参考訳(メタデータ) (2021-02-23T14:35:09Z) - Enhancing Perceptual Loss with Adversarial Feature Matching for
Super-Resolution [5.258555266148511]
単一画像超解法 (SISR) は不確定な数の有効解を持つ不確定問題である。
これらのパターンアーティファクトの根本原因は、知覚的損失の事前学習目標と超解答目標とのミスマッチに遡ることができる。
論文 参考訳(メタデータ) (2020-05-15T12:36:54Z) - Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。
ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。
提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
論文 参考訳(メタデータ) (2020-03-15T11:04:30Z) - Gated Fusion Network for Degraded Image Super Resolution [78.67168802945069]
本稿では,基本特徴と回復特徴を別々に抽出する二分岐畳み込みニューラルネットワークを提案する。
特徴抽出ステップを2つのタスク非依存ストリームに分解することで、デュアルブランチモデルがトレーニングプロセスを容易にすることができる。
論文 参考訳(メタデータ) (2020-03-02T13:28:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。