論文の概要: SCSNet: An Efficient Paradigm for Learning Simultaneously Image
Colorization and Super-Resolution
- arxiv url: http://arxiv.org/abs/2201.04364v1
- Date: Wed, 12 Jan 2022 08:59:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-13 14:55:10.175850
- Title: SCSNet: An Efficient Paradigm for Learning Simultaneously Image
Colorization and Super-Resolution
- Title（参考訳）: SCSNet: カラー化と超解像同時学習のための効率的なパラダイム
- Authors: Jiangning Zhang, Chao Xu, Jian Li, Yue Han, Yabiao Wang, Ying Tai and
Yong Liu
- Abstract要約: 画像のカラー化と超解像(SCS)を同時に行うための効率的なパラダイムを提案する。
提案手法は2つの部分から構成される: プラグアンドプレイのemphPyramid Valve Cross Attention (PVCAttn)モジュールを用いた色情報学習用カラー化ブランチ。
我々のSCSNetは、実用上よりフレキシブルな自動モードと参照モードの両方をサポートしている。
- 参考スコア（独自算出の注目度）: 39.77987463287673
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the practical application of restoring low-resolution gray-scale images,
we generally need to run three separate processes of image colorization,
super-resolution, and dows-sampling operation for the target device. However,
this pipeline is redundant and inefficient for the independent processes, and
some inner features could have been shared. Therefore, we present an efficient
paradigm to perform {S}imultaneously Image {C}olorization and
{S}uper-resolution (SCS) and propose an end-to-end SCSNet to achieve this goal.
The proposed method consists of two parts: colorization branch for learning
color information that employs the proposed plug-and-play \emph{Pyramid Valve
Cross Attention} (PVCAttn) module to aggregate feature maps between source and
reference images; and super-resolution branch for integrating color and texture
information to predict target images, which uses the designed \emph{Continuous
Pixel Mapping} (CPM) module to predict high-resolution images at continuous
magnification. Furthermore, our SCSNet supports both automatic and referential
modes that is more flexible for practical application. Abundant experiments
demonstrate the superiority of our method for generating authentic images over
state-of-the-art methods, e.g., averagely decreasing FID by 1.8$\downarrow$ and
5.1 $\downarrow$ compared with current best scores for automatic and
referential modes, respectively, while owning fewer parameters (more than
$\times$2$\downarrow$) and faster running speed (more than
$\times$3$\uparrow$).
- Abstract（参考訳）: 低解像度グレースケールの画像を復元する実践的な応用では、ターゲットデバイスに対して画像色付け、超高解像度、ダウサンプリングの3つのプロセスを実行する必要がある。
しかし、このパイプラインは独立プロセスでは冗長で非効率であり、いくつかの内部機能は共有されていた可能性がある。
そこで,この目的を達成するために, {S}imultanely Image {C}olorization and {S}uper- resolution (SCS) を実現するための効率的なパラダイムを提案し,エンドツーエンドの SCSNet を提案する。
提案手法は,ソース画像と参照画像間の特徴マップを集約するプラグイン&プレイ型<emph{Pyramid Valve Cross Attention} (PVCAttn) モジュールを用いた色情報学習用カラー化ブランチと,設計した<emph{Continuous Pixel Mapping} (CPM) モジュールを用いて連続倍率で高解像度画像を予測するための色情報とテクスチャ情報の統合用スーパーレゾリューションブランチとから構成される。
さらに,本scsnetは,実用上より柔軟である自動モードと参照モードの両方をサポートする。
例えば、FIDを1.8$\downarrow$と5.1$\downarrow$で減らし、現在の自動モードと参照モードのベストスコアと比較すると、より少ないパラメータ($\times$2$\downarrow$以上)と高速ランニング速度($\times$3$\uparrow$以上)で生成する手法の優位性を示す。
関連論文リスト
- Pixel Adapter: A Graph-Based Post-Processing Approach for Scene Text
Image Super-Resolution [22.60056946339325]
アップサンプリングによる画素歪みに対処するために,グラフアテンションに基づくPixel Adapter Module (PAM)を提案する。
PAMは、各ピクセルが隣人と対話し、機能を更新することで、ローカルな構造情報を効果的にキャプチャする。
提案手法は,従来の認識精度を上回り,高品質な超解像を生成することを実証する。
論文 参考訳（メタデータ） (2023-09-16T08:12:12Z) - Raising The Limit Of Image Rescaling Using Auxiliary Encoding [7.9700865143145485]
近年、IRNのような画像再スケーリングモデルは、INNの双方向性を利用して、画像アップスケーリングのパフォーマンス限界を押し上げている。
本稿では,画像再スケーリング性能の限界をさらに押し上げるために,補助符号化モジュールを提案する。
論文 参考訳（メタデータ） (2023-03-12T20:49:07Z) - Spatially-Adaptive Feature Modulation for Efficient Image
Super-Resolution [90.16462805389943]
視覚変換器(ViT)のようなブロック上に,空間適応型特徴変調(SAFM)機構を開発する。
提案法は最先端のSR法よりも3倍程度小さい。
論文 参考訳（メタデータ） (2023-02-27T14:19:31Z) - Adaptive Local Implicit Image Function for Arbitrary-scale
Super-resolution [61.95533972380704]
局所暗黙画像関数(LIIF)は、対応する座標を入力として、画素値が拡張される連続関数として画像を表す。
LIIFは任意のスケールの超解像タスクに適用でき、その結果、様々なアップスケーリング要因に対して単一の効率的かつ効率的なモデルが得られる。
この問題を軽減するために,新しい適応型局所像関数(A-LIIF)を提案する。
論文 参考訳（メタデータ） (2022-08-07T11:23:23Z) - Curvature-guided dynamic scale networks for Multi-view Stereo [10.667165962654996]
本稿では,重み計算を伴わずにマッチングコストの性能を向上させるために,ロバストな特徴抽出ネットワークを学習することに焦点を当てる。
動的スケール特徴抽出ネットワーク,すなわちCDSFNetを提案する。
複数の新しい畳み込み層で構成され、それぞれが画像表面の通常の曲率でガイドされる各画素に対して適切なパッチスケールを選択することができる。
論文 参考訳（メタデータ） (2021-12-11T14:41:05Z) - Saliency Enhancement using Superpixel Similarity [77.34726150561087]
Saliency Object Detection (SOD) は画像解析にいくつかの応用がある。
深層学習に基づくSOD法は最も効果的であるが、類似した色を持つ前景の部品を見逃すことがある。
スーパーピクセル類似性(SESS)に対するtextitSaliency Enhancement というポストプロセッシング手法を導入する。
我々は,SESSが5つの画像データセット上での3つのディープラーニングに基づくSOD手法の結果を連続的に,かつ著しく改善できることを実証した。
論文 参考訳（メタデータ） (2021-12-01T17:22:54Z) - Universal Deep Network for Steganalysis of Color Image based on Channel
Representation [41.86330101334733]
我々は空間領域とJPEG領域における普遍的なカラー画像ステガナリシスネットワーク(UCNet)を設計する。
提案手法は前処理,畳み込み,分類モジュールを含む。
本研究では, ALASKA II に関する広範囲な実験を行い, 提案手法が最先端の成果を得られることを示す。
論文 参考訳（メタデータ） (2021-11-24T02:22:13Z) - Spatial-Separated Curve Rendering Network for Efficient and
High-Resolution Image Harmonization [59.19214040221055]
本稿では,空間分離型曲線描画ネットワーク(S$2$CRNet)を提案する。
提案手法は従来の手法と比較して90%以上のパラメータを減少させる。
提案手法は,既存の手法よりも10ドル以上高速な高解像度画像をリアルタイムにスムーズに処理することができる。
論文 参考訳（メタデータ） (2021-09-13T07:20:16Z) - Self-Supervised Representation Learning for RGB-D Salient Object
Detection [93.17479956795862]
我々は、自己教師付き表現学習を用いて、クロスモーダルオートエンコーダと深さ-輪郭推定という2つのプレテキストタスクを設計する。
我々のプレテキストタスクは、ネットワークがリッチなセマンティックコンテキストをキャプチャする事前トレーニングを実行するのに、少数のRGB-Dデータセットしか必要としない。
RGB-D SODにおけるクロスモーダル核融合の固有の問題として,マルチパス核融合モジュールを提案する。
論文 参考訳（メタデータ） (2021-01-29T09:16:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。