論文の概要: ShapeMoiré: Channel-Wise Shape-Guided Network for Image Demoiréing
- arxiv url: http://arxiv.org/abs/2404.18155v1
- Date: Sun, 28 Apr 2024 12:12:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-30 17:43:14.510425
- Title: ShapeMoiré: Channel-Wise Shape-Guided Network for Image Demoiréing
- Title（参考訳）: ShapeMoiré: 画像復号のためのチャンネルワイズ形状誘導ネットワーク
- Authors: Jinming Cao, Sicheng Shen, Qiu Zhou, Yifang Yin, Yangyan Li, Roger Zimmermann,
- Abstract要約: 光電子ディスプレイの撮影はアナログ信号干渉による望ましくないモワールパターンをしばしば導入する。
この研究は、既存の画像復号法で無視される2つの問題を特定する。
本論文では,画像復号化を支援するShapeMoire法を提案する。
- 参考スコア（独自算出の注目度）: 19.56605254816149
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Photographing optoelectronic displays often introduces unwanted moir\'e patterns due to analog signal interference between the pixel grids of the display and the camera sensor arrays. This work identifies two problems that are largely ignored by existing image demoir\'eing approaches: 1) moir\'e patterns vary across different channels (RGB); 2) repetitive patterns are constantly observed. However, employing conventional convolutional (CNN) layers cannot address these problems. Instead, this paper presents the use of our recently proposed Shape concept. It was originally employed to model consistent features from fragmented regions, particularly when identical or similar objects coexist in an RGB-D image. Interestingly, we find that the Shape information effectively captures the moir\'e patterns in artifact images. Motivated by this discovery, we propose a ShapeMoir\'e method to aid in image demoir\'eing. Beyond modeling shape features at the patch-level, we further extend this to the global image-level and design a novel Shape-Architecture. Consequently, our proposed method, equipped with both ShapeConv and Shape-Architecture, can be seamlessly integrated into existing approaches without introducing additional parameters or computation overhead during inference. We conduct extensive experiments on four widely used datasets, and the results demonstrate that our ShapeMoir\'e achieves state-of-the-art performance, particularly in terms of the PSNR metric. We then apply our method across four popular architectures to showcase its generalization capabilities. Moreover, our ShapeMoir\'e is robust and viable under real-world demoir\'eing scenarios involving smartphone photographs.
- Abstract（参考訳）: 光電子ディスプレイは、しばしばディスプレイのピクセルグリッドとカメラセンサーアレイの間のアナログ信号干渉による望ましくないモワールパターンを導入する。
この研究は、既存の画像デモアで無視されている2つの問題を特定する。
1) moir\'e パターンは異なるチャネル (RGB) によって異なる。
2)繰り返しパターンが常に観察される。
しかし、従来の畳み込み層(CNN)はこれらの問題に対処できない。
そこで本研究では,最近提案した形状概念について述べる。
もともとは、RGB-D画像に同一または類似のオブジェクトが共存する場合に、断片化された領域から一貫した特徴をモデル化するために使用された。
興味深いことに、形状情報はアーティファクト画像中のmoir\'eパターンを効果的にキャプチャする。
この発見に触発され,画像復号を支援するShapeMoir\'e法を提案する。
パッチレベルでの形状特徴のモデリング以外にも、これをグローバルな画像レベルにまで拡張し、新しい形状アーキテクチャを設計する。
その結果,提案手法はShapeConvとShape-Architectureの両方を備えており,推論中に新たなパラメータや計算オーバーヘッドを導入することなく,既存のアプローチにシームレスに統合することができる。
我々は4つの広く使われているデータセットについて広範な実験を行い、その結果、特にPSNR測定値の観点から、我々のShapeMoir\eが最先端のパフォーマンスを達成することを示した。
次に、この手法を4つの一般的なアーキテクチャに適用し、その一般化能力を実証する。
さらに、私たちのShapeMoir\'eは、スマートフォンの写真を含む現実のデモア\'eingシナリオの下で、堅牢で実行可能です。
関連論文リスト
- Multi-Head Attention Residual Unfolded Network for Model-Based Pansharpening [2.874893537471256]
展開融合法は、ディープラーニングの強力な表現能力とモデルベースアプローチの堅牢性を統合する。
本稿では,衛星画像融合のためのモデルに基づく深部展開手法を提案する。
PRISMA、Quickbird、WorldView2データセットの実験結果から、本手法の優れた性能が示された。
論文 参考訳（メタデータ） (2024-09-04T13:05:00Z) - Unifying Visual and Semantic Feature Spaces with Diffusion Models for Enhanced Cross-Modal Alignment [20.902935570581207]
本稿では,マルチモーダルアライメント・アンド・リコンストラクション・ネットワーク(MARNet)を導入し,視覚ノイズに対するモデルの耐性を高める。
MARNetは、異なるドメイン間で情報をスムーズかつ安定的にブレンドする、クロスモーダル拡散再構成モジュールを含んでいる。
2つのベンチマークデータセットであるVireo-Food172とIngredient-101で実施された実験は、MARNetがモデルによって抽出された画像情報の品質を効果的に改善することを示した。
論文 参考訳（メタデータ） (2024-07-26T16:30:18Z) - Curved Diffusion: A Generative Model With Optical Geometry Control [56.24220665691974]
最終シーンの外観に対する異なる光学系の影響は、しばしば見過ごされる。
本研究では,画像レンダリングに使用される特定のレンズとテキスト画像拡散モデルを密接に統合するフレームワークを提案する。
論文 参考訳（メタデータ） (2023-11-29T13:06:48Z) - Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。
CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。
DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文 参考訳（メタデータ） (2023-10-11T12:46:11Z) - A Model-data-driven Network Embedding Multidimensional Features for
Tomographic SAR Imaging [5.489791364472879]
多次元特徴量に基づくトモSARイメージングを実現するためのモデルデータ駆動型ネットワークを提案する。
画像シーンの多次元的特徴を効果的に向上するために、2つの2次元処理モジュール(畳み込みエンコーダ-デコーダ構造)を追加します。
従来のCS-based FISTA法とDL-based gamma-Net法と比較して,提案手法は良好な画像精度を有しつつ,完全性を向上させる。
論文 参考訳（メタデータ） (2022-11-28T02:01:43Z) - Geo-SIC: Learning Deformable Geometric Shapes in Deep Image Classifiers [8.781861951759948]
本稿では,画像分類の性能向上のために,変形空間における変形可能な形状を学習する最初のディープラーニングモデルGeo-SICを提案する。
画像空間と潜時形状空間の両方から特徴を同時に導出する,クラス内変動の大きい新設計のフレームワークを提案する。
幾何学的形状表現の教師なし学習を取り入れた強化型分類網を開発した。
論文 参考訳（メタデータ） (2022-10-25T01:55:17Z) - Share With Thy Neighbors: Single-View Reconstruction by Cross-Instance
Consistency [59.427074701985795]
単一ビューの再構築は通常、視点アノテーション、シルエット、背景の欠如、同じインスタンスの複数のビュー、テンプレートの形状、対称性に依存する。
異なるオブジェクトインスタンスのイメージ間の一貫性を明確に活用することで、これらの監督と仮説をすべて回避します。
i)プログレッシブ・コンディショニング(プログレッシブ・コンディショニング)、(ii)類似の形状やテクスチャを持つインスタンス間の一貫性の喪失、(ii)モデルのカテゴリからインスタンスへと徐々に専門化するためのトレーニング戦略。
論文 参考訳（メタデータ） (2022-04-21T17:47:35Z) - Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。
我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。
我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
論文 参考訳（メタデータ） (2022-04-21T03:42:31Z) - OSLO: On-the-Sphere Learning for Omnidirectional images and its
application to 360-degree image compression [59.58879331876508]
全方向画像の表現モデルの学習について検討し、全方向画像の深層学習モデルで使用される数学的ツールを再定義するために、HEALPixの球面一様サンプリングの特性を利用することを提案する。
提案したオン・ザ・スフィア・ソリューションは、等方形画像に適用された類似の学習モデルと比較して、13.7%のビットレートを節約できる圧縮ゲインを向上させる。
論文 参考訳（メタデータ） (2021-07-19T22:14:30Z) - Wavelet-Based Dual-Branch Network for Image Demoireing [148.91145614517015]
画像復調のための空間的注意機構を備えたウェーブレットベースのデュアルブランチネットワーク(WDNet)を設計する。
我々のネットワークはウェーブレット領域のモアレパターンを除去し、モアレパターンの周波数を画像の内容から分離する。
さらに,本手法の有効性を実証し,WDNetが非スクリーン画像上のモアレアーティファクトの除去を一般化することを示す。
論文 参考訳（メタデータ） (2020-07-14T16:44:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。