論文の概要: Explore Internal and External Similarity for Single Image Deraining with Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2406.00721v1
• Date: Sun, 2 Jun 2024 12:08:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 03:46:38.713848
• Title: Explore Internal and External Similarity for Single Image Deraining with Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークを用いた単一画像レイニングにおける内部的・外部的類似性の探索
• Authors: Cong Wang, Wei Wang, Chengjin Yu, Jie Mu,
• Abstract要約: 雨天画像のパッチ再帰特性は, 同一のパッチが1つの画像に何回も再帰する傾向にあり, マルチスケール画像や外部画像が複数存在することが判明した。 雨天図と模範図の両方からk-アネレスト近傍のパッチを探索し,グラフモデルを構築した。 提案したグラフをディープニューラルネットワークに埋め込んで、エンドツーエンドでトレーニングします。
• 参考スコア（独自算出の注目度）: 7.8701786216667
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Patch-level non-local self-similarity is an important property of natural images. However, most existing methods do not consider this property into neural networks for image deraining, thus affecting recovery performance. Motivated by this property, we find that there exists significant patch recurrence property of a rainy image, that is, similar patches tend to recur many times in one image and its multi-scale images and external images. To better model this property for image detaining, we develop a multi-scale graph network with exemplars, called MSGNN, that contains two branches: 1) internal data-based supervised branch is used to model the internal relations of similar patches from the rainy image itself and its multi-scale images and 2) external data-participated unsupervised branch is used to model the external relations of the similar patches in the rainy image and exemplar. Specifically, we construct a graph model by searching the k-nearest neighboring patches from both the rainy images in a multi-scale framework and the exemplar. After obtaining the corresponding k neighboring patches from the multi-scale images and exemplar, we build a graph and aggregate them in an attentional manner so that the graph can provide more information from similar patches for image deraining. We embed the proposed graph in a deep neural network and train it in an end-to-end manner. Extensive experiments demonstrate that the proposed algorithm performs favorably against eight state-of-the-art methods on five public synthetic datasets and one real-world dataset. The source codes will be available at https://github.com/supersupercong/MSGNN.
• Abstract（参考訳）: パッチレベルの非局所的な自己相似性は、自然画像の重要な性質である。 しかし、既存のほとんどの手法では、この特性を画像デライニングのためのニューラルネットワークには考慮していないため、回復性能に影響を及ぼす。 この特性により、雨画像のパッチ再帰特性が顕著であること、すなわち、類似したパッチが1つの画像に何度も再帰する傾向にあり、そのマルチスケール画像と外部画像が存在することが判明した。 画像保持のためのこの特性をより良くモデル化するために,MSGNNと呼ばれる,2つの枝を含むマルチスケールグラフネットワークを開発した。 1) 内部データに基づく教師付きブランチを用いて雨天画像とそのマルチスケール画像からの類似パッチの内部関係をモデル化する。 2) 雨天画像における類似パッチの外部関係をモデル化するために, 外部データ参加型教師なしブランチを用いる。 具体的には,マルチスケール・フレームワークの降雨画像からk-アレスト近傍のパッチを探索し,グラフモデルを構築した。 マルチスケール画像から対応するk近傍のパッチを取得し,その類似したパッチからより詳細な情報を提供するために,グラフを構築して注意的に集約する。 提案したグラフをディープニューラルネットワークに埋め込んで、エンドツーエンドでトレーニングします。 大規模な実験により,提案アルゴリズムは,5つの公開合成データセットと1つの実世界のデータセットに対して,最先端の8つの手法に対して良好に動作することが示された。 ソースコードはhttps://github.com/supersupercong/MSGNNで入手できる。

関連論文リスト

• Single Image Deraining via Feature-based Deep Convolutional Neural Network [13.39233717329633]
  データ駆動型アプローチとモデルベースアプローチを組み合わせた,単一画像デラミニングアルゴリズムを提案する。 実験の結果,提案アルゴリズムは質的,定量的両面で最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-05-03T13:12:51Z)
• Online-updated High-order Collaborative Networks for Single Image Deraining [51.22694467126883]
  単一画像のデライン化は、ビデオ監視や自動運転システムなど、下流の人工知能アプリケーションにとって重要なタスクである。 マルチスケールのコンパクトな制約と双方向のスケール・コンテント類似性マイニングモジュールを備えた高階協調ネットワークを提案する。 提案手法は,5つの公開合成と1つの実世界のデータセットに対して,11の最先端手法に対して好意的に機能する。
  論文  参考訳（メタデータ） (2022-02-14T09:09:08Z)
• Learning Hierarchical Graph Representation for Image Manipulation Detection [50.04902159383709]
  画像操作検出の目的は、画像内の操作された領域を特定し、特定することである。 最近のアプローチでは、画像に残っている改ざんするアーティファクトをキャプチャするために、洗練された畳み込みニューラルネットワーク(CNN)が採用されている。 本稿では2つの並列分岐からなる階層型グラフ畳み込みネットワーク(HGCN-Net)を提案する。
  論文  参考訳（メタデータ） (2022-01-15T01:54:25Z)
• A Novel Patch Convolutional Neural Network for View-based 3D Model Retrieval [36.12906920608775]
  ビューベース3次元モデル検索のための新しいパッチ畳み込みニューラルネットワーク(PCNN)を提案する。 提案したPCNNは, それぞれ93.67%, 96.23%と, 最先端のアプローチより優れている。
  論文  参考訳（メタデータ） (2021-09-25T07:18:23Z)
• Multi-Modal Retrieval using Graph Neural Networks [1.8911962184174562]
  我々は、同じ高次元空間に埋め込まれた共同ビジョンと概念を学ぶ。 視覚と概念の関係をグラフ構造としてモデル化する。 また、選択的近傍接続に基づく新しい推論時間制御も導入する。
  論文  参考訳（メタデータ） (2020-10-04T19:34:20Z)
• Cross-Scale Internal Graph Neural Network for Image Super-Resolution [147.77050877373674]
  自然画像における非局所的な自己相似性は、画像修復に有効な先行研究として、よく研究されている。 単一の画像超解像(SISR)の場合、既存のディープ非局所法のほとんどは、低解像度(LR)入力画像と同じ規模のパッチしか利用していない。 これは、新しいクロススケールな内部グラフニューラルネットワーク(IGNN)を用いて実現される。
  論文  参考訳（メタデータ） (2020-06-30T10:48:40Z)
• Multi-Scale Progressive Fusion Network for Single Image Deraining [84.0466298828417]
  空気中の雨のストリークは、位置からカメラまでの距離が異なるため、様々なぼやけた度合いや解像度で現れる。 同様の降雨パターンは、雨像やマルチスケール(またはマルチレゾリューション)バージョンで見ることができる。 本研究では,入力画像のスケールと階層的な深部特徴の観点から,雨天のマルチスケール協調表現について検討する。
  論文  参考訳（メタデータ） (2020-03-24T17:22:37Z)
• High-Order Information Matters: Learning Relation and Topology for Occluded Person Re-Identification [84.43394420267794]
  本稿では,高次関係とトポロジ情報を識別的特徴とロバストなアライメントのために学習し,新しい枠組みを提案する。 我々のフレームワークはOccluded-Dukeデータセットで最先端の6.5%mAPスコアを大幅に上回っている。
  論文  参考訳（メタデータ） (2020-03-18T12:18:35Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。