論文の概要: Adaptive Network Combination for Single-Image Reflection Removal: A Domain Generalization Perspective

• arxiv url: http://arxiv.org/abs/2204.01505v1
• Date: Mon, 4 Apr 2022 14:06:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-05 15:40:21.802931
• Title: Adaptive Network Combination for Single-Image Reflection Removal: A Domain Generalization Perspective
• Title（参考訳）: 単像反射除去のための適応ネットワーク結合:領域一般化の観点から
• Authors: Ming Liu, Jianan Pan, Zifei Yan, Wangmeng Zuo, Lei Zhang
• Abstract要約: 本稿では,ドメインの観点からSIRRモデルを学習し,課題に対処する。 各ソースセットに対して、特定のSIRRモデルは、関連するリフレクションタイプのドメインエキスパートとして機能するように訓練される。 あるソースセットからのイメージに対して、RTAWは、一般化能力を改善するために、他のドメインエキスパートの専門的な重みだけを予測するように訓練する。 実験により、異なる最先端SIRRネットワーク上でのAdaNECの性能向上が示された。
• 参考スコア（独自算出の注目度）: 68.37624784559728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, multiple synthetic and real-world datasets have been built to facilitate the training of deep single image reflection removal (SIRR) models. Meanwhile, diverse testing sets are also provided with different types of reflection and scenes. However, the non-negligible domain gaps between training and testing sets make it difficult to learn deep models generalizing well to testing images. The diversity of reflections and scenes further makes it a mission impossible to learn a single model being effective to all testing sets and real-world reflections. In this paper, we tackle these issues by learning SIRR models from a domain generalization perspective. Particularly, for each source set, a specific SIRR model is trained to serve as a domain expert of relevant reflection types. For a given reflection-contaminated image, we present a reflection type-aware weighting (RTAW) module to predict expert-wise weights. RTAW can then be incorporated with adaptive network combination (AdaNEC) for handling different reflection types and scenes, i.e., generalizing to unknown domains. Two representative AdaNEC methods, i.e., output fusion (OF) and network interpolation (NI), are provided by considering both adaptation levels and efficiency. For images from one source set, we train RTAW to only predict expert-wise weights of other domain experts for improving generalization ability, while the weights of all experts are predicted and employed during testing. An in-domain expert (IDE) loss is presented for training RTAW. Extensive experiments show the appealing performance gain of our AdaNEC on different state-of-the-art SIRR networks. Source code and pre-trained models will available at https://github.com/csmliu/AdaNEC.
• Abstract（参考訳）: 近年,single image reflection removal (sirr)モデルのトレーニングを容易にするために,複数の合成データと実世界のデータセットが構築されている。 一方、多様なテストセットには様々な種類のリフレクションとシーンが提供されている。 しかし、トレーニングセットとテストセットの間の無視できないドメインギャップは、テスト画像によく一般化した深層モデルの学習を困難にしている。 反射とシーンの多様性により、単一のモデルをすべてのテストセットや実世界の反射に対して効果的に学習することは不可能になる。 本稿では,ドメイン一般化の観点からSIRRモデルを学習することで,これらの課題に対処する。 特に、ソースセットごとに特定のSIRRモデルをトレーニングし、関連するリフレクションタイプのドメインエキスパートとして機能させる。 与えられた反射汚染画像に対して、専門家の体重を予測する反射型認識重み付け(RTAW)モジュールを提案する。 RTAWは、異なるリフレクションタイプやシーン、すなわち未知のドメインへの一般化を扱うための適応ネットワーク結合(AdaNEC)に組み込むことができる。 2つの代表的なAdaNEC法、すなわち出力融合(OF)とネットワーク補間(NI)は、適応レベルと効率の両方を考慮して提供される。 あるソースセットからのイメージに対して、RTAWは、他のドメインエキスパートの専門的な重みだけを予測して、一般化能力を改善するようにトレーニングします。 RTAWのトレーニングには、ドメイン内のエキスパート(IDE)損失が提示される。 広範囲な実験により、異なる最先端SIRRネットワーク上でのAdaNECの性能向上が示された。 ソースコードと事前訓練されたモデルはhttps://github.com/csmliu/AdaNEC.comで入手できる。

関連論文リスト

• Neural Experts: Mixture of Experts for Implicit Neural Representations [41.395193251292895]
  入射神経表現(INR)は、画像、形状、音声、ビデオ再構成など様々なタスクで有効であることが証明されている。 本稿では,局所的な部分的連続関数の学習を可能にする暗黙的ニューラル表現手法(MoE)の混合を提案する。 既存のINRの定式化に専門家アーキテクチャを混在させることで,高速化,精度,メモリ要件が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-29T01:11:25Z)
• Context Enhancement with Reconstruction as Sequence for Unified Unsupervised Anomaly Detection [68.74469657656822]
  非教師付き異常検出(AD)は、通常のサンプルのみを用いて堅牢な検出モデルを訓練することを目的としている。 最近の研究は、すべてのクラスに対して1つのモデルのみをトレーニングする、統一された教師なしAD設定に焦点を当てている。 本稿では,特徴再構成時の文脈対応性を高める新しいRAS法を提案する。
  論文  参考訳（メタデータ） (2024-09-10T07:37:58Z)
• Reflection Invariance Learning for Few-shot Semantic Segmentation [53.20466630330429]
  Few-shot semantic segmentation (FSS) は、いくつかのアノテーション付きサポートイメージを持つクエリイメージにおいて、目に見えないクラスのオブジェクトをセグメントすることを目的としている。 本稿では,マルチビューマッチング方式でリフレクション不変性をマイニングするための,新しい数ショットセグメンテーションフレームワークを提案する。 PASCAL-$5textiti$とCOCO-$20textiti$データセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-01T15:14:58Z)
• Adaptive adversarial training method for improving multi-scale GAN based on generalization bound theory [14.562893624131531]
  本稿では、特定のモデルのトレーニング解析にPAC-Bayes一般化境界理論を導入することを先導した。 我々は,マルチスケールGANの画像操作能力を大幅に向上させる適応的学習法を提案する。 特に,画像超解像復元作業において,提案手法により訓練されたマルチスケールGANモデルは,自然画像品質評価器(NIQE)の100%削減,根平均二乗誤差(RMSE)の60%削減を実現している。
  論文  参考訳（メタデータ） (2022-11-30T07:11:56Z)
• Diversified Dynamic Routing for Vision Tasks [36.199659460868496]
  本稿では,各レイヤが専門家の集合で構成された新しいアーキテクチャを提案する。 本手法では,データのパーティショニングに関する課題を解決するために,モデルを明示的に訓練する。 都市景観のセマンティックセグメンテーションとMS-COCOのオブジェクト検出とインスタンスセグメンテーションについていくつかの実験を行った。
  論文  参考訳（メタデータ） (2022-09-26T23:27:51Z)
• Two-Stage Single Image Reflection Removal with Reflection-Aware Guidance [78.34235841168031]
  シングルイメージリフレクション除去(SIRR)のためのリフレクション・アウェア・ガイダンス(RAGNet)を用いた新しい2段階ネットワークを提案する。 RAGは、(i)観測からの反射の効果を緩和するために、(ii)線形結合仮説から逸脱する効果を緩和するための部分畳み込みにおいてマスクを生成するために用いられる。 5つの一般的なデータセットの実験は、最先端のSIRR法と比較して、RAGNetの量的および質的な優位性を実証している。
  論文  参考訳（メタデータ） (2020-12-02T03:14:57Z)
• SIR: Self-supervised Image Rectification via Seeing the Same Scene from Multiple Different Lenses [82.56853587380168]
  本稿では、異なるレンズからの同一シーンの歪み画像の補正結果が同一であるべきという重要な知見に基づいて、新しい自己監督画像補正法を提案する。 我々は、歪みパラメータから修正画像を生成し、再歪み画像を生成するために、微分可能なワープモジュールを利用する。 本手法は,教師付きベースライン法や代表的最先端手法と同等あるいはそれ以上の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-30T08:23:25Z)
• Unsupervised Single-Image Reflection Separation Using Perceptual Deep Image Priors [6.333390830515411]
  単一画像のリフレクション分離のための新しい教師なしフレームワークを提案する。 対象画像上の2つのクロスカップリング深部畳み込みネットワークのパラメータを最適化し、2つの排他的背景層と反射層を生成する。 その結果,本手法は単一画像からの反射を除去するための文献において最も近い教師なし手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-09-01T21:08:30Z)
• Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
  形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。 ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。 合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
  論文  参考訳（メタデータ） (2020-04-01T12:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。