論文の概要: Towards Flexible Interactive Reflection Removal with Human Guidance

• arxiv url: http://arxiv.org/abs/2406.01555v1
• Date: Mon, 3 Jun 2024 17:34:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 21:51:15.529871
• Title: Towards Flexible Interactive Reflection Removal with Human Guidance
• Title（参考訳）: 人間誘導によるフレキシブル・インタラクティブ・リフレクション除去に向けて
• Authors: Xiao Chen, Xudong Jiang, Yunkang Tao, Zhen Lei, Qing Li, Chenyang Lei, Zhaoxiang Zhang,
• Abstract要約: 単一の画像反射除去は本質的に不明瞭であり、分離を必要とする反射成分と透過成分の両方が自然な画像統計に従う可能性がある。 既存の手法では、様々な種類の低レベルおよび物理ベースのキューを反射信号の源として利用することでこの問題に対処しようとする。 本稿では,様々な形態のスパース・ヒューマン・ガイダンスを活用するフレキシブル・インタラクティブ・リフレクション・リフレクション・リフレクション・リフレクション・リジェクション・リジェクション・アプローチを提案する。
• 参考スコア（独自算出の注目度）: 75.38207315080624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Single image reflection removal is inherently ambiguous, as both the reflection and transmission components requiring separation may follow natural image statistics. Existing methods attempt to address the issue by using various types of low-level and physics-based cues as sources of reflection signals. However, these cues are not universally applicable, since they are only observable in specific capture scenarios. This leads to a significant performance drop when test images do not align with their assumptions. In this paper, we aim to explore a novel flexible interactive reflection removal approach that leverages various forms of sparse human guidance, such as points and bounding boxes, as auxiliary high-level prior to achieve robust reflection removal. However, incorporating the raw user guidance naively into the existing reflection removal network does not result in performance gains. To this end, we innovatively transform raw user input into a unified form -- reflection masks using an Interactive Segmentation Foundation Model. Such a design absorbs the quintessence of the foundational segmentation model and flexible human guidance, thereby mitigating the challenges of reflection separations. Furthermore, to fully utilize user guidance and reduce user annotation costs, we design a mask-guided reflection removal network, comprising our proposed self-adaptive prompt block. This block adaptively incorporates user guidance as anchors and refines transmission features via cross-attention mechanisms. Extensive results on real-world images validate that our method demonstrates state-of-the-art performance on various datasets with the help of flexible and sparse user guidance. Our code and dataset will be publicly available here https://github.com/ShawnChenn/FlexibleReflectionRemoval.
• Abstract（参考訳）: 単一の画像反射除去は本質的に不明瞭であり、分離を必要とする反射成分と透過成分の両方が自然な画像統計に従う可能性がある。 既存の手法では、様々な種類の低レベルおよび物理ベースのキューを反射信号の源として利用することでこの問題に対処しようとする。 しかし、これらのキューは特定のキャプチャーシナリオでしか観測できないため、普遍的に適用できない。 これは、テストイメージが彼らの仮定と一致しない場合、大幅なパフォーマンス低下につながる。 本稿では,頑健な反射除去を実現するために,ポイントやバウンディングボックスなどの多種多様な人間の指示を補助的な高レベルとして活用する,フレキシブルな反射除去手法を提案する。 しかし,既存のリフレクション除去ネットワークに生のユーザガイダンスを的確に組み込むことで,性能が向上することはない。 そこで我々は,インタラクティブセグメンテーション・ファンデーション・モデルを用いて,生ユーザ入力をリフレクションマスクの統一形式に革新的に変換する。 このような設計は、基本セグメンテーションモデルとフレキシブルなヒューマンガイダンスのクインテサンスを吸収し、反射分離の課題を軽減する。 さらに,ユーザガイダンスを完全に活用し,ユーザアノテーションのコストを削減するために,提案する自己適応型プロンプトブロックを含むマスク誘導反射除去ネットワークを設計する。 このブロックは、ユーザガイダンスをアンカーとして適応的に組み込んで、クロスアテンション機構を介して送信機能を洗練する。 提案手法は, フレキシブルかつスパースなユーザガイダンスの助けを借りて, 各種データセット上での最先端性能を示す。 私たちのコードとデータセットは、https://github.com/ShawnChenn/FlexibleReflectionRemoval.comで公開されます。

関連論文リスト

• Reflection Invariance Learning for Few-shot Semantic Segmentation [53.20466630330429]
  Few-shot semantic segmentation (FSS) は、いくつかのアノテーション付きサポートイメージを持つクエリイメージにおいて、目に見えないクラスのオブジェクトをセグメントすることを目的としている。 本稿では,マルチビューマッチング方式でリフレクション不変性をマイニングするための,新しい数ショットセグメンテーションフレームワークを提案する。 PASCAL-$5textiti$とCOCO-$20textiti$データセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-01T15:14:58Z)
• A Categorized Reflection Removal Dataset with Diverse Real-world Scenes [54.662456878340215]
  我々は、分類され、多様で、現実世界(CDR)に分類された新しい反射除去データセットを構築する。 データセットは様々な環境下で様々なガラスタイプを使用して構築され、多様性が保証される。 現状の反射除去法は, 一般にぼやけた反射に対して良好に機能するが, 他の種類の実世界の反射に対する満足度は得られないことを示す。
  論文  参考訳（メタデータ） (2021-08-07T06:56:57Z)
• Iterative Gradient Encoding Network with Feature Co-Occurrence Loss for Single Image Reflection Removal [6.370905925442655]
  単一画像反射除去のための反復グラデーション符号化ネットワークを提案する。 提案手法は,既存の画像設定に対する反射を良好に除去することができる。
  論文  参考訳（メタデータ） (2021-03-29T19:29:29Z)
• Location-aware Single Image Reflection Removal [54.93808224890273]
  本稿では,位置認識型深層学習に基づく単一画像反射除去手法を提案する。 我々は,リフレクション信頼度マップをネットワークの手がかりとして活用し,リフレクション情報を適応的にエンコードする方法を学習する。 位置情報のネットワークへの統合は、反射除去結果の品質を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-12-13T19:34:35Z)
• Two-Stage Single Image Reflection Removal with Reflection-Aware Guidance [78.34235841168031]
  シングルイメージリフレクション除去(SIRR)のためのリフレクション・アウェア・ガイダンス(RAGNet)を用いた新しい2段階ネットワークを提案する。 RAGは、(i)観測からの反射の効果を緩和するために、(ii)線形結合仮説から逸脱する効果を緩和するための部分畳み込みにおいてマスクを生成するために用いられる。 5つの一般的なデータセットの実験は、最先端のSIRR法と比較して、RAGNetの量的および質的な優位性を実証している。
  論文  参考訳（メタデータ） (2020-12-02T03:14:57Z)
• User-assisted Video Reflection Removal [14.913848002123643]
  本稿では,映像のリフレクション除去のためのユーザ支援手法を提案する。 空間的情報と時間的情報の両方に頼り、疎いユーザヒントを使って分離を改善する。 実験の結果,提案手法は映像系列からの反射の除去に成功し,映像歪みを導入せず,また,文献における最先端の反射除去方法よりも著しく優れていることがわかった。
  論文  参考訳（メタデータ） (2020-09-07T17:42:40Z)
• Unsupervised Single-Image Reflection Separation Using Perceptual Deep Image Priors [6.333390830515411]
  単一画像のリフレクション分離のための新しい教師なしフレームワークを提案する。 対象画像上の2つのクロスカップリング深部畳み込みネットワークのパラメータを最適化し、2つの排他的背景層と反射層を生成する。 その結果,本手法は単一画像からの反射を除去するための文献において最も近い教師なし手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-09-01T21:08:30Z)
• Single image reflection removal via learning with multi-image constraints [50.54095311597466]
  本稿では、上記のアプローチの利点を組み合わせ、その欠点を克服する新しい学習ベースソリューションを提案する。 提案アルゴリズムはディープニューラルネットワークを学習して、複数の入力画像間で強化されたジョイント制約でターゲットを最適化する。 我々のアルゴリズムは実画像上でリアルタイムかつ最先端の反射除去性能で動作する。
  論文  参考訳（メタデータ） (2019-12-08T06:10:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。