論文の概要: Interactive Portrait Harmonization

• arxiv url: http://arxiv.org/abs/2203.08216v1
• Date: Tue, 15 Mar 2022 19:30:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-17 14:51:06.420202
• Title: Interactive Portrait Harmonization
• Title（参考訳）: インタラクティブなポートレート調和
• Authors: Jeya Maria Jose Valanarasu, He Zhang, Jianming Zhang, Yilin Wang, Zhe Lin, Jose Echevarria, Yinglan Ma, Zijun Wei, Kalyan Sunkavalli, and Vishal M. Patel
• Abstract要約: 現在の画像調和法は、背景全体を調和のためのガイダンスと見なしている。 背景画像の特定の領域を選択して、調和を導くための新しいフレキシブルなフレームワークが提案されている。 プロのポートレートハーモニゼーション利用者に触発されて、合成フォアグラウンドと選択基準領域の間の色/輝度条件を最適に整合させる新しい輝度マッチング損失も導入する。
• 参考スコア（独自算出の注目度）: 99.15331091722231
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current image harmonization methods consider the entire background as the guidance for harmonization. However, this may limit the capability for user to choose any specific object/person in the background to guide the harmonization. To enable flexible interaction between user and harmonization, we introduce interactive harmonization, a new setting where the harmonization is performed with respect to a selected \emph{region} in the reference image instead of the entire background. A new flexible framework that allows users to pick certain regions of the background image and use it to guide the harmonization is proposed. Inspired by professional portrait harmonization users, we also introduce a new luminance matching loss to optimally match the color/luminance conditions between the composite foreground and select reference region. This framework provides more control to the image harmonization pipeline achieving visually pleasing portrait edits. Furthermore, we also introduce a new dataset carefully curated for validating portrait harmonization. Extensive experiments on both synthetic and real-world datasets show that the proposed approach is efficient and robust compared to previous harmonization baselines, especially for portraits. Project Webpage at \href{https://jeya-maria-jose.github.io/IPH-web/}{https://jeya-maria-jose.github.io/IPH-web/}
• Abstract（参考訳）: 現在の画像調和法は、背景全体を調和のためのガイダンスと見なしている。 しかし、これはユーザーがバックグラウンドで特定のオブジェクト/人物を選択して調和を導く能力を制限する可能性がある。 ユーザと調和のフレキシブルなインタラクションを実現するために、背景全体ではなく、参照画像内の選択された \emph{region} に対して調和を行う新しい設定であるinteractive harmonizationを導入する。 背景画像の特定の領域をユーザが選択して、調和を導くための新しい柔軟なフレームワークが提案されている。 プロのポートレートハーモニゼーション利用者に触発されて、合成フォアグラウンドと選択基準領域の間の色/輝度条件を最適に整合させる新しい輝度マッチング損失も導入する。 このフレームワークは、視覚的に美しいポートレート編集を実現するイメージ調和パイプラインをより制御する。 さらに,ポートレート・ハーモニゼーションの検証を行うために慎重に調整された新しいデータセットも導入する。 合成データと実世界のデータセットの両方に関する広範な実験により、提案手法は従来の調和ベースライン、特に肖像画と比較して効率的かつ堅牢であることが示されている。 Project Webpage at \href{https://jeya-maria-jose.github.io/IPH-web/}{https://jeya-maria-jose.github.io/IPH-web/}

関連論文リスト

• PHNet: Patch-based Normalization for Portrait Harmonization [41.94295877935867]
  合成画像の一般的な問題は、前景と背景の部品の非互換性である。 本稿では,新しいパッチベース正規化ブロックと特徴抽出器からなるパッチベースの調和ネットワークを提案する。 我々のネットワークは、iHarmony4データセット上で最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-02-27T14:59:48Z)
• Learning Global-aware Kernel for Image Harmonization [55.614444363743765]
  画像調和は、背景を基準として前景画素を適応的に調整することで、合成画像の視覚的不整合問題を解決することを目的としている。 既存の手法では、前景と背景の間の局所的な色変換や領域マッチングが採用されている。 本稿では,長距離バックグラウンド参照を包括的に考慮した地域調和のための,GKNet(Global-Aware Kernel Network)を提案する。
  論文  参考訳（メタデータ） (2023-05-19T13:49:02Z)
• Image Harmonization with Region-wise Contrastive Learning [51.309905690367835]
  本稿では,外部スタイルの融合と領域単位のコントラスト学習方式を備えた新しい画像調和フレームワークを提案する。 提案手法は, 前景と背景の相互情報を最大化することにより, 対応する正と負のサンプルをまとめることを試みる。
  論文  参考訳（メタデータ） (2022-05-27T15:46:55Z)
• FRIH: Fine-grained Region-aware Image Harmonization [49.420765789360836]
  我々は,FRIH(Fentral-Aware Image Harmonization)のための新しいグローバルな2段階フレームワークを提案する。 提案アルゴリズムは,軽量モデルを用いて,iHarmony4データセット(PSNRは38.19dB)上で最高の性能を実現する。
  論文  参考訳（メタデータ） (2022-05-13T04:50:26Z)
• Spatial-Separated Curve Rendering Network for Efficient and High-Resolution Image Harmonization [59.19214040221055]
  本稿では,空間分離型曲線描画ネットワーク(S$2$CRNet)を提案する。 提案手法は従来の手法と比較して90%以上のパラメータを減少させる。 提案手法は,既存の手法よりも10ドル以上高速な高解像度画像をリアルタイムにスムーズに処理することができる。
  論文  参考訳（メタデータ） (2021-09-13T07:20:16Z)
• SSH: A Self-Supervised Framework for Image Harmonization [97.16345684998788]
  我々は、編集せずに「自由」な自然画像だけで訓練できる新しい自己改善調和フレームワーク(SSH)を提案する。 提案したSSHは,基準指標,視覚的品質,主観的ユーザスタディにおいて,従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-08-15T19:51:33Z)
• Region-aware Adaptive Instance Normalization for Image Harmonization [14.77918186672189]
  フォトリアリスティックな合成画像を得るためには、背景と互換性のある前景の外観と視覚スタイルを調整する必要がある。 合成画像の調和のための既存のディープラーニング手法は、合成画像から実画像へのマッピングネットワークを直接学習する。 本研究では、背景から視覚スタイルを明示的に定式化し、前景に適応的に適用する、領域対応適応型インスタンス正規化(RAIN)モジュールを提案する。
  論文  参考訳（メタデータ） (2021-06-05T09:57:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。