論文の概要: Cross-modal Deep Face Normals with Deactivable Skip Connections

• arxiv url: http://arxiv.org/abs/2003.09691v2
• Date: Mon, 30 Mar 2020 13:54:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 12:48:08.783179
• Title: Cross-modal Deep Face Normals with Deactivable Skip Connections
• Title（参考訳）: 動作不能なスキップ接続を有するクロスモーダルディープフェイスノーマル
• Authors: Victoria Fernandez Abrevaya, Adnane Boukhayma, Philip H. S. Torr, Edmond Boyer
• Abstract要約: そこで本研究では,顔の幅内カラー画像から表面の正常度を推定する手法を提案する。 本稿では,ペアの有無にかかわらず,利用可能なすべての画像と通常のデータを活用できる手法を提案する。 提案手法は,自然な顔画像を用いて定量的,定性的に,大幅な改善を達成できることが示唆された。
• 参考スコア（独自算出の注目度）: 77.83961745760216
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present an approach for estimating surface normals from in-the-wild color images of faces. While data-driven strategies have been proposed for single face images, limited available ground truth data makes this problem difficult. To alleviate this issue, we propose a method that can leverage all available image and normal data, whether paired or not, thanks to a novel cross-modal learning architecture. In particular, we enable additional training with single modality data, either color or normal, by using two encoder-decoder networks with a shared latent space. The proposed architecture also enables face details to be transferred between the image and normal domains, given paired data, through skip connections between the image encoder and normal decoder. Core to our approach is a novel module that we call deactivable skip connections, which allows integrating both the auto-encoded and image-to-normal branches within the same architecture that can be trained end-to-end. This allows learning of a rich latent space that can accurately capture the normal information. We compare against state-of-the-art methods and show that our approach can achieve significant improvements, both quantitative and qualitative, with natural face images.
• Abstract（参考訳）: 本稿では,顔の色画像から表面の正常度を推定する手法を提案する。 単一顔画像に対してデータ駆動型戦略が提案されているが、利用可能な地上真実データが少ないためこの問題は困難である。 この問題を軽減するため、新しいクロスモーダル学習アーキテクチャにより、ペアの有無にかかわらず、利用可能なすべての画像と通常のデータを活用できる手法を提案する。 特に,共有潜在空間を持つ2つのエンコーダ・デコーダネットワークを用いて,カラーとノーマルの2つのモダリティデータによる付加的なトレーニングを可能にする。 提案アーキテクチャでは,画像エンコーダと通常のデコーダ間の接続をスキップすることで,画像領域と通常のデータ領域間で顔の詳細を転送することができる。 私たちのアプローチの中核となるのは、deactivable skip connectionsと呼ばれる新しいモジュールで、エンドツーエンドでトレーニング可能な同じアーキテクチャ内で、自動エンコードとイメージから正規のブランチの両方を統合することができます。 これにより、通常の情報を正確に捉えることができるリッチ潜在空間の学習が可能になる。 我々は最先端の手法と比較し,本手法が自然顔画像と定量的,質的の両方において有意な改善を達成できることを示す。

関連論文リスト

• PHNet: Patch-based Normalization for Portrait Harmonization [41.94295877935867]
  合成画像の一般的な問題は、前景と背景の部品の非互換性である。 本稿では,新しいパッチベース正規化ブロックと特徴抽出器からなるパッチベースの調和ネットワークを提案する。 我々のネットワークは、iHarmony4データセット上で最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-02-27T14:59:48Z)
• Content-aware Warping for View Synthesis [110.54435867693203]
  本稿では,比較的大きな近傍の画素の重みを,軽量ニューラルネットワークによる文脈情報から適応的に学習するコンテンツ認識ワープを提案する。 この学習可能なワープモジュールに基づいて、2つのソースビューから新しいビューを合成するエンド・ツー・エンドの学習ベースのフレームワークを提案する。 広いベースラインと非構造的多視点データセットを有する構造的光フィールドデータセットの実験結果から,提案手法は,定量的かつ視覚的に,最先端の手法を著しく上回ることを示した。
  論文  参考訳（メタデータ） (2022-01-22T11:35:05Z)
• Spatial-Separated Curve Rendering Network for Efficient and High-Resolution Image Harmonization [59.19214040221055]
  本稿では,空間分離型曲線描画ネットワーク(S$2$CRNet)を提案する。 提案手法は従来の手法と比較して90%以上のパラメータを減少させる。 提案手法は,既存の手法よりも10ドル以上高速な高解像度画像をリアルタイムにスムーズに処理することができる。
  論文  参考訳（メタデータ） (2021-09-13T07:20:16Z)
• Collaboration among Image and Object Level Features for Image Colourisation [25.60139324272782]
  画像のカラー化は不適切な問題であり、入力データムに存在するコンテキストとオブジェクトインスタンスに依存する複数の正しいソリューションがある。 従来のアプローチは、強力なユーザーインタラクションを必要とするか、画像レベル(コンテキスト)機能を学ぶために畳み込みニューラルネットワーク(CNN)の能力を利用して、この問題を攻撃しました。 コンボリューションによって得られる画像レベルの特徴とカプセルによってキャプチャされるオブジェクトレベルの特徴を分離する,UCapsNetという単一のネットワークを提案する。 そして,異なる層間の接続をスキップすることで,これらの分離要因間の協調を強制し,高品質で再現可能な画像彩色を実現する。
  論文  参考訳（メタデータ） (2021-01-19T11:48:12Z)
• Deep Image Compositing [93.75358242750752]
  ユーザ入力なしで高品質の画像合成を自動生成する手法を提案する。 ラプラシアン・ピラミッド・ブレンディングにインスパイアされ、フォアグラウンドや背景画像からの情報を効果的に融合させるために、密結合型多ストリーム融合ネットワークが提案されている。 実験により,提案手法は高品質な合成物を自動生成し,定性的かつ定量的に既存手法より優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-11-04T06:12:24Z)
• Bridging Composite and Real: Towards End-to-end Deep Image Matting [88.79857806542006]
  画像マッチングにおける意味論と細部の役割について検討する。 本稿では,共有エンコーダと2つの分離デコーダを用いた新しいGlance and Focus Matting Network(GFM)を提案する。 総合的な実証研究により、GFMは最先端の手法より優れていることが示されている。
  論文  参考訳（メタデータ） (2020-10-30T10:57:13Z)
• Free-Form Image Inpainting via Contrastive Attention Network [64.05544199212831]
  画像の塗装作業では、複雑なパターンを形成する画像のどこにでも、どんな形でもマスクが現れる。 エンコーダはこの複雑な状況下でこのような強力な表現を捕捉することは困難である。 本稿では,ロバスト性と一般化性を改善するための自己教師型シームズ推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-10-29T14:46:05Z)
• Realistic Image Normalization for Multi-Domain Segmentation [7.856339385917824]
  本稿では,複数のデータセットにまたがる共通正規化関数を学習することで,従来の画像正規化手法を再検討する。 複数のデータセットを共同で正規化することにより、一貫した正規化イメージと改善されたイメージセグメンテーションが得られる。 また、複数の画像領域から学習する場合に利用可能なサンプル数を増やすことで、データの可用性を向上させることができる。
  論文  参考訳（メタデータ） (2020-09-29T13:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。