論文の概要: Rethinking Portrait Matting with Privacy Preserving

• arxiv url: http://arxiv.org/abs/2203.16828v1
• Date: Thu, 31 Mar 2022 06:26:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-01 13:55:31.364542
• Title: Rethinking Portrait Matting with Privacy Preserving
• Title（参考訳）: プライバシー保護でポートレート・マットリングを再考
• Authors: Sihan Ma, Jizhizi Li, Jing Zhang, He Zhang, Dacheng Tao
• Abstract要約: P3M-10kは、プライバシ保存ポートレートマッチング(P3M)のための最初の大規模匿名化ベンチマークである。 P3M-10kは1万枚の高解像度の顔黒の肖像画と高品質のアルファマットで構成されている。 本稿では,プライバシに敏感なセマンティック認識と詳細保存されたマッティングを同時に行うことができる3つの注意深く設計された統合モジュールからなる,P3M-Netという統合マッティングモデルを提案する。
• 参考スコア（独自算出の注目度）: 79.37601060952201
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, there has been an increasing concern about the privacy issue raised by using personally identifiable information in machine learning. However, previous portrait matting methods were all based on identifiable portrait images. To fill the gap, we present P3M-10k in this paper, which is the first large-scale anonymized benchmark for Privacy-Preserving Portrait Matting (P3M). P3M-10k consists of 10,000 high-resolution face-blurred portrait images along with high-quality alpha mattes. We systematically evaluate both trimap-free and trimap-based matting methods on P3M-10k and find that existing matting methods show different generalization abilities under the privacy preserving training setting, i.e., training only on face-blurred images while testing on arbitrary images. Based on the gained insights, we propose a unified matting model named P3M-Net consisting of three carefully designed integration modules that can perform privacy-insensitive semantic perception and detail-reserved matting simultaneously. We further design multiple variants of P3M-Net with different CNN and transformer backbones and identify the difference in their generalization abilities. To further mitigate this issue, we devise a simple yet effective Copy and Paste strategy (P3M-CP) that can borrow facial information from public celebrity images without privacy concerns and direct the network to reacquire the face context at both data and feature levels. P3M-CP only brings a few additional computations during training, while enabling the matting model to process both face-blurred and normal images without extra effort during inference. Extensive experiments on P3M-10k demonstrate the superiority of P3M-Net over state-of-the-art methods and the effectiveness of P3M-CP in improving the generalization ability of P3M-Net, implying a great significance of P3M for future research and real-world applications.
• Abstract（参考訳）: 近年,個人識別可能な情報を機械学習に利用することで生じるプライバシー問題に対する懸念が高まっている。 しかし、過去の肖像画マッチング手法はすべて、識別可能な肖像画に基づいていた。 p3m-10kは,プライバシ保存型ポートレートマットリング(p3m)のための,最初の大規模匿名化ベンチマークである。 P3M-10kは1万枚の高解像度の顔黒の肖像画と高品質のアルファマットで構成されている。 P3M-10k上でのトリマップフリーおよびトリマップベースのマッティング手法を体系的に評価し、既存のマッティング手法は、プライバシー保護トレーニング設定の下で異なる一般化能力を示す。 得られた知見に基づいて,プライバシに敏感なセマンティクス知覚と詳細保持されたマッティングを同時に実行可能な3つの統合モジュールからなるp3m-netという統一マッティングモデルを提案する。 さらに、cnnとトランスフォーマーバックボーンが異なるp3m-netの複数の変種を設計、その一般化能力の違いを同定する。 この問題をさらに緩和するため,プライバシの心配なく有名人画像から顔情報を借用し,ネットワークにデータと機能の両方で顔のコンテキストを再獲得するよう指示する,シンプルかつ効果的なコピー&ペースト戦略(p3m-cp)を考案する。 P3M-CPは、トレーニング中に追加の計算しか行わず、マッチングモデルでは、推論中に余分な労力なしで顔と正常の画像の両方を処理できる。 P3M-10kの広汎な実験は、P3M-Netが最先端の手法よりも優れていること、P3M-CPがP3M-Netの一般化能力の向上に有効であることを示し、将来の研究や実世界の応用においてP3Mの大きな意義を示唆している。

関連論文リスト

• PF-LRM: Pose-Free Large Reconstruction Model for Joint Pose and Shape Prediction [77.89935657608926]
  画像から3Dオブジェクトを再構成するためのPF-LRM(Pose-Free Large Restruction Model)を提案する。 PF-LRMは1つのA100 GPU上で1.3秒で相対カメラのポーズを同時に推定する。
  論文  参考訳（メタデータ） (2023-11-20T18:57:55Z)
• Learning Pixel-Adaptive Weights for Portrait Photo Retouching [1.9843222704723809]
  ポートレート写真リタッチ(Portrait photo retouching)は、人間の領域の優先度とグループレベルの一貫性を強調する写真リタッチタスクである。 本稿では,局所的なコンテキストキューをモデル化し,手直し品質を明示的に改善する。 PPR10Kデータセットの実験により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2021-12-07T07:23:42Z)
• Facial Depth and Normal Estimation using Single Dual-Pixel Camera [81.02680586859105]
  DP指向のDepth/Normalネットワークを導入し,3次元顔形状を再構成する。 これは、メートル法スケールでの深度マップと表面正規を含む、対応する地上3次元モデルを含んでいる。 近年のDPベース深度/正規推定法で最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-11-25T05:59:27Z)
• Direct Multi-view Multi-person 3D Pose Estimation [138.48139701871213]
  マルチビュー画像からマルチパーソン3Dポーズを推定するためのMulti-view Pose Transformer(MvP)を提案する。 MvPは、中間タスクに頼ることなく、複数の人物の3Dポーズを直接クリーンで効率的な方法で回帰する。 我々は,MvPモデルがより効率的でありながら,いくつかのベンチマークにおいて最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-07T13:09:20Z)
• Highly Efficient Natural Image Matting [15.977598189574659]
  軽量モデルを用いたトリマップフリーな自然画像マッチング手法を提案する。 非常に軽量なモデルを構築し、人気のある自然画像ベンチマーク上で1% (344k) の大規模モデルで同等の性能を実現する。
  論文  参考訳（メタデータ） (2021-10-25T09:23:46Z)
• Privacy-Preserving Portrait Matting [73.98225485513905]
  P3M-10kは、プライバシー保護ポートレートマットのための最初の大規模な匿名化ベンチマークです。 P3M-10kは1万枚の高解像度顔写真と高品質のアルファマットで構成されています。 意味認識と詳細マッチングの両方に統一されたフレームワークのパワーを利用するP3M-Netを提案する。
  論文  参考訳（メタデータ） (2021-04-29T09:20:19Z)
• Inducing Predictive Uncertainty Estimation for Face Recognition [102.58180557181643]
  顔画像の「マッドペア」から画像品質訓練データを自動的に生成する手法を提案する。 生成したデータを用いて、顔画像の信頼度を推定するために、PCNetと呼ばれる軽量な予測信頼ネットワークを訓練する。
  論文  参考訳（メタデータ） (2020-09-01T17:52:00Z)
• Plug-and-Play Rescaling Based Crowd Counting in Static Images [24.150701096083242]
  我々は,新しいイメージパッチ再スケーリングモジュール (PRM) と3つの独立したPRMを用いたクラウドカウント手法を提案する。 提案するフレームワークは,PRMモジュールを用いて特別な処理を必要とする画像領域(パッチ)を再スケールする。
  論文  参考訳（メタデータ） (2020-01-06T21:43:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。