論文の概要: Privacy Assessment on Reconstructed Images: Are Existing Evaluation Metrics Faithful to Human Perception?

• arxiv url: http://arxiv.org/abs/2309.13038v2
• Date: Mon, 9 Oct 2023 07:56:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 03:28:17.840421
• Title: Privacy Assessment on Reconstructed Images: Are Existing Evaluation Metrics Faithful to Human Perception?
• Title（参考訳）: 再構成画像のプライバシー評価:既存の評価基準は人間の知覚に忠実か?
• Authors: Xiaoxiao Sun, Nidham Gazagnadou, Vivek Sharma, Lingjuan Lyu, Hongdong Li, Liang Zheng
• Abstract要約: 本研究では,手作りのメトリクスの忠実さを,再構成画像からの人間のプライバシー情報の認識に適用する。 本稿では,SemSimと呼ばれる学習に基づく尺度を提案し,オリジナル画像と再構成画像のセマンティック類似性を評価する。
• 参考スコア（独自算出の注目度）: 86.58989831070426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hand-crafted image quality metrics, such as PSNR and SSIM, are commonly used to evaluate model privacy risk under reconstruction attacks. Under these metrics, reconstructed images that are determined to resemble the original one generally indicate more privacy leakage. Images determined as overall dissimilar, on the other hand, indicate higher robustness against attack. However, there is no guarantee that these metrics well reflect human opinions, which, as a judgement for model privacy leakage, are more trustworthy. In this paper, we comprehensively study the faithfulness of these hand-crafted metrics to human perception of privacy information from the reconstructed images. On 5 datasets ranging from natural images, faces, to fine-grained classes, we use 4 existing attack methods to reconstruct images from many different classification models and, for each reconstructed image, we ask multiple human annotators to assess whether this image is recognizable. Our studies reveal that the hand-crafted metrics only have a weak correlation with the human evaluation of privacy leakage and that even these metrics themselves often contradict each other. These observations suggest risks of current metrics in the community. To address this potential risk, we propose a learning-based measure called SemSim to evaluate the Semantic Similarity between the original and reconstructed images. SemSim is trained with a standard triplet loss, using an original image as an anchor, one of its recognizable reconstructed images as a positive sample, and an unrecognizable one as a negative. By training on human annotations, SemSim exhibits a greater reflection of privacy leakage on the semantic level. We show that SemSim has a significantly higher correlation with human judgment compared with existing metrics. Moreover, this strong correlation generalizes to unseen datasets, models and attack methods.
• Abstract（参考訳）: PSNRやSSIMなどの手作り画像品質指標は、リコンストラクション攻撃時のモデルプライバシリスクを評価するために一般的に使用される。 これらの指標の下では、元のものに似ていると判断された再構成された画像は、一般的によりプライバシーの漏洩を示す。 一方、全体的な類似点として決定された画像は、攻撃に対してより高い堅牢性を示している。 しかし、これらの指標が人間の意見をよく反映しているという保証はなく、モデルプライバシーリークの判断として、より信頼に値するものである。 本稿では,これらの手作りメトリクスの忠実さを,再構成画像からの人間のプライバシー情報の認識に包括的に研究する。 自然画像や顔から細粒度クラスまで,5つのデータセットにおいて,既存の4つの攻撃手法を用いて,様々な分類モデルから画像を再構成し,各再構成画像に対して,その画像が認識可能かどうかを複数の人間注釈者に対して評価する。 我々の研究によると、手作りのメトリクスは、人間のプライバシー漏洩評価と弱い相関しか持たず、これらの指標自体もしばしば矛盾している。 これらの観察は、コミュニティにおける現在のメトリクスのリスクを示唆している。 この潜在的なリスクに対処するために,SemSimと呼ばれる学習ベースの尺度を提案し,オリジナル画像と再構成画像のセマンティック類似性を評価する。 SemSimは、元のイメージをアンカーとして、認識可能な再構成イメージの1つを正のサンプルとして、認識できないイメージを負のサンプルとして、標準的な三重項損失で訓練されている。 人間のアノテーションをトレーニングすることで、SemSimはセマンティックレベルでのプライバシー漏洩をより深く反映する。 semsimは,既存の指標と比較して,人間の判断と有意に高い相関関係を示す。 さらに、この強い相関関係は、見えないデータセット、モデル、攻撃メソッドに一般化する。

関連論文リスト

• Five Pitfalls When Assessing Synthetic Medical Images with Reference Metrics [0.9582978458237521]
  2つのイメージを客観的かつ定量的に比較するために、参照メトリクスが開発された。 基準指標の相関と品質に対する人間の知覚は、様々な種類の歪みに対して強く異なる。 予想外の,おそらく望ましくない基準スコアを示す5つの落とし穴を選択した。
  論文  参考訳（メタデータ） (2024-08-12T11:48:57Z)
• How Real Is Real? A Human Evaluation Framework for Unrestricted Adversarial Examples [8.483679748399036]
  敵の例は、自動運転車のようなAIベースのシステムの安全性を脅かす。 画像領域では、悪質に摂動したデータポイントを表現し、人間に相応しいように見える。 本研究では,制限のない画像ベース攻撃に対する評価フレームワークであるSCOOTERを提案する。
  論文  参考訳（メタデータ） (2024-04-19T06:42:01Z)
• Introspective Deep Metric Learning [91.47907685364036]
  本稿では,不確実性を考慮した画像比較のためのイントロスペクティブな深度学習フレームワークを提案する。 提案するIDMLフレームワークは,不確実性モデリングによるディープメトリック学習の性能を向上させる。
  論文  参考訳（メタデータ） (2023-09-11T16:21:13Z)
• Exploring the Robustness of Human Parsers Towards Common Corruptions [99.89886010550836]
  我々は,LIP-C,ATR-C,Pascal-Person-Part-Cという3つの汚職堅牢性ベンチマークを構築し,人間の解析モデルのリスク許容度を評価する。 データ強化戦略に触発されて、一般に破損した条件下で頑健性を高めるための新しい異種強化機構を提案する。
  論文  参考訳（メタデータ） (2023-09-02T13:32:14Z)
• DreamSim: Learning New Dimensions of Human Visual Similarity using Synthetic Data [43.247597420676044]
  現在の知覚的類似度メトリクスは、ピクセルとパッチのレベルで動作します。 これらのメトリクスは、低レベルの色やテクスチャの観点から画像を比較するが、画像レイアウト、オブジェクトポーズ、セマンティック内容の中間レベルの類似点や相違点をキャプチャできない。 我々は,画像の全体的評価を行う知覚的指標を開発した。
  論文  参考訳（メタデータ） (2023-06-15T17:59:50Z)
• Introspective Deep Metric Learning for Image Retrieval [80.29866561553483]
  良好な類似性モデルは、より堅牢なトレーニングのために曖昧なイメージをよりよく扱うように注意しながら、意味的な相違を考慮すべきである、と我々は主張する。 本稿では,画像の意味的特徴とあいまいさを記述した,意味的埋め込みだけでなく,付随する不確実性埋め込みを用いて画像を表現することを提案する。 提案したIDMLフレームワークは,不確実性モデリングによるディープメトリック学習の性能向上を実現し,広く使用されているCUB-200-2011,Cars196,Stanford Online Productsデータセットの最先端結果を得る。
  論文  参考訳（メタデータ） (2022-05-09T17:51:44Z)
• Assessing Privacy Risks from Feature Vector Reconstruction Attacks [24.262351521060676]
  我々は、再構成された顔画像の脅威を有意義に捉える指標を開発する。 再構成された顔画像は、商業的な顔認識システムと人間の両方による再識別を可能にすることを示す。 その結果,特徴ベクトルはパーソナライズ可能な情報として認識されるべきであることが確認された。
  論文  参考訳（メタデータ） (2022-02-11T16:52:02Z)
• Assessing a Single Image in Reference-Guided Image Synthesis [14.936460594115953]
  本稿では,単一生成画像の品質を定量的に評価するための,参照誘導画像合成アセスメント(RISA)を提案する。 このアノテーションは監視信号として大きすぎるため、1)粗いラベルを洗練するためのピクセルワイズスキームと、2)ナイーブ回帰器を置き換える複数のバイナリ分類器の2つの手法を導入する。 RISAは人間の好みと非常に整合しており、モデル間での転送も良好である。
  論文  参考訳（メタデータ） (2021-12-08T08:22:14Z)
• Transparent Human Evaluation for Image Captioning [70.03979566548823]
  画像キャプションモデルのためのルーリックに基づく人間評価プロトコルを開発した。 人為的キャプションは機械的キャプションよりも著しく高品質であることを示す。 この研究は、画像キャプションのためのより透明な評価プロトコルを促進することを願っている。
  論文  参考訳（メタデータ） (2021-11-17T07:09:59Z)
• Unsupervised Landmark Learning from Unpaired Data [117.81440795184587]
  教師なしランドマーク学習の最近の試みは、外観は似ているがポーズでは異なる合成画像対を活用する。 本稿では,2回スワッピング・リコンストラクション・ストラテジーを適用して最終監視を行うクロスイメージ・サイクル整合性フレームワークを提案する。 提案するフレームワークは,強いベースラインを大きなマージンで上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-29T13:57:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。