論文の概要: Private Attribute Inference from Images with Vision-Language Models

• arxiv url: http://arxiv.org/abs/2404.10618v2
• Date: Mon, 04 Nov 2024 11:11:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:45:01.943920
• Title: Private Attribute Inference from Images with Vision-Language Models
• Title（参考訳）: 視覚言語モデルを用いた画像からの個人属性推定
• Authors: Batuhan Tömekçe, Mark Vero, Robin Staab, Martin Vechev,
• Abstract要約: 視覚言語モデル(VLM)は、画像とテキストの両方を理解することができる。 我々は7つの最先端のVLMを評価し、最大77.6%の精度で様々な個人属性を推測できることを発見した。 モデルの一般的な能力で精度がスケールすることが観察され、将来のモデルはより強い推論の敵として誤用される可能性が示唆された。
• 参考スコア（独自算出の注目度）: 2.9373912230684565
• License:
• Abstract: As large language models (LLMs) become ubiquitous in our daily tasks and digital interactions, associated privacy risks are increasingly in focus. While LLM privacy research has primarily focused on the leakage of model training data, it has recently been shown that LLMs can make accurate privacy-infringing inferences from previously unseen texts. With the rise of vision-language models (VLMs), capable of understanding both images and text, a key question is whether this concern transfers to the previously unexplored domain of benign images posted online. To answer this question, we compile an image dataset with human-annotated labels of the image owner's personal attributes. In order to understand the privacy risks posed by VLMs beyond traditional human attribute recognition, our dataset consists of images where the inferable private attributes do not stem from direct depictions of humans. On this dataset, we evaluate 7 state-of-the-art VLMs, finding that they can infer various personal attributes at up to 77.6% accuracy. Concerningly, we observe that accuracy scales with the general capabilities of the models, implying that future models can be misused as stronger inferential adversaries, establishing an imperative for the development of adequate defenses.
• Abstract（参考訳）: 大きな言語モデル(LLM)が日々のタスクやデジタルインタラクションにおいてユビキタスになるにつれて、関連するプライバシーリスクがますます注目されています。 LLMのプライバシ研究は、主にモデルトレーニングデータの漏洩に焦点を当てているが、最近は、LLMが以前に見つからなかったテキストから正確なプライバシ侵害推論を行うことができることが示されている。 画像とテキストの両方を理解できる視覚言語モデル(VLM)の台頭により、この懸念がこれまで探索されていなかった良心的画像の領域に移行するかどうかが重要な疑問である。 この問いに答えるために、画像所有者の個人属性の人称アノテートラベルで画像データセットをコンパイルする。 従来の人間の属性認識を超えてVLMがもたらすプライバシーリスクを理解するために,このデータセットは,推定可能なプライベート属性が人間の直接的な描写に起因しないイメージで構成されている。 このデータセットを用いて、7つの最先端のVLMを評価し、最大77.6%の精度で様々な個人属性を推測できることを発見した。 本研究は,モデルの汎用能力とともに精度が向上し,将来のモデルがより強力な推論敵として誤用されることを示唆し,適切な防御を開発するための必須条件を確立することを目的としたものである。

関連論文リスト

• Image-guided topic modeling for interpretable privacy classification [27.301741710016223]
  本稿では,自然言語コンテンツ記述子を用いて画像のプライバシーを予測することを提案する。 これらのコンテンツ記述子は、人々がイメージコンテンツをどう知覚するかを反映したプライバシースコアと関連付けられている。 ITMの生成した記述子を使ってプライバシ予測子(Priv$times$ITM)を学習し、その決定は設計によって解釈できる。
  論文  参考訳（メタデータ） (2024-09-27T12:02:28Z)
• Enhancing User-Centric Privacy Protection: An Interactive Framework through Diffusion Models and Machine Unlearning [54.30994558765057]
  この研究は、データ共有とモデル公開の間、画像データのプライバシーを同時に保護する包括的なプライバシー保護フレームワークのパイオニアだ。 本稿では、生成機械学習モデルを用いて属性レベルで画像情報を修正するインタラクティブな画像プライバシー保護フレームワークを提案する。 本フレームワークでは、画像中の属性情報を保護する差分プライバシー拡散モデルと、修正された画像データセット上でトレーニングされたモデルの効率的な更新を行う特徴未学習アルゴリズムの2つのモジュールをインスタンス化する。
  論文  参考訳（メタデータ） (2024-09-05T07:55:55Z)
• Explaining models relating objects and privacy [33.78605193864911]
  画像から抽出したオブジェクトを用いて、なぜ画像がプライベートであると予測されるのかを判断するプライバシーモデルを評価する。 プライバシ決定の主要な要因は、個人カテゴリの存在と、その濃度であることを示す。
  論文  参考訳（メタデータ） (2024-05-02T18:06:48Z)
• Only My Model On My Data: A Privacy Preserving Approach Protecting one Model and Deceiving Unauthorized Black-Box Models [11.59117790048892]
  本研究では、認証されたモデルによる正確な推論を維持する人間認識可能な画像を生成することにより、未調査の実用的プライバシー保護ユースケースに取り組む。 その結果、生成した画像は、保護されたモデルの精度を維持し、認証されていないブラックボックスモデルの平均精度を、ImageNet、Celeba-HQ、AffectNetのデータセットでそれぞれ11.97%、6.63%、55.51%に下げることができた。
  論文  参考訳（メタデータ） (2024-02-14T17:11:52Z)
• Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
  私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。 我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-10-27T04:15:30Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Attribute-preserving Face Dataset Anonymization via Latent Code Optimization [64.4569739006591]
  本稿では,事前学習したGANの潜時空間における画像の潜時表現を直接最適化するタスク非依存匿名化手法を提案する。 我々は一連の実験を通して、我々の手法が画像の同一性を匿名化できる一方で、顔の属性をより保存できることを実証した。
  論文  参考訳（メタデータ） (2023-03-20T17:34:05Z)
• ConfounderGAN: Protecting Image Data Privacy with Causal Confounder [85.6757153033139]
  本稿では,GAN(Generative Adversarial Network)のConfounderGANを提案する。 実験は、3つの自然なオブジェクトデータセットと3つの医療データセットからなる6つの画像分類データセットで実施される。
  論文  参考訳（メタデータ） (2022-12-04T08:49:14Z)
• InfoScrub: Towards Attribute Privacy by Targeted Obfuscation [77.49428268918703]
  視覚データに流出した個人情報を個人が制限できる技術について検討する。 我々はこの問題を新しい画像難読化フレームワークで解決する。 提案手法では,元の入力画像に忠実な難読化画像を生成するとともに,非難読化画像に対して6.2$times$(または0.85bits)の不確実性を増大させる。
  論文  参考訳（メタデータ） (2020-05-20T19:48:04Z)
• Privacy-Preserving Image Classification in the Local Setting [17.375582978294105]
  ローカル微分プライバシ(LDP)は、データ所有者がランダムにインプットを摂動させ、リリース前にデータの妥当な削除を可能にする、有望なソリューションを提供する。 本稿では、データ所有者が画像を保持し、不信なデータ利用者が機械学習モデルにこれらの画像を入力として適合させたいという、双方向のイメージ分類問題について考察する。 本稿では,拡張性のある領域サイズで画像表現を生成する,教師付き画像特徴抽出器 DCAConv を提案する。
  論文  参考訳（メタデータ） (2020-02-09T01:25:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。