論文の概要: Private Attribute Inference from Images with Vision-Language Models
- arxiv url: http://arxiv.org/abs/2404.10618v1
- Date: Tue, 16 Apr 2024 14:42:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 16:34:29.926879
- Title: Private Attribute Inference from Images with Vision-Language Models
- Title(参考訳): 視覚言語モデルを用いた画像からの個人属性推定
- Authors: Batuhan Tömekçe, Mark Vero, Robin Staab, Martin Vechev,
- Abstract要約: 我々は、7つの最先端の視覚言語モデルの推論能力を77.6%の精度で評価した。
モデルの一般的な能力で精度がスケールすることが観察され、将来のモデルがより強力な敵として誤用されることが示唆された。
- 参考スコア(独自算出の注目度): 2.9373912230684565
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As large language models (LLMs) become ubiquitous in our daily tasks and digital interactions, associated privacy risks are increasingly in focus. While LLM privacy research has primarily focused on the leakage of model training data, it has recently been shown that the increase in models' capabilities has enabled LLMs to make accurate privacy-infringing inferences from previously unseen texts. With the rise of multimodal vision-language models (VLMs), capable of understanding both images and text, a pertinent question is whether such results transfer to the previously unexplored domain of benign images posted online. To investigate the risks associated with the image reasoning capabilities of newly emerging VLMs, we compile an image dataset with human-annotated labels of the image owner's personal attributes. In order to understand the additional privacy risk posed by VLMs beyond traditional human attribute recognition, our dataset consists of images where the inferable private attributes do not stem from direct depictions of humans. On this dataset, we evaluate the inferential capabilities of 7 state-of-the-art VLMs, finding that they can infer various personal attributes at up to 77.6% accuracy. Concerningly, we observe that accuracy scales with the general capabilities of the models, implying that future models can be misused as stronger adversaries, establishing an imperative for the development of adequate defenses.
- Abstract(参考訳): 大きな言語モデル(LLM)が日々のタスクやデジタルインタラクションにおいてユビキタスになるにつれて、関連するプライバシーリスクがますます注目されています。
LLMのプライバシ研究は、主にモデルトレーニングデータの漏洩に焦点を当てているが、最近、モデル能力の増大により、LLMは、これまで見つからなかったテキストから正確なプライバシ侵害推論を行うことができたことが示されている。
画像とテキストの両方を理解できるマルチモーダル視覚言語モデル(VLM)の台頭により、そのような結果が、これまで探索されていなかった、オンラインに投稿された良心的画像の領域に転送されるかどうかが、関連する疑問である。
新たに登場したVLMのイメージ推論能力に関連するリスクを調査するために,画像所有者の個人属性の人称ラベルで画像データセットをコンパイルする。
我々のデータセットは、従来の人間の属性認識以外にもVLMがもたらす追加のプライバシーリスクを理解するために、推論可能なプライベート属性が人間の直接的な描写に起因しないイメージで構成されています。
このデータセットを用いて、7つの最先端VLMの推論能力を評価し、最大77.6%の精度で様々な個人属性を推測できることを見出した。
本研究は, モデルの汎用能力とともに精度が向上し, 将来のモデルがより強力な敵として誤用されることを示唆し, 適切な防御を開発するための必須条件を確立することを目的としたものである。
関連論文リスト
- Only My Model On My Data: A Privacy Preserving Approach Protecting one
Model and Deceiving Unauthorized Black-Box Models [11.59117790048892]
本研究では、認証されたモデルによる正確な推論を維持する人間認識可能な画像を生成することにより、未調査の実用的プライバシー保護ユースケースに取り組む。
その結果、生成した画像は、保護されたモデルの精度を維持し、認証されていないブラックボックスモデルの平均精度を、ImageNet、Celeba-HQ、AffectNetのデータセットでそれぞれ11.97%、6.63%、55.51%に下げることができた。
論文 参考訳(メタデータ) (2024-02-14T17:11:52Z) - Can LLMs Keep a Secret? Testing Privacy Implications of Language Models
via Contextual Integrity Theory [86.8514623654506]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。
我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-10-27T04:15:30Z) - Large Language Models Can Be Good Privacy Protection Learners [53.07930843882592]
本稿では,プライバシ保護言語モデル(PPLM)を紹介する。
本研究は, コーパスキュレーション, ペナルティに基づくトレーニング損失の相違, 命令に基づくチューニングなど, モデル設計の理論的解析を行う。
特に、肯定的な例と否定的な例の両方による命令チューニングは、モデルの知識を高めながら、個人データを効果的に保護する、有望な方法として際立っている。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - ConfounderGAN: Protecting Image Data Privacy with Causal Confounder [85.6757153033139]
本稿では,GAN(Generative Adversarial Network)のConfounderGANを提案する。
実験は、3つの自然なオブジェクトデータセットと3つの医療データセットからなる6つの画像分類データセットで実施される。
論文 参考訳(メタデータ) (2022-12-04T08:49:14Z) - Content-based Graph Privacy Advisor [38.733077459065704]
本稿では,画像のプライバシを予測するための手がかりとして,シーン情報とオブジェクトの濃度を用いた画像プライバシー分類器を提案する。
我々のグラフプライバシ・アドバイザ(GPA)モデルは、最先端のグラフモデルを単純化し、その性能を改善する。
論文 参考訳(メタデータ) (2022-10-20T11:12:42Z) - You Are What You Write: Preserving Privacy in the Era of Large Language
Models [2.3431670397288005]
本稿では,様々な人気モデルを用いて,事前学習された表現に符号化された個人情報の範囲について,実証的研究を行う。
モデルの複雑さ,事前学習に使用するデータ量,およびデータ漏洩との間には,正の相関関係を示す。
論文 参考訳(メタデータ) (2022-04-20T11:12:53Z) - SF-PATE: Scalable, Fair, and Private Aggregation of Teacher Ensembles [50.90773979394264]
本稿では、個人の機密情報のプライバシーを保護しつつ、差別的でない予測者の学習を可能にするモデルについて検討する。
提案モデルの主な特徴は、プライバシ保護とフェアモデルを作成するために、オフ・ザ・セルフと非プライベートフェアモデルの採用を可能にすることである。
論文 参考訳(メタデータ) (2022-04-11T14:42:54Z) - Proactive Pseudo-Intervention: Causally Informed Contrastive Learning
For Interpretable Vision Models [103.64435911083432]
PPI(Proactive Pseudo-Intervention)と呼ばれる新しい対照的な学習戦略を提案する。
PPIは、因果関係のない画像の特徴を保護するために積極的に介入する。
また,重要な画像画素を識別するための,因果的に通知された新たなサリエンスマッピングモジュールを考案し,モデル解釈の容易性を示す。
論文 参考訳(メタデータ) (2020-12-06T20:30:26Z) - InfoScrub: Towards Attribute Privacy by Targeted Obfuscation [77.49428268918703]
視覚データに流出した個人情報を個人が制限できる技術について検討する。
我々はこの問題を新しい画像難読化フレームワークで解決する。
提案手法では,元の入力画像に忠実な難読化画像を生成するとともに,非難読化画像に対して6.2$times$(または0.85bits)の不確実性を増大させる。
論文 参考訳(メタデータ) (2020-05-20T19:48:04Z) - Privacy-Preserving Image Classification in the Local Setting [17.375582978294105]
ローカル微分プライバシ(LDP)は、データ所有者がランダムにインプットを摂動させ、リリース前にデータの妥当な削除を可能にする、有望なソリューションを提供する。
本稿では、データ所有者が画像を保持し、不信なデータ利用者が機械学習モデルにこれらの画像を入力として適合させたいという、双方向のイメージ分類問題について考察する。
本稿では,拡張性のある領域サイズで画像表現を生成する,教師付き画像特徴抽出器 DCAConv を提案する。
論文 参考訳(メタデータ) (2020-02-09T01:25:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。