Fugu-MT 論文翻訳(概要): Privacy-Aware Visual Language Models

論文の概要: Privacy-Aware Visual Language Models

arxiv url: http://arxiv.org/abs/2405.17423v1
Date: Mon, 27 May 2024 17:59:25 GMT
ステータス: 処理完了
システム内更新日: 2024-05-28 13:52:58.340885
Title: Privacy-Aware Visual Language Models
Title（参考訳）: プライバシーに配慮したビジュアル言語モデル
Authors: Laurens Samson, Nimrod Barazani, Sennay Ghebreab, Yuki M. Asano,
Abstract要約: 本稿では,プライバシに敏感な情報を扱うVisual Language Modelの理解を深めることを目的としている。パスポートや指紋などの8つの機密カテゴリの画像を含む新しいベンチマークであるPrivBenchを導入する。このベンチマークで10の最先端のVLMを評価し、一般的にはプライバシの理解が限定されていることを観察し、モデル改善のための重要な領域を強調した。
参考スコア（独自算出の注目度）: 16.272314073324626
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper aims to advance our understanding of how Visual Language Models (VLMs) handle privacy-sensitive information, a crucial concern as these technologies become integral to everyday life. To this end, we introduce a new benchmark PrivBench, which contains images from 8 sensitive categories such as passports, or fingerprints. We evaluate 10 state-of-the-art VLMs on this benchmark and observe a generally limited understanding of privacy, highlighting a significant area for model improvement. Based on this we introduce PrivTune, a new instruction-tuning dataset aimed at equipping VLMs with knowledge about visual privacy. By tuning two pretrained VLMs, TinyLLaVa and MiniGPT-v2, on this small dataset, we achieve strong gains in their ability to recognize sensitive content, outperforming even GPT4-V. At the same time, we show that privacy-tuning only minimally affects the VLMs performance on standard benchmarks such as VQA. Overall, this paper lays out a crucial challenge for making VLMs effective in handling real-world data safely and provides a simple recipe that takes the first step towards building privacy-aware VLMs.
Abstract（参考訳）: 本稿では,視覚言語モデル(VLM)がプライバシに敏感な情報をどう扱うかという理解を深めることを目的としている。この目的のために,パスポートや指紋などの8つのセンシティブなカテゴリの画像を含む新しいベンチマークPrivBenchを導入する。このベンチマークで10の最先端のVLMを評価し、一般的にはプライバシの理解が限定されていることを観察し、モデル改善のための重要な領域を強調した。これに基づいて、視覚的プライバシに関する知識を備えたVLMの装備を目的とした、新しいインストラクションチューニングデータセットであるPrivTuneを紹介します。トレーニング済みの2つのVLM(TinyLLaVaとMiniGPT-v2)をこの小さなデータセットでチューニングすることで、感度の高いコンテンツを認識する能力が向上し、GPT4-Vよりも優れています。同時に、プライバシチューニングはVQAなどの標準ベンチマーク上でのVLMのパフォーマンスに最小限の影響しか与えないことを示す。本稿では,VLMを現実のデータを安全に扱えるようにするための重要な課題を概説し,プライバシを意識したVLM構築に向けた第一歩を踏み出すための簡単なレシピを提供する。

関連論文リスト

BIV-Priv-Seg: Locating Private Content in Images Taken by People With Visual Impairments [32.5752223141093]
BIV-Priv-Segは、プライベートコンテンツを表示する視覚障害を持つ人々から生まれた最初のデータセットである。 16のプライベートオブジェクトカテゴリ用のセグメンテーションアノテーションを備えた1,028のイメージが含まれている。我々は、データセット内のプライベートコンテンツを特定するために、最新のモデルの性能を評価する。
論文参考訳（メタデータ） (2024-07-25T17:57:48Z)
Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
論文参考訳（メタデータ） (2024-06-20T13:54:32Z)
PIN: Positional Insert Unlocks Object Localisation Abilities in VLMs [55.8550939439138]
VLM(Vision-Language Models)は、大きな言語モデルと視覚システムを統合することで、大きな可能性を秘めている。これらのモデルは、主にキャプションを含むマルチモーダルデータに対するトレーニングのため、オブジェクトローカライゼーションの基本的なコンピュータビジョンタスクにおいて課題に直面している。本稿では,空間的プロンプトであるPIN(Input-Agnostic Positional Insert)を導入する。我々のPINモジュールは、新しい出力ヘッドを必要とせずに、合成データに対する単純な次トーケン予測タスクで訓練されている。
論文参考訳（メタデータ） (2024-02-13T18:39:18Z)
How Many Unicorns Are in This Image? A Safety Evaluation Benchmark for Vision LLMs [55.91371032213854]
本研究は視覚的推論におけるビジョンLLM(VLLM)の可能性に焦点を当てる。本稿では、アウト・オブ・ディストリビューション(OOD)の一般化と敵の堅牢性の両方をカバーする包括的安全性評価スイートを紹介する。
論文参考訳（メタデータ） (2023-11-27T18:59:42Z)
DP-OPT: Make Large Language Model Your Privacy-Preserving Prompt Engineer [57.04801796205638]
大きな言語モデル(LLM)は、様々なタスクのための支配的なツールとして現れています。しかし、データプライバシに関する懸念は、調整されたプロンプトが機密情報に依存しているため、障害となる。本稿では,DP-OPT(Dis Differentially-Private Offsite Prompt Tuning)を提案する。
論文参考訳（メタデータ） (2023-11-27T02:01:10Z)
PrivLM-Bench: A Multi-level Privacy Evaluation Benchmark for Language Models [42.20437015301152]
言語モデル(LM)のプライバシー漏洩を評価するベンチマークであるPrivLM-Benchを提案する。 DPパラメータのみを報告するのではなく、PrivLM-Benchは実際の使用中に無視された推論データのプライバシに光を当てる。メインストリームLMのためのGLUEの3つのデータセットについて広範な実験を行った。
論文参考訳（メタデータ） (2023-11-07T14:55:52Z)
Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文参考訳（メタデータ） (2023-10-27T04:15:30Z)
Privacy Preserving Large Language Models: ChatGPT Case Study Based Vision and Framework [6.828884629694705]
本稿では,LLMのプライバシ生成モデルであるPrivChatGPTという概念モデルを提案する。 PrivChatGPTは、データキュレーション/前処理中にユーザのプライバシを保護し、プライベートコンテキストの保存と大規模データのプライベートトレーニングプロセスという2つの主要コンポーネントから構成される。
論文参考訳（メタデータ） (2023-10-19T06:55:13Z)
Can Language Models be Instructed to Protect Personal Information? [30.187731765653428]
シミュレーションシナリオにおいて、モデルが特定の個人情報のカテゴリを保護するように指示されたとき、プライバシ/ユーティリティトレードオフを評価するためのベンチマークであるPrivQAを紹介します。我々は,テキストや画像入力による単純なジェイルブレイク手法により,敵が容易にこれらの保護を回避できることを見出した。 PrivQAは、プライバシー保護を改善した新しいモデルの開発と、これらの保護の敵意的な堅牢性をサポートする可能性があると考えています。
論文参考訳（メタデータ） (2023-10-03T17:30:33Z)
SPAct: Self-supervised Privacy Preservation for Action Recognition [73.79886509500409]
アクション認識におけるプライバシー漏洩を緩和するための既存のアプローチは、ビデオデータセットのアクションラベルとともに、プライバシラベルを必要とする。自己教師付き学習(SSL)の最近の進歩は、未ラベルデータの未発見の可能性を解き放ちつつある。本稿では、プライバシーラベルを必要とせず、自己管理的な方法で、入力ビデオからプライバシー情報を除去する新しいトレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-03-29T02:56:40Z)
Privacy-Adaptive BERT for Natural Language Understanding [20.821155542969947]
BERTを用いたローカルプライバシ設定下でのNLUモデルの有効性向上について検討する。本稿では,プライバシ対応lmプリトレーニング手法を提案し,民営化テキスト入力におけるモデル性能を大幅に向上できることを実証する。
論文参考訳（メタデータ） (2021-04-15T15:01:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。