Fugu-MT 論文翻訳(概要): Privacy-Aware Visual Language Models

論文の概要: Privacy-Aware Visual Language Models

arxiv url: http://arxiv.org/abs/2405.17423v2
Date: Wed, 27 Nov 2024 13:39:01 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-02 15:17:42.284765
Title: Privacy-Aware Visual Language Models
Title（参考訳）: プライバシーに配慮したビジュアル言語モデル
Authors: Laurens Samson, Nimrod Barazani, Sennay Ghebreab, Yuki M. Asano,
Abstract要約: 本稿では,プライバシに敏感な情報を扱うVisual Language Modelの理解を深めることを目的としている。パスポートや指紋などの8つの機密カテゴリの画像を含む新しいベンチマークであるPrivBenchを導入する。このベンチマークで10の最先端のVLMを評価し、一般的にはプライバシの理解が限定されていることを観察し、モデル改善のための重要な領域を強調した。
参考スコア（独自算出の注目度）: 16.272314073324626
License:
Abstract: This paper aims to advance our understanding of how Visual Language Models (VLMs) handle privacy-sensitive information, a crucial concern as these technologies become integral to everyday life. To this end, we introduce a new benchmark PrivBench, which contains images from 8 sensitive categories such as passports, or fingerprints. We evaluate 10 state-of-the-art VLMs on this benchmark and observe a generally limited understanding of privacy, highlighting a significant area for model improvement. Based on this we introduce PrivTune, a new instruction-tuning dataset aimed at equipping VLMs with knowledge about visual privacy. By tuning two pretrained VLMs, TinyLLaVa and MiniGPT-v2, on this small dataset, we achieve strong gains in their ability to recognize sensitive content, outperforming even GPT4-V. At the same time, we show that privacy-tuning only minimally affects the VLMs performance on standard benchmarks such as VQA. Overall, this paper lays out a crucial challenge for making VLMs effective in handling real-world data safely and provides a simple recipe that takes the first step towards building privacy-aware VLMs.
Abstract（参考訳）: 本稿では,視覚言語モデル(VLM)がプライバシに敏感な情報をどう扱うかという理解を深めることを目的としている。この目的のために,パスポートや指紋などの8つのセンシティブなカテゴリの画像を含む新しいベンチマークPrivBenchを導入する。このベンチマークで10の最先端のVLMを評価し、一般的にはプライバシの理解が限定されていることを観察し、モデル改善のための重要な領域を強調した。これに基づいて、視覚的プライバシに関する知識を備えたVLMの装備を目的とした、新しいインストラクションチューニングデータセットであるPrivTuneを紹介します。トレーニング済みの2つのVLM(TinyLLaVaとMiniGPT-v2)をこの小さなデータセットでチューニングすることで、感度の高いコンテンツを認識する能力が向上し、GPT4-Vよりも優れています。同時に、プライバシチューニングはVQAなどの標準ベンチマーク上でのVLMのパフォーマンスに最小限の影響しか与えないことを示す。本稿では,VLMを現実のデータを安全に扱えるようにするための重要な課題を概説し,プライバシを意識したVLM構築に向けた第一歩を踏み出すための簡単なレシピを提供する。

関連論文リスト

On Active Privacy Auditing in Supervised Fine-tuning for White-Box Language Models [7.275432177367344]
パーシングは、言語モデル(LM)の教師付き微調整中にプライバシー漏洩リスクを特定し定量化するように設計されている。我々は,GPT-2,Llama2などの大規模LMに対するMIA(White-box Membering Inference attack)の有効性を改善した。本研究の目的は,LMのSFTコミュニティに対して,信頼性と使用可能なプライバシ監査ツールの提供と,微調整プロセス中のプライバシ保護に関する貴重な洞察を提供することである。
論文参考訳（メタデータ） (2024-11-11T15:46:07Z)
Benchmarking Vision Language Model Unlearning via Fictitious Facial Identity Dataset [94.13848736705575]
我々は、未学習アルゴリズムの有効性を頑健に評価するために設計された新しいVLMアンラーニングベンチマークであるFacial Identity Unlearning Benchmark (FIUBench)を紹介する。情報ソースとその露出レベルを正確に制御する2段階評価パイプラインを適用した。 FIUBench 内の 4 つのベースライン VLM アンラーニングアルゴリズムの評価により,すべての手法がアンラーニング性能に制限されていることが明らかとなった。
論文参考訳（メタデータ） (2024-11-05T23:26:10Z)
PV-VTT: A Privacy-Centric Dataset for Mission-Specific Anomaly Detection and Natural Language Interpretation [5.0923114224599555]
プライバシー侵害の特定を目的とした,ユニークなマルチモーダルデータセットであるPV-VTT(Privacy Violation Video To Text)を提案する。 PV-VTTは、シナリオ内のビデオとテキストの両方に詳細なアノテーションを提供する。このプライバシー重視のアプローチにより、研究者はこのデータセットを、保護された機密性を保護しながら使用することができる。
論文参考訳（メタデータ） (2024-10-30T01:02:20Z)
PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。 GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
論文参考訳（メタデータ） (2024-08-29T17:58:38Z)
The Phantom Menace: Unmasking Privacy Leakages in Vision-Language Models [31.166994121531232]
VLM(Vision-Language Models)は視覚とテキストの理解を統合し、様々なタスクに適している。これらの機能は、Webからクロールされた大量の未処理データのトレーニングに基づいて構築される。本稿では,これらの脆弱性が存在するかどうかを,ID漏洩に着目して評価する。
論文参考訳（メタデータ） (2024-08-02T12:36:13Z)
Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
論文参考訳（メタデータ） (2024-06-20T13:54:32Z)
PIN: Positional Insert Unlocks Object Localisation Abilities in VLMs [55.8550939439138]
VLM(Vision-Language Models)は、大きな言語モデルと視覚システムを統合することで、大きな可能性を秘めている。これらのモデルは、主にキャプションを含むマルチモーダルデータに対するトレーニングのため、オブジェクトローカライゼーションの基本的なコンピュータビジョンタスクにおいて課題に直面している。本稿では,空間的プロンプトであるPIN(Input-Agnostic Positional Insert)を導入する。我々のPINモジュールは、新しい出力ヘッドを必要とせずに、合成データに対する単純な次トーケン予測タスクで訓練されている。
論文参考訳（メタデータ） (2024-02-13T18:39:18Z)
PrivLM-Bench: A Multi-level Privacy Evaluation Benchmark for Language Models [42.20437015301152]
言語モデル(LM)のプライバシー漏洩を評価するベンチマークであるPrivLM-Benchを提案する。 DPパラメータのみを報告するのではなく、PrivLM-Benchは実際の使用中に無視された推論データのプライバシに光を当てる。メインストリームLMのためのGLUEの3つのデータセットについて広範な実験を行った。
論文参考訳（メタデータ） (2023-11-07T14:55:52Z)
Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文参考訳（メタデータ） (2023-10-27T04:15:30Z)
PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文参考訳（メタデータ） (2023-10-03T22:37:01Z)
Privacy-Adaptive BERT for Natural Language Understanding [20.821155542969947]
BERTを用いたローカルプライバシ設定下でのNLUモデルの有効性向上について検討する。本稿では,プライバシ対応lmプリトレーニング手法を提案し,民営化テキスト入力におけるモデル性能を大幅に向上できることを実証する。
論文参考訳（メタデータ） (2021-04-15T15:01:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。