論文の概要: Extracting Training Data from Document-Based VQA Models

• arxiv url: http://arxiv.org/abs/2407.08707v1
• Date: Thu, 11 Jul 2024 17:44:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 16:21:02.588299
• Title: Extracting Training Data from Document-Based VQA Models
• Title（参考訳）: 文書ベースVQAモデルからトレーニングデータを抽出する
• Authors: Francesco Pinto, Nathalie Rauschmayr, Florian Tramèr, Philip Torr, Federico Tombari,
• Abstract要約: VLM(Vision-Language Models)は、文書ベースの視覚質問回答において顕著な進歩を遂げている(つまり、画像として提供される入力文書の内容に関する問い合わせに応答する)。 これらのモデルでは、関連する視覚情報が削除された場合でも、トレーニングサンプルに対する応答を記憶し、それらをリグルジタイズすることができる。 これには、トレーニングセットで繰り返し繰り返されるパーソナライズ可能な情報が含まれており、これらのモデルが機密情報を漏らし、したがってプライバシーリスクを引き起こす可能性があることを示している。
• 参考スコア（独自算出の注目度）: 67.1470112451617
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language Models (VLMs) have made remarkable progress in document-based Visual Question Answering (i.e., responding to queries about the contents of an input document provided as an image). In this work, we show these models can memorize responses for training samples and regurgitate them even when the relevant visual information has been removed. This includes Personal Identifiable Information (PII) repeated once in the training set, indicating these models could divulge memorised sensitive information and therefore pose a privacy risk. We quantitatively measure the extractability of information in controlled experiments and differentiate between cases where it arises from generalization capabilities or from memorization. We further investigate the factors that influence memorization across multiple state-of-the-art models and propose an effective heuristic countermeasure that empirically prevents the extractability of PII.
• Abstract（参考訳）: VLM(Vision-Language Models)は、文書ベースのビジュアル質問回答(画像として提供される入力文書の内容に関する問い合わせに応答する)において顕著な進歩を遂げている。 そこで本研究では,これらのモデルを用いて,学習サンプルに対する応答を記憶し,関連する視覚情報が削除された場合でも再学習することができることを示す。 これには、トレーニングセットで一度繰り返すPersonal Identible Information (PII)が含まれており、これらのモデルが記憶された機密情報を漏らし、したがってプライバシーリスクを引き起こす可能性があることを示している。 制御実験における情報の抽出可能性を定量的に測定し、一般化能力や記憶から生じる事例を区別する。 さらに、複数の最先端モデルの記憶に影響を与える要因について検討し、PIIの抽出性を実証的に防止する効果的なヒューリスティック対策を提案する。

関連論文リスト

• Extracting Training Data from Unconditional Diffusion Models [76.85077961718875]
  拡散確率モデル(DPM)は、生成人工知能(AI)の主流モデルとして採用されている。 本研究の目的は,1) 理論解析のための記憶量,2) 情報ラベルとランダムラベルを用いた条件記憶量,3) 記憶量測定のための2つのより良い評価指標を用いて,DPMにおける記憶量の理論的理解を確立することである。 提案手法は,理論解析に基づいて,SIDE (textbfSurrogate condItional Data extract) と呼ばれる新しいデータ抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T16:20:12Z)
• Enhancing Large Vision Language Models with Self-Training on Image Comprehension [131.14381425260706]
  本稿では、画像理解に特化して自己学習アプローチを強調する自己学習 on Image (STIC)を紹介する。 まず、ラベルのない画像を用いて、画像記述の好みを自己構築する。 抽出した視覚情報に対する推論をさらに自己改善するため,既存の命令調整データのごく一部をモデルに再利用する。
  論文  参考訳（メタデータ） (2024-05-30T05:53:49Z)
• Deep Variational Privacy Funnel: General Modeling with Applications in Face Recognition [3.351714665243138]
  エンド・ツー・エンド・トレーニング・フレームワークを用いたプライバシー保護表現学習手法を開発した。 我々はこのモデルを最先端の顔認識システムに適用する。
  論文  参考訳（メタデータ） (2024-01-26T11:32:53Z)
• Revisiting Self-supervised Learning of Speech Representation from a Mutual Information Perspective [68.20531518525273]
  我々は、情報理論の観点から、既存の自己教師型音声の手法を詳しく検討する。 我々は線形プローブを用いて、対象情報と学習された表現の間の相互情報を推定する。 我々は、ラベルを使わずに、データの異なる部分間の相互情報を見積もる自己教師型の表現を評価する可能性を探る。
  論文  参考訳（メタデータ） (2024-01-16T21:13:22Z)
• SoK: Memorisation in machine learning [5.563171090433323]
  個々のデータサンプルが機械学習モデルに与える影響を定量化することは、オープンな研究課題である。 本研究は,MLにおける暗記に関するこれまでの定義と視点を幅広く統合するものである。 モデル一般化との相互作用と,これらの現象がデータプライバシに与える影響について論じる。
  論文  参考訳（メタデータ） (2023-11-06T12:59:18Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• Can Pre-trained Vision and Language Models Answer Visual Information-Seeking Questions? [50.29862466940209]
  情報検索に適した視覚的質問応答データセットであるInfoSeekを紹介する。 事前学習した様々な視覚的質問応答モデルを分析し,その特徴について考察する。 関連文書を検索することでInfoSeekの性能を向上させるために,正確な視覚的実体認識が利用できることを示す。
  論文  参考訳（メタデータ） (2023-02-23T00:33:54Z)
• Leveraging Adversarial Examples to Quantify Membership Information Leakage [30.55736840515317]
  パターン認識モデルにおけるメンバシップ推論の問題に対処する新しいアプローチを開発する。 この量はトレーニングデータに属する可能性を反映していると我々は主張する。 我々の手法は、最先端の戦略に匹敵する、あるいは上回る性能を発揮する。
  論文  参考訳（メタデータ） (2022-03-17T19:09:38Z)
• Reducing Overlearning through Disentangled Representations by Suppressing Unknown Tasks [8.517620051440005]
  視覚的特徴を学習するための既存のディープラーニングアプローチは、手元にあるタスクに必要なものよりも、過剰に学習し、より多くの情報を抽出する傾向がある。 プライバシー保護の観点からは、入力された視覚情報はモデルから保護されない。 未知のタスクを全て抑制することで、モデルオーバーラーニングを減らすためのモデル非依存のソリューションを提案する。
  論文  参考訳（メタデータ） (2020-05-20T17:31:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。