Fugu-MT 論文翻訳(概要): Reconstructing training data from document understanding models

論文の概要: Reconstructing training data from document understanding models

arxiv url: http://arxiv.org/abs/2406.03182v1
Date: Wed, 5 Jun 2024 12:13:18 GMT
ステータス: 処理完了
システム内更新日: 2024-06-06 18:40:12.646886
Title: Reconstructing training data from document understanding models
Title（参考訳）: 文書理解モデルからの学習データ再構成
Authors: Jérémie Dentan, Arnaud Paran, Aymen Shabou,
Abstract要約: 文書理解モデルは、機密文書を処理するために企業によってますます採用されている。本稿では,これらのモデルのトレーニングデータからセンシティブフィールドを抽出するために設計された最初の再構成攻撃について述べる。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Document understanding models are increasingly employed by companies to supplant humans in processing sensitive documents, such as invoices, tax notices, or even ID cards. However, the robustness of such models to privacy attacks remains vastly unexplored. This paper presents CDMI, the first reconstruction attack designed to extract sensitive fields from the training data of these models. We attack LayoutLM and BROS architectures, demonstrating that an adversary can perfectly reconstruct up to 4.1% of the fields of the documents used for fine-tuning, including some names, dates, and invoice amounts up to six-digit numbers. When our reconstruction attack is combined with a membership inference attack, our attack accuracy escalates to 22.5%. In addition, we introduce two new end-to-end metrics and evaluate our approach under various conditions: unimodal or bimodal data, LayoutLM or BROS backbones, four fine-tuning tasks, and two public datasets (FUNSD and SROIE). We also investigate the interplay between overfitting, predictive performance, and susceptibility to our attack. We conclude with a discussion on possible defenses against our attack and potential future research directions to construct robust document understanding models.
Abstract（参考訳）: 文書理解モデルは、請求書、税告知、さらにはIDカードなどの機密文書の処理において、人間の代わりとして企業によってますます採用されている。しかし、そのようなモデルのプライバシー攻撃に対する堅牢性は、いまだに明らかにされていない。本稿では,これらのモデルのトレーニングデータから感性フィールドを抽出するための最初の再構成攻撃CDMIを提案する。我々はLayoutLMとBROSアーキテクチャを攻撃し、敵が、いくつかの名前、日付、請求書を含む微調整に使われる文書の4.1%のフィールドを完全に再構築できることを実証した。再建攻撃とメンバシップ推論攻撃を組み合わせれば,攻撃精度は22.5%に向上する。さらに,2つの新しいエンドツーエンドメトリクスを導入し,非モーダルデータやバイモーダルデータ,LayoutLMあるいはBROSバックボーン,4つの微調整タスク,および2つの公開データセット(FUNSDとSROIE)を用いてアプローチを評価する。また, オーバーフィット, 予測性能, 攻撃に対する感受性の相互作用についても検討した。我々は、我々の攻撃に対する防御の可能性と、堅牢な文書理解モデルを構築するための今後の研究の方向性について、議論を締めくくった。

関連論文リスト

Explaining the Model, Protecting Your Data: Revealing and Mitigating the Data Privacy Risks of Post-Hoc Model Explanations via Membership Inference [26.596877194118278]
特徴帰属説明に基づく2つの新たなメンバーシップ推論攻撃を提案する。最適化された個人用微調整は、上記の攻撃の成功を著しく減少させることがわかった。
論文参考訳（メタデータ） (2024-07-24T22:16:37Z)
Privacy Re-identification Attacks on Tabular GANs [0.0]
生成モデルは過度に適合し、トレーニングデータから機密情報を漏洩させる可能性がある。合成データセット作成にGAN(Generative Adversarial Network)を用いることによって生じる可能性のあるプライバシーリスクについて検討する。
論文参考訳（メタデータ） (2024-03-31T14:14:00Z)
MisGUIDE : Defense Against Data-Free Deep Learning Model Extraction [0.8437187555622164]
MisGUIDE(ミスGUIDE)は、ディープラーニングモデルのための2段階の防御フレームワークである。提案手法の目的は,真正クエリの精度を維持しつつ,クローンモデルの精度を下げることである。
論文参考訳（メタデータ） (2024-03-27T13:59:21Z)
Avoid Adversarial Adaption in Federated Learning by Multi-Metric Investigations [55.2480439325792]
Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。 FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。 MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
論文参考訳（メタデータ） (2023-06-06T11:44:42Z)
A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
論文参考訳（メタデータ） (2022-06-17T02:29:23Z)
Reconstructing Training Data with Informed Adversaries [30.138217209991826]
機械学習モデルへのアクセスを考えると、敵はモデルのトレーニングデータを再構築できるだろうか? 本研究は、この疑問を、学習データポイントの全てを知っている強力な情報提供者のレンズから研究する。この厳密な脅威モデルにおいて、残りのデータポイントを再構築することは可能であることを示す。
論文参考訳（メタデータ） (2022-01-13T09:19:25Z)
ML-Doctor: Holistic Risk Assessment of Inference Attacks Against Machine Learning Models [64.03398193325572]
機械学習(ML)モデルに対する推論攻撃により、敵はトレーニングデータやモデルパラメータなどを学ぶことができる。私たちは、メンバシップ推論、モデル反転、属性推論、モデル盗難の4つの攻撃に集中しています。私たちの分析では、MLモデルオーナがモデルをデプロイするリスクを評価することができる、モジュール化された再使用可能なソフトウェアであるML-Doctorに依存しています。
論文参考訳（メタデータ） (2021-02-04T11:35:13Z)
Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
論文参考訳（メタデータ） (2020-10-08T16:20:48Z)
Sampling Attacks: Amplification of Membership Inference Attacks by Repeated Queries [74.59376038272661]
本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
論文参考訳（メタデータ） (2020-09-01T12:54:54Z)
Reliable evaluation of adversarial robustness with an ensemble of diverse parameter-free attacks [65.20660287833537]
本稿では,最適段差の大きさと目的関数の問題による障害を克服するPGD攻撃の2つの拡張を提案する。そして、我々の新しい攻撃と2つの補完的な既存の攻撃を組み合わせることで、パラメータフリーで、計算に手頃な価格で、ユーザに依存しない攻撃のアンサンブルを形成し、敵の堅牢性をテストする。
論文参考訳（メタデータ） (2020-03-03T18:15:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。