論文の概要: Privacy-Aware Document Visual Question Answering

• arxiv url: http://arxiv.org/abs/2312.10108v2
• Date: Mon, 2 Sep 2024 17:00:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-04 21:42:39.347417
• Title: Privacy-Aware Document Visual Question Answering
• Title（参考訳）: プライバシを意識したビジュアル質問応答
• Authors: Rubèn Tito, Khanh Nguyen, Marlon Tobaben, Raouf Kerkouche, Mohamed Ali Souibgui, Kangsoo Jung, Joonas Jälkö, Vincent Poulain D'Andecy, Aurelie Joseph, Lei Kang, Ernest Valveny, Antti Honkela, Mario Fritz, Dimosthenis Karatzas,
• Abstract要約: この研究はDocVQAで使用されるマルチモーダルLLMモデルの現状におけるプライバシー問題を強調している。 本稿では,請求書と関連する質問と回答を含む大規模DocVQAデータセットを提案する。 プライベートでないモデルは記憶に残る傾向があり、プライベートな情報が露出する可能性があることを実証する。
• 参考スコア（独自算出の注目度）: 44.82362488593259
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Document Visual Question Answering (DocVQA) has quickly grown into a central task of document understanding. But despite the fact that documents contain sensitive or copyrighted information, none of the current DocVQA methods offers strong privacy guarantees. In this work, we explore privacy in the domain of DocVQA for the first time, highlighting privacy issues in state of the art multi-modal LLM models used for DocVQA, and explore possible solutions. Specifically, we focus on invoice processing as a realistic document understanding scenario, and propose a large scale DocVQA dataset comprising invoice documents and associated questions and answers. We employ a federated learning scheme, that reflects the real-life distribution of documents in different businesses, and we explore the use case where the data of the invoice provider is the sensitive information to be protected. We demonstrate that non-private models tend to memorise, a behaviour that can lead to exposing private information. We then evaluate baseline training schemes employing federated learning and differential privacy in this multi-modal scenario, where the sensitive information might be exposed through either or both of the two input modalities: vision (document image) or language (OCR tokens). Finally, we design attacks exploiting the memorisation effect of the model, and demonstrate their effectiveness in probing a representative DocVQA models.
• Abstract（参考訳）: Document Visual Question Answering (DocVQA)は、文書理解の中心的なタスクへと急速に成長してきた。 しかし、文書には機密情報や著作権情報が含まれているにもかかわらず、現在のDocVQAの方法はいずれも強力なプライバシー保証を提供していない。 本研究では、DocVQAの領域におけるプライバシを初めて探求し、DocVQAに使用される最先端のマルチモーダルLCMモデルのプライバシ問題を強調し、可能なソリューションを探る。 具体的には,インボイス処理を現実的な文書理解シナリオとして重視し,インボイス文書と関連する質問や回答からなる大規模DocVQAデータセットを提案する。 我々は,異なるビジネスにおける文書のリアルタイム配信を反映したフェデレーション学習方式を採用し,請求書提供者のデータが保護すべき機密情報である場合について検討する。 プライベートでないモデルは記憶に残る傾向があり、プライベートな情報が露出する可能性があることを実証する。 この多モードシナリオでは,視覚(文書画像)と言語(OCRトークン)という2つの入力モダリティのいずれかによって,センシティブな情報が露出する可能性がある。 最後に,モデルの記憶効果を利用した攻撃を設計し,DocVQAモデルを探索する上での有効性を実証する。

関連論文リスト

• DocMIA: Document-Level Membership Inference Attacks against DocVQA Models [52.13818827581981]
  DocVQAモデルに特化された2つの新しいメンバーシップ推論攻撃を導入する。 提案手法は,さまざまなDocVQAモデルやデータセットに対して,既存の最先端メンバシップ推論よりも優れている。
  論文  参考訳（メタデータ） (2025-02-06T00:58:21Z)
• BoundingDocs: a Unified Dataset for Document Question Answering with Spatial Annotations [2.9798896492745537]
  文書質問回答(QA)のための統合データセットを提案する。 情報抽出(IE)などの既存の文書AIタスクを質問応答タスクに再構成する。 一方、全文書のOCRを公開し、文書画像中の回答の正確な位置をバウンディングボックスとして含む。
  論文  参考訳（メタデータ） (2025-01-06T21:46:22Z)
• DocKD: Knowledge Distillation from LLMs for Open-World Document Understanding Models [66.91204604417912]
  本研究の目的は,LLMの知識を蒸留することにより,小型VDUモデルの一般化性を高めることである。 我々は、外部文書知識を統合することでデータ生成プロセスを強化する新しいフレームワーク(DocKD)を提案する。 実験の結果,DocKDは高品質な文書アノテーションを生成し,直接知識蒸留手法を超越していることがわかった。
  論文  参考訳（メタデータ） (2024-10-04T00:53:32Z)
• Extracting Training Data from Document-Based VQA Models [67.1470112451617]
  VLM(Vision-Language Models)は、文書ベースの視覚質問回答において顕著な進歩を遂げている(つまり、画像として提供される入力文書の内容に関する問い合わせに応答する)。 これらのモデルでは、関連する視覚情報が削除された場合でも、トレーニングサンプルに対する応答を記憶し、それらをリグルジタイズすることができる。 これには、トレーニングセットで繰り返し繰り返されるパーソナライズ可能な情報が含まれており、これらのモデルが機密情報を漏らし、したがってプライバシーリスクを引き起こす可能性があることを示している。
  論文  参考訳（メタデータ） (2024-07-11T17:44:41Z)
• Federated Document Visual Question Answering: A Pilot Study [11.157766332838877]
  文書は著作権や私的な情報を含む傾向があり、公開を禁止している。 本研究では,分散化されたプライベートドキュメントデータに基づく共有モデルの学習方法として,フェデレーション付き学習スキームの利用について検討する。 我々は,さまざまなDocVQAデータセットを用いたフェデレーショントレーニングにおいて,事前学習戦略が効果的に学習し,スケールアップ可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-10T17:53:05Z)
• BuDDIE: A Business Document Dataset for Multi-task Information Extraction [18.440587946049845]
  BuDDIEは、1,665の現実世界のビジネスドキュメントのマルチタスクデータセットである。 当社のデータセットは、米国政府のウェブサイトから公開されているビジネスエンティティドキュメントで構成されています。
  論文  参考訳（メタデータ） (2024-04-05T10:26:42Z)
• Unifying Vision, Text, and Layout for Universal Document Processing [105.36490575974028]
  本稿では,テキスト,画像,レイアウトのモダリティを文書理解と生成を含むさまざまなタスク形式とともに統合するドキュメントAIモデルを提案する。 我々の手法は、財務報告、学術論文、ウェブサイトなど、さまざまなデータ領域にまたがって、文書理解やQAといった9つのドキュメントAIタスクの最先端を定めている。
  論文  参考訳（メタデータ） (2022-12-05T22:14:49Z)
• Unified Pretraining Framework for Document Understanding [52.224359498792836]
  文書理解のための統合事前学習フレームワークであるUDocを紹介する。 UDocは、ほとんどのドキュメント理解タスクをサポートするように設計されており、Transformerを拡張してマルチモーダル埋め込みを入力とする。 UDocの重要な特徴は、3つの自己管理的損失を利用して汎用的な表現を学ぶことである。
  論文  参考訳（メタデータ） (2022-04-22T21:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。