Fugu-MT 論文翻訳(概要): Federated Document Visual Question Answering: A Pilot Study

論文の概要: Federated Document Visual Question Answering: A Pilot Study

arxiv url: http://arxiv.org/abs/2405.06636v2
Date: Wed, 22 May 2024 11:01:22 GMT
ステータス: 処理完了
システム内更新日: 2024-05-25 05:01:27.321857
Title: Federated Document Visual Question Answering: A Pilot Study
Title（参考訳）: Federated Document Visual Question Answering: パイロットスタディ
Authors: Khanh Nguyen, Dimosthenis Karatzas,
Abstract要約: 文書は著作権や私的な情報を含む傾向があり、公開を禁止している。本研究では,分散化されたプライベートドキュメントデータに基づく共有モデルの学習方法として,フェデレーション付き学習スキームの利用について検討する。我々は,さまざまなDocVQAデータセットを用いたフェデレーショントレーニングにおいて,事前学習戦略が効果的に学習し,スケールアップ可能であることを示す。
参考スコア（独自算出の注目度）: 11.157766332838877
License: http://creativecommons.org/licenses/by/4.0/
Abstract: An important handicap of document analysis research is that documents tend to be copyrighted or contain private information, which prohibits their open publication and the creation of centralised, large-scale document datasets. Instead, documents are scattered in private data silos, making extensive training over heterogeneous data a tedious task. In this work, we explore the use of a federated learning (FL) scheme as a way to train a shared model on decentralised private document data. We focus on the problem of Document VQA, a task particularly suited to this approach, as the type of reasoning capabilities required from the model can be quite different in diverse domains. Enabling training over heterogeneous document datasets can thus substantially enrich DocVQA models. We assemble existing DocVQA datasets from diverse domains to reflect the data heterogeneity in real-world applications. We explore the self-pretraining technique in this multi-modal setting, where the same data is used for both pretraining and finetuning, making it relevant for privacy preservation. We further propose combining self-pretraining with a Federated DocVQA training method using centralized adaptive optimization that outperforms the FedAvg baseline. With extensive experiments, we also present a multi-faceted analysis on training DocVQA models with FL, which provides insights for future research on this task. We show that our pretraining strategies can effectively learn and scale up under federated training with diverse DocVQA datasets and tuning hyperparameters is essential for practical document tasks under federation.
Abstract（参考訳）: 文書分析研究の重要な利点は、文書は著作権や私的な情報を含む傾向にあり、公開を禁止し、大規模な文書データセットを集中的に作成することである。その代わりに、ドキュメントはプライベートデータサイロに分散され、異種データに対する広範なトレーニングが面倒な作業になる。本研究では,分散化されたプライベート文書データ上での共有モデルの学習方法として,FL(Federated Learning)スキームの利用について検討する。このアプローチに特に適したタスクであるDocument VQAの問題に注目する。異種文書データセットによるトレーニングはDocVQAモデルを大幅に強化することができる。既存のDocVQAデータセットをさまざまなドメインから収集し、実世界のアプリケーションにおけるデータの均一性を反映する。このマルチモーダル環境では、事前トレーニングと微調整の両方に同じデータが使用され、プライバシー保護に関係している。さらに,FedAvgベースラインを上回る集中型適応最適化を用いて,自己事前学習とFederated DocVQAトレーニングの併用を提案する。広範に実験を行った結果,FLを用いたDocVQAモデルの学習における多面的解析結果が得られた。我々は,さまざまなDocVQAデータセットを用いたフェデレーショントレーニングにおいて,事前学習戦略が効果的に学習し,スケールアップできることを示し,ハイパーパラメータをチューニングすることが,フェデレーション下の実用的な文書タスクに不可欠であることを示す。

関連論文リスト

Generative Retrieval Meets Multi-Graded Relevance [104.75244721442756]
GRADed Generative Retrieval (GR$2$)というフレームワークを紹介します。 GR$2$は2つの重要なコンポーネントに焦点を当てている。マルチグレードとバイナリの関連性を持つデータセットの実験は,GR$2$の有効性を示した。
論文参考訳（メタデータ） (2024-09-27T02:55:53Z)
Privacy-Aware Document Visual Question Answering [44.82362488593259]
この研究はDocVQAで使用されるマルチモーダルLLMモデルの現状におけるプライバシー問題を強調している。本稿では,請求書と関連する質問と回答を含む大規模DocVQAデータセットを提案する。プライベートでないモデルは記憶に残る傾向があり、プライベートな情報が露出する可能性があることを実証する。
論文参考訳（メタデータ） (2023-12-15T06:30:55Z)
On Task-personalized Multimodal Few-shot Learning for Visually-rich Document Entity Retrieval [59.25292920967197]
VDER(Few-shot document entity search)は、NLPアプリケーションにおいて重要なトピックである。 FewVEXは、エンティティレベルの少数ショットVDERの分野における将来の研究を促進するための、新しいデータセットである。本稿では,タスクパーソナライズを効果的に実現することを中心に,タスク認識型メタラーニングベースのフレームワークを提案する。
論文参考訳（メタデータ） (2023-11-01T17:51:43Z)
DocumentNet: Bridging the Data Gap in Document Pre-Training [78.01647768018485]
本稿では,Webから大規模かつ弱いラベル付きデータを収集し,VDERモデルの学習に役立てる手法を提案する。収集されたデータセットはDocumentNetと呼ばれ、特定のドキュメントタイプやエンティティセットに依存しない。広く採用されているVDERタスクの実験は、DocumentNetを事前トレーニングに組み込んだ場合、大幅に改善されている。
論文参考訳（メタデータ） (2023-06-15T08:21:15Z)
Peek Across: Improving Multi-Document Modeling via Cross-Document Question-Answering [49.85790367128085]
我々は,事前学習対象に答える新しいクロスドキュメント質問から,汎用的なマルチドキュメントモデルを事前学習する。この新規なマルチドキュメントQA定式化は、クロステキスト情報関係をよりよく回復させるようモデルに指示する。分類タスクや要約タスクに焦点を当てた従来のマルチドキュメントモデルとは異なり、事前学習対象の定式化により、短いテキスト生成と長いテキスト生成の両方を含むタスクを実行できる。
論文参考訳（メタデータ） (2023-05-24T17:48:40Z)
Multi-Document Summarization with Centroid-Based Pretraining [35.8335939654861]
Multi-Document Summarization (MDS)では、入力は文書の集合としてモデル化することができ、出力はその要約である。本稿では,各ドキュメントクラスタのROUGEベースのセントロイドを,その要約のプロキシとして選択する,新たな事前学習目標を提案する。したがって、本研究の目的は、人による要約を必要とせず、文書集合のみからなるデータセットの事前学習に利用することができる。
論文参考訳（メタデータ） (2022-08-01T17:28:02Z)
Unified Pretraining Framework for Document Understanding [52.224359498792836]
文書理解のための統合事前学習フレームワークであるUDocを紹介する。 UDocは、ほとんどのドキュメント理解タスクをサポートするように設計されており、Transformerを拡張してマルチモーダル埋め込みを入力とする。 UDocの重要な特徴は、3つの自己管理的損失を利用して汎用的な表現を学ぶことである。
論文参考訳（メタデータ） (2022-04-22T21:47:04Z)
Variational Learning for Unsupervised Knowledge Grounded Dialogs [6.761874595503588]
知識基底ダイアログの最近の手法は,外部文書からの情報を取り入れて応答を生成する。我々は上記の手法に対する変分的アプローチを開発し、代わりにエビデンスローバウンド(ELBO)を最大化する。我々の知識を最大限に活用するために、我々は、オープンスケールの教師なし知識ベースダイアログシステムに変分訓練を適用した最初の人物である。
論文参考訳（メタデータ） (2021-11-23T13:41:03Z)
WSL-DS: Weakly Supervised Learning with Distant Supervision for Query Focused Multi-Document Abstractive Summarization [16.048329028104643]
Query Focused Multi-Document Summarization (QF-MDS)タスクでは、ドキュメントのセットとクエリが与えられ、そこでこれらのドキュメントから要約を生成する。このタスクの大きな課題のひとつは、ラベル付きトレーニングデータセットの可用性の欠如である。本稿では,遠隔指導による弱教師付き学習手法を提案する。
論文参考訳（メタデータ） (2020-11-03T02:02:55Z)
SciREX: A Challenge Dataset for Document-Level Information Extraction [56.83748634747753]
ドキュメントレベルで大規模な情報抽出データセットを作成するのは難しい。複数のIEタスクを含む文書レベルのIEデータセットであるSciREXを紹介する。我々は、従来の最先端のIEモデルをドキュメントレベルのIEに拡張する強力なベースラインとして、ニューラルモデルを開発する。
論文参考訳（メタデータ） (2020-05-01T17:30:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。