論文の概要: QueryForm: A Simple Zero-shot Form Entity Query Framework

• arxiv url: http://arxiv.org/abs/2211.07730v2
• Date: Wed, 28 Jun 2023 00:48:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-29 18:30:25.278037
• Title: QueryForm: A Simple Zero-shot Form Entity Query Framework
• Title（参考訳）: QueryForm: シンプルなゼロショットフォーム Entity Query Framework
• Authors: Zifeng Wang, Zizhao Zhang, Jacob Devlin, Chen-Yu Lee, Guolong Su, Hao Zhang, Jennifer Dy, Vincent Perot, Tomas Pfister
• Abstract要約: 本稿では,0ショット方式でフォームライクなドキュメントからエンティティ値を抽出する新しいクエリベースのフレームワークQueryFormを提案する。 本稿では,HTML アノテーションの弱いフォーム型 Web ページから生成された大規模クエリ-エンタリティペアを利用して,QueryForm を事前学習する手法を提案する。
• 参考スコア（独自算出の注目度）: 35.255931326696114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot transfer learning for document understanding is a crucial yet under-investigated scenario to help reduce the high cost involved in annotating document entities. We present a novel query-based framework, QueryForm, that extracts entity values from form-like documents in a zero-shot fashion. QueryForm contains a dual prompting mechanism that composes both the document schema and a specific entity type into a query, which is used to prompt a Transformer model to perform a single entity extraction task. Furthermore, we propose to leverage large-scale query-entity pairs generated from form-like webpages with weak HTML annotations to pre-train QueryForm. By unifying pre-training and fine-tuning into the same query-based framework, QueryForm enables models to learn from structured documents containing various entities and layouts, leading to better generalization to target document types without the need for target-specific training data. QueryForm sets new state-of-the-art average F1 score on both the XFUND (+4.6%~10.1%) and the Payment (+3.2%~9.5%) zero-shot benchmark, with a smaller model size and no additional image input.
• Abstract（参考訳）: 文書理解のためのゼロショット転送学習は、文書エンティティのアノテートにかかわる高コスト化を支援するために不可欠だが、未検討のシナリオである。 本稿では,0ショット方式でフォームライクなドキュメントからエンティティ値を抽出する新しいクエリベースのフレームワークQueryFormを提案する。 queryformには、ドキュメントスキーマと特定のエンティティタイプの両方をクエリに構成するデュアルプロンプトメカニズムが含まれており、トランスフォーマーモデルに単一のエンティティ抽出タスクを実行するように促すために使用される。 さらに,HTML アノテーションの弱いフォーム風の Web ページから生成された大規模クエリエンタリティペアを,事前学習型 QueryForm に活用することを提案する。 事前トレーニングと微調整を同じクエリベースのフレームワークに統合することにより、queryformでは、さまざまなエンティティやレイアウトを含む構造化ドキュメントからモデルが学習できるようになる。 QueryForm は XFUND (+4.6%~10.1%) と Payment (+3.2%~9.5%) のゼロショットベンチマークの両方に新しい最先端の平均 F1 スコアをセットする。

関連論文リスト

• Multi-Field Adaptive Retrieval [39.38972160512916]
  MFAR(Multi-Field Adaptive Retrieval)は、構造化データ上の任意の文書インデックスに対応するフレキシブルなフレームワークである。 本フレームワークは,(1) 既存の文書のフィールドへの分解,(2) 文書クエリの条件付けによるフィールドの重要性を適応的に予測するモデル学習,という2つのステップから構成される。 提案手法により,フィールドタイプ間での濃密表現と語彙表現の最適化が実現され,既存の検索者よりも文書のランク付けが大幅に向上し,マルチフィールド構造における最先端の性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-10-26T03:07:22Z)
• Database-Augmented Query Representation for Information Retrieval [59.57065228857247]
  データベース拡張クエリ表現(DAQu)と呼ばれる新しい検索フレームワークを提案する。 DAQuは、元のクエリを複数のテーブルにまたがるさまざまな(クエリ関連の)メタデータで拡張する。 リレーショナルデータベースのメタデータを組み込む様々な検索シナリオにおいてDAQuを検証する。
  論文  参考訳（メタデータ） (2024-06-23T05:02:21Z)
• SRFUND: A Multi-Granularity Hierarchical Structure Reconstruction Benchmark in Form Understanding [55.48936731641802]
  階層的に構造化されたマルチタスク形式理解ベンチマークであるSRFUNDを提案する。 SRFUNDはオリジナルのFUNSDとXFUNDデータセットの上に洗練されたアノテーションを提供する。 データセットには、英語、中国語、日本語、ドイツ語、フランス語、スペイン語、イタリア語、ポルトガル語を含む8つの言語が含まれている。
  論文  参考訳（メタデータ） (2024-06-13T02:35:55Z)
• IncDSI: Incrementally Updatable Document Retrieval [35.5697863674097]
  IncDSIは、データセット全体のモデルをトレーニングすることなく、リアルタイムでドキュメントを追加する方法である。 我々は、制約付き最適化問題として文書の追加を定式化し、ネットワークパラメータの変更を最小限に抑える。 私たちのアプローチは、データセット全体のモデルの再トレーニングと競合しています。
  論文  参考訳（メタデータ） (2023-07-19T07:20:30Z)
• Doc2SoarGraph: Discrete Reasoning over Visually-Rich Table-Text Documents via Semantic-Oriented Hierarchical Graphs [79.0426838808629]
  視覚的にリッチなテーブルテキスト文書に答えるTAT-DQAを提案する。 具体的には、離散推論機能を強化した新しいDoc2SoarGraphフレームワークを提案する。 我々は,TAT-DQAデータセットに関する広範な実験を行い,提案したフレームワークは,テストセット上でのエクサクティマッチ(EM)とF1スコアでそれぞれ17.73%,F1スコアで16.91%の最高のベースラインモデルを上回る結果を得た。
  論文  参考訳（メタデータ） (2023-05-03T07:30:32Z)
• CAPSTONE: Curriculum Sampling for Dense Retrieval with Document Expansion [68.19934563919192]
  本稿では,学習中に擬似クエリを利用して,生成したクエリと実際のクエリとの関係を徐々に向上させるカリキュラムサンプリング戦略を提案する。 ドメイン内およびドメイン外両方のデータセットに対する実験結果から,本手法が従来の高密度検索モデルより優れていることが示された。
  論文  参考訳（メタデータ） (2022-12-18T15:57:46Z)
• Value Retrieval with Arbitrary Queries for Form-like Documents [50.5532781148902]
  フォーム状文書に対する任意のクエリを用いた値検索を提案する。 本手法は,フォームのレイアウトやセマンティクスの理解に基づいて,任意のクエリのターゲット値を予測する。 本稿では,大規模モデル事前学習における文書理解を改善するためのシンプルな文書言語モデリング (simpleDLM) 戦略を提案する。
  論文  参考訳（メタデータ） (2021-12-15T01:12:02Z)
• Text Classification Models for Form Entity Linking [0.0]
  本研究では,画像処理技術とBERTアーキテクチャに基づくテキスト分類モデルを組み合わせることで,エンティティリンクの問題に対処した。 このアプローチは、FUNSDデータセット上でF1スコアの0.80で最先端の結果を達成する。
  論文  参考訳（メタデータ） (2021-12-14T14:59:44Z)
• Message Passing Query Embedding [4.035753155957698]
  本稿では,クエリのグラフ表現を符号化するグラフニューラルネットワークを提案する。 モデルは、明示的な監督なしにエンティティタイプの概念を捉えたエンティティ埋め込みを学習することを示します。
  論文  参考訳（メタデータ） (2020-02-06T17:40:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。