論文の概要: HDT: Hierarchical Document Transformer

• arxiv url: http://arxiv.org/abs/2407.08330v1
• Date: Thu, 11 Jul 2024 09:28:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 18:09:27.571237
• Title: HDT: Hierarchical Document Transformer
• Title（参考訳）: HDT:階層型ドキュメント変換器
• Authors: Haoyu He, Markus Flicke, Jan Buchmann, Iryna Gurevych, Andreas Geiger,
• Abstract要約: HDTは補助的なアンカートークンを導入し、アテンション機構をスパースなマルチレベル階層に再設計することでドキュメント構造を利用する。 文書の階層構造を考慮した新しいスパークアテンションカーネルを開発した。
• 参考スコア（独自算出の注目度）: 70.2271469410557
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose the Hierarchical Document Transformer (HDT), a novel sparse Transformer architecture tailored for structured hierarchical documents. Such documents are extremely important in numerous domains, including science, law or medicine. However, most existing solutions are inefficient and fail to make use of the structure inherent to documents. HDT exploits document structure by introducing auxiliary anchor tokens and redesigning the attention mechanism into a sparse multi-level hierarchy. This approach facilitates information exchange between tokens at different levels while maintaining sparsity, thereby enhancing computational and memory efficiency while exploiting the document structure as an inductive bias. We address the technical challenge of implementing HDT's sample-dependent hierarchical attention pattern by developing a novel sparse attention kernel that considers the hierarchical structure of documents. As demonstrated by our experiments, utilizing structural information present in documents leads to faster convergence, higher sample efficiency and better performance on downstream tasks.
• Abstract（参考訳）: 本稿では,階層型文書に適した新しいスパース変換器アーキテクチャである階層型文書変換器(HDT)を提案する。 このような文書は、科学、法学、医学など多くの分野において極めて重要である。 しかし、既存の解のほとんどは非効率であり、文書固有の構造を利用できない。 HDTは補助的なアンカートークンを導入し、アテンション機構をスパースなマルチレベル階層に再設計することでドキュメント構造を利用する。 このアプローチは、分散性を維持しつつ異なるレベルのトークン間の情報交換を容易にし、ドキュメント構造を帰納バイアスとして活用しながら、計算とメモリ効率を向上させる。 文書の階層構造を考慮した新規なスパースアテンションカーネルを開発することにより,HDTのサンプル依存型階層アテンションパターンを実装するという技術的課題に対処する。 実験で実証したように,文書に含まれる構造情報を利用することで,より高速な収束,サンプル効率の向上,下流タスクの性能向上が期待できる。

関連論文リスト

• LayeredDoc: Domain Adaptive Document Restoration with a Layer Separation Approach [9.643486775455841]
  本稿では,文書画像復元システムにおける領域適応性を向上するテキスト・グラフィック・レイヤ分離手法を提案する。 本稿では,2つのレイヤ情報を利用するLayeredDocを提案する。第1のターゲットは粗粒のグラフィックコンポーネントであり,第2のレイヤは機械印刷されたテキストコンテンツを洗練する。 本研究では,本研究のために開発された新しい実世界のデータセットであるLayeredDocDBを用いて,定性的かつ定量的にアプローチを評価する。
  論文  参考訳（メタデータ） (2024-06-12T19:41:01Z)
• GraphKD: Exploring Knowledge Distillation Towards Document Object Detection with Structured Graph Creation [14.511401955827875]
  ドキュメントにおけるオブジェクト検出は、構造的要素の識別プロセスを自動化するための重要なステップである。 文書画像中の文書オブジェクトを正しく識別し,ローカライズするための,グラフベースの知識蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-17T23:08:32Z)
• Document Structure in Long Document Transformers [64.76981299465885]
  長い文書は、しばしばセクションヘッダーや段落のような異なる機能で階層的に整理された要素を持つ構造を示す。 文書構造の不明瞭さにもかかわらず、自然言語処理(NLP)におけるその役割はいまだに不透明である。 長期文書変換モデルは事前学習中に文書構造の内部表現を取得するか? 事前トレーニング後に構造情報をモデルに伝達するにはどうすればよいのか、下流のパフォーマンスにどのように影響するのか?
  論文  参考訳（メタデータ） (2024-01-31T08:28:06Z)
• PDFTriage: Question Answering over Long, Structured Documents [60.96667912964659]
  構造化文書をプレーンテキストとして表現することは、これらの文書をリッチな構造でユーザ精神モデルと矛盾する。 本稿では,構造や内容に基づいて,モデルがコンテキストを検索できるPDFTriageを提案する。 ベンチマークデータセットは,80以上の構造化文書に900以上の人間が生成した質問からなる。
  論文  参考訳（メタデータ） (2023-09-16T04:29:05Z)
• HRDoc: Dataset and Baseline Method Toward Hierarchical Reconstruction of Document Structures [31.868926876151342]
  本稿では,NLPおよびCVフィールドに適した新しいタスクとして,文書構造の階層的再構築を提案する。 私たちは、2500のマルチページドキュメントと200万近いセマンティックユニットからなるHRDocという大規模なデータセットを構築しました。 本稿では,この問題を解決するために,エンコーダデコーダに基づく階層型文書構造解析システム(DSPS)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T07:23:56Z)
• Parallel Hierarchical Transformer with Attention Alignment for Abstractive Multi-Document Summarization [4.035753155957699]
  MDS (Abstractive Multi-Document Summarization) は、その長大かつリンクされたソースの表現とカバレッジに課題をもたらす。 本研究は,MDSのアライメントを考慮した並列階層変換器(PHT)を開発した。
  論文  参考訳（メタデータ） (2022-08-16T17:02:48Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• Extracting Variable-Depth Logical Document Hierarchy from Long Documents: Method, Evaluation, and Application [21.270184491603864]
  我々は、長いドキュメント(HELD)から階層抽出(Hierarchy extract)というフレームワークを開発し、各物理オブジェクトを現在のツリーの適切な位置に「逐次」挿入する。 中国、イギリスの金融市場、イギリスの科学出版物から何千もの長い文書に基づく実験。 本稿では,下流経路検索タスクの性能向上に論理文書階層を用いる方法を提案する。
  論文  参考訳（メタデータ） (2021-05-14T06:26:22Z)
• Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
  階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。 提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
  論文  参考訳（メタデータ） (2020-02-19T08:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。