論文の概要: Document Structure in Long Document Transformers

• arxiv url: http://arxiv.org/abs/2401.17658v1
• Date: Wed, 31 Jan 2024 08:28:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-01 15:15:02.812316
• Title: Document Structure in Long Document Transformers
• Title（参考訳）: 長文トランスフォーマにおける文書構造
• Authors: Jan Buchmann, Max Eichler, Jan-Micha Bodensohn, Ilia Kuznetsov, Iryna Gurevych
• Abstract要約: 長い文書は、しばしばセクションヘッダーや段落のような異なる機能で階層的に整理された要素を持つ構造を示す。 文書構造の不明瞭さにもかかわらず、自然言語処理(NLP)におけるその役割はいまだに不透明である。 長期文書変換モデルは事前学習中に文書構造の内部表現を取得するか? 事前トレーニング後に構造情報をモデルに伝達するにはどうすればよいのか、下流のパフォーマンスにどのように影響するのか?
• 参考スコア（独自算出の注目度）: 64.76981299465885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long documents often exhibit structure with hierarchically organized elements of different functions, such as section headers and paragraphs. Despite the omnipresence of document structure, its role in natural language processing (NLP) remains opaque. Do long-document Transformer models acquire an internal representation of document structure during pre-training? How can structural information be communicated to a model after pre-training, and how does it influence downstream performance? To answer these questions, we develop a novel suite of probing tasks to assess structure-awareness of long-document Transformers, propose general-purpose structure infusion methods, and evaluate the effects of structure infusion on QASPER and Evidence Inference, two challenging long-document NLP tasks. Results on LED and LongT5 suggest that they acquire implicit understanding of document structure during pre-training, which can be further enhanced by structure infusion, leading to improved end-task performance. To foster research on the role of document structure in NLP modeling, we make our data and code publicly available.
• Abstract（参考訳）: 長い文書は、セクションヘッダや段落など、異なる関数の階層構造を持つ構造を示すことが多い。 文書構造の不明瞭さにもかかわらず、自然言語処理(NLP)におけるその役割はいまだに不透明である。 長文トランスフォーマーモデルは事前学習中に文書構造の内部表現を取得するか? 事前トレーニング後、構造情報はモデルとどのように通信し、ダウンストリームのパフォーマンスにどのように影響するか? そこで本研究では,長文書変換器の構造認識性を評価するための新しい探索タスクスイートを開発し,汎用的な構造注入法を提案し,QASPERとエビデンス推論に対する構造注入の効果を評価した。 LEDとLongT5の結果は、事前トレーニング中に文書構造が暗黙的に理解されることを示唆している。 NLPモデリングにおける文書構造の役割の研究を促進するため、我々はデータとコードを公開している。

関連論文リスト

• Document Parsing Unveiled: Techniques, Challenges, and Prospects for Structured Information Extraction [23.47150047875133]
  文書解析は、構造化されていない文書と半構造化された文書を機械可読データに変換するのに不可欠である。 文書解析は知識ベースの構築とトレーニングデータ生成において不可欠である。 本稿では,モジュール型文書解析システムと複雑なレイアウト処理における視覚言語モデルが直面する課題について論じる。
  論文  参考訳（メタデータ） (2024-10-28T16:11:35Z)
• Seg2Act: Global Context-aware Action Generation for Document Logical Structuring [45.55145491566147]
  文書論理構造化のためのエンドツーエンドな生成手法であるSeg2Actを紹介する。 Seg2Actは、グローバルコンテキスト認識生成モデルを介してアクションシーケンスを反復的に生成し、そのグローバルコンテキストと現在の論理構造を同時に更新する。 ChCatExtとHierDocデータセットの実験は、教師付きおよび転送学習設定の両方において、Seg2Actの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-10-09T11:58:40Z)
• HDT: Hierarchical Document Transformer [70.2271469410557]
  HDTは補助的なアンカートークンを導入し、アテンション機構をスパースなマルチレベル階層に再設計することでドキュメント構造を利用する。 文書の階層構造を考慮した新しいスパークアテンションカーネルを開発した。
  論文  参考訳（メタデータ） (2024-07-11T09:28:04Z)
• StructGPT: A General Framework for Large Language Model to Reason over Structured Data [117.13986738340027]
  我々は,構造化データに基づく質問応答タスクの解法として,emphIterative Reading-then-Reasoning(IRR)アプローチを開発した。 提案手法はChatGPTの性能を大幅に向上させ,全データの教師付きベースラインに対して同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-05-16T17:45:23Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Modeling Document-level Temporal Structures for Building Temporal Dependency Graphs [31.32005522003613]
  本稿では、ニュース談話のプロファイリングを利用して、時間依存グラフ構築のための文書レベルの時間構造をモデル化する。 我々のキーとなる観察は、ニュース談話のプロファイリングに使用される文の機能的役割が、ニュース記事に関連する異なる時間枠を表わし、文書のグローバルな時間構造を復元する助けとなることである。
  論文  参考訳（メタデータ） (2022-10-21T07:45:17Z)
• Unified Pretraining Framework for Document Understanding [52.224359498792836]
  文書理解のための統合事前学習フレームワークであるUDocを紹介する。 UDocは、ほとんどのドキュメント理解タスクをサポートするように設計されており、Transformerを拡張してマルチモーダル埋め込みを入力とする。 UDocの重要な特徴は、3つの自己管理的損失を利用して汎用的な表現を学ぶことである。
  論文  参考訳（メタデータ） (2022-04-22T21:47:04Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• ERNIE-DOC: The Retrospective Long-Document Modeling Transformer [24.426571160930635]
  Recurrence Transformersに基づく文書レベルの言語プリトレーニングモデルであるERNIE-DOCを提案する。 ふりかえりフィード機構とリカレンスメカニズムの強化という2つのよく設計されたテクニックにより、ELNIE-DOCははるかに長いコンテキスト長を実現できます。 英語と中国語の文書レベルのタスクについて様々な実験を行った。
  論文  参考訳（メタデータ） (2020-12-31T16:12:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。