論文の概要: Revisiting Transformer-based Models for Long Document Classification

• arxiv url: http://arxiv.org/abs/2204.06683v1
• Date: Thu, 14 Apr 2022 00:44:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-16 02:29:14.559443
• Title: Revisiting Transformer-based Models for Long Document Classification
• Title（参考訳）: 長文分類のための変圧器モデルの再検討
• Authors: Xiang Dai and Ilias Chalkidis and Sune Darkner and Desmond Elliott
• Abstract要約: 実世界のアプリケーションでは、マルチページのマルチパラグラフ文書が一般的であり、バニラトランスフォーマーベースのモデルでは効率的にエンコードできない。 本稿では,変圧器の計算オーバーヘッドを軽減するために,トランスフォーマーを用いた長期文書分類(TrLDC)手法を比較した。 我々は、より長いテキストを処理できることの明確な利点を観察し、その結果に基づいて、長い文書分類タスクにTransformerベースのモデルを適用する実践的なアドバイスを導き出す。
• 参考スコア（独自算出の注目度）: 31.60414185940218
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent literature in text classification is biased towards short text sequences (e.g., sentences or paragraphs). In real-world applications, multi-page multi-paragraph documents are common and they cannot be efficiently encoded by vanilla Transformer-based models. We compare different Transformer-based Long Document Classification (TrLDC) approaches that aim to mitigate the computational overhead of vanilla transformers to encode much longer text, namely sparse attention and hierarchical encoding methods. We examine several aspects of sparse attention (e.g., size of local attention window, use of global attention) and hierarchical (e.g., document splitting strategy) transformers on four document classification datasets covering different domains. We observe a clear benefit from being able to process longer text, and, based on our results, we derive practical advice of applying Transformer-based models on long document classification tasks.
• Abstract（参考訳）: 最近のテキスト分類の文献は、短いテキストシーケンス(例えば、文または段落)に偏っている。 実世界のアプリケーションでは、マルチページマルチパラグラフドキュメントが一般的であり、バニラトランスフォーマティブベースのモデルでは効率的にエンコードできない。 我々は,より長いテキストをエンコードするために,バニラ変換器の計算オーバーヘッドを軽減するために,Transformer-based Long Document Classification (TrLDC) のアプローチを比較した。 異なるドメインをカバーする4つの文書分類データセット上で,分散注意(局所注意窓のサイズ,グローバル注意の利用など)と階層的(文書分割戦略など)トランスフォーマーのいくつかの側面について検討する。 我々は,長いテキストを処理できるという明確な利点を観察し,その結果から,長い文書分類タスクにトランスフォーマーモデルを適用する実践的なアドバイスを得る。

関連論文リスト

• HDT: Hierarchical Document Transformer [70.2271469410557]
  HDTは補助的なアンカートークンを導入し、アテンション機構をスパースなマルチレベル階層に再設計することでドキュメント構造を利用する。 文書の階層構造を考慮した新しいスパークアテンションカーネルを開発した。
  論文  参考訳（メタデータ） (2024-07-11T09:28:04Z)
• Long-Range Transformer Architectures for Document Understanding [1.9331361036118608]
  Document Understanding (DU)は、2019年後半のDUの最初のTransformerベースのモデルで残されたものではなかった。 本稿では,2つの新しいマルチモーダル(テキスト+レイアウト)長範囲モデルを提案する。 相対的な2次元の注意は、正規および長距離の両方のモデルにおいて高密度テキストに有効であることが判明した。
  論文  参考訳（メタデータ） (2023-09-11T14:45:24Z)
• Can Model Fusing Help Transformers in Long Document Classification? An Empirical Study [11.395215994671863]
  複数のドメインにNLPを適用することで、テキスト分類に多くの新しい課題がもたらされた。 トランスモデルの大多数は512トークンに制限されているため、長い文書分類の問題に悩まされている。 本研究では,長文分類にModel Fusingを用いることについて,その成果を有名なBERTアーキテクチャとLongformerアーキテクチャと比較しながら検討する。
  論文  参考訳（メタデータ） (2023-07-18T18:21:26Z)
• Hierarchical Local-Global Transformer for Temporal Sentence Grounding [58.247592985849124]
  本稿では,時間文グラウンドリングのマルチメディア問題について検討する。 与えられた文問合せに従って、トリミングされていないビデオ内の特定のビデオセグメントを正確に決定することを目的としている。
  論文  参考訳（メタデータ） (2022-08-31T14:16:56Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• Hierarchical Neural Network Approaches for Long Document Classification [3.6700088931938835]
  我々は、より効率的な表現を効率よく捉えるために、事前訓練された普遍文(USE)と変換器からの双方向表現(BERT)を階層的に採用する。 提案するモデルは概念的に単純であり,入力データをチャンクに分割し,BERTとUSEのベースモデルに渡す。 USE + CNN/LSTM はスタンドアローンのベースラインよりも優れており、BERT + CNN/LSTM はスタンドアローンのベースラインと同等である。
  論文  参考訳（メタデータ） (2022-01-18T07:17:40Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• Hi-Transformer: Hierarchical Interactive Transformer for Efficient and Effective Long Document Modeling [51.79399904527525]
  高速かつ効率的な長文モデリングのための階層型対話型変換器(Hi-Transformer)を提案する。 Hi-Transformerは文書を階層的にモデル化し、まず文表現を学び、次に文書表現を学ぶ。 3つのベンチマークデータセットの実験は、長期文書モデリングにおけるHi-Transformerの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-02T09:30:29Z)
• Topical Change Detection in Documents via Embeddings of Long Sequences [4.13878392637062]
  テキストセグメンテーションのタスクを独立した教師付き予測タスクとして定式化する。 類似セクションの段落を微調整することで、学習した特徴がトピック情報をエンコードすることを示すことができます。 文レベルで操作する従来のアプローチとは異なり、我々は常により広いコンテキストを使用します。
  論文  参考訳（メタデータ） (2020-12-07T12:09:37Z)
• Pretrained Transformers for Text Ranking: BERT and Beyond [53.83210899683987]
  このサーベイは、トランスフォーマーとして知られるニューラルネットワークアーキテクチャによるテキストランキングの概要を提供する。 トランスフォーマーと自己教師型事前学習の組み合わせは、自然言語処理のパラダイムシフトの原因となっている。
  論文  参考訳（メタデータ） (2020-10-13T15:20:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。