Fugu-MT 論文翻訳(概要): Can Model Fusing Help Transformers in Long Document Classification? An Empirical Study

論文の概要: Can Model Fusing Help Transformers in Long Document Classification? An Empirical Study

arxiv url: http://arxiv.org/abs/2307.09532v1
Date: Tue, 18 Jul 2023 18:21:26 GMT
ステータス: 処理完了
システム内更新日: 2023-07-20 16:24:59.828505
Title: Can Model Fusing Help Transformers in Long Document Classification? An Empirical Study
Title（参考訳）: 長期文書分類におけるモデルfusingはトランスフォーマーに役立つか? 実証的研究
Authors: Damith Premasiri, Tharindu Ranasinghe, Ruslan Mitkov
Abstract要約: 複数のドメインにNLPを適用することで、テキスト分類に多くの新しい課題がもたらされた。トランスモデルの大多数は512トークンに制限されているため、長い文書分類の問題に悩まされている。本研究では,長文分類にModel Fusingを用いることについて,その成果を有名なBERTアーキテクチャとLongformerアーキテクチャと比較しながら検討する。
参考スコア（独自算出の注目度）: 11.395215994671863
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Text classification is an area of research which has been studied over the years in Natural Language Processing (NLP). Adapting NLP to multiple domains has introduced many new challenges for text classification and one of them is long document classification. While state-of-the-art transformer models provide excellent results in text classification, most of them have limitations in the maximum sequence length of the input sequence. The majority of the transformer models are limited to 512 tokens, and therefore, they struggle with long document classification problems. In this research, we explore on employing Model Fusing for long document classification while comparing the results with well-known BERT and Longformer architectures.
Abstract（参考訳）: テキスト分類は、自然言語処理(NLP)において長年研究されてきた研究分野である。複数のドメインにNLPを適用することで、テキスト分類の新しい課題が数多く導入され、そのうちの1つは長い文書分類である。最先端のトランスモデルはテキスト分類において優れた結果をもたらすが、そのほとんどは入力シーケンスの最大シーケンス長に制限がある。トランスモデルの大多数は512トークンに制限されているため、長い文書分類の問題に悩まされている。本研究では,長文分類にModel Fusingを用い,その結果とBERTおよびLongformerアーキテクチャとの比較を行った。

関連論文リスト

Length-Aware Multi-Kernel Transformer for Long Document Classification [4.796752450839119]
長いドキュメントは、かなりのメモリ消費のために、ニューラルネットワークモデルに固有の課題を生じさせる。長文分類における新たな課題に対処するため,Longth-Aware Multi- Kernel Transformer (LAMKIT)を提案する。
論文参考訳（メタデータ） (2024-05-11T16:48:06Z)
Breaking the Token Barrier: Chunking and Convolution for Efficient Long Text Classification with BERT [0.0]
変換器ベースのモデル、特にBERTは様々なNLPタスクの研究を推進している。 BERTモデルは512トークンの最大トークン制限に制限されているため、長い入力で実際に適用するのは簡単ではない。本稿では,任意の事前学習したモデルを任意に長文で推論できるような,比較的単純なBanilla BERTアーキテクチャであるChunkBERTを提案する。
論文参考訳（メタデータ） (2023-10-31T15:41:08Z)
Attention over pre-trained Sentence Embeddings for Long Document Classification [4.38566347001872]
変圧器はトークンの数に2次注意の複雑さがあるため、短いシーケンスに制限されることが多い。文を意味的に意味のある埋め込みから始めるために,事前学習した文変換器を活用することを提案する。本稿では,3つの標準文書分類データセットに対して,この簡単なアーキテクチャを用いて得られた結果について報告する。
論文参考訳（メタデータ） (2023-07-18T09:06:35Z)
Revisiting Transformer-based Models for Long Document Classification [31.60414185940218]
実世界のアプリケーションでは、マルチページのマルチパラグラフ文書が一般的であり、バニラトランスフォーマーベースのモデルでは効率的にエンコードできない。本稿では,変圧器の計算オーバーヘッドを軽減するために,トランスフォーマーを用いた長期文書分類(TrLDC)手法を比較した。我々は、より長いテキストを処理できることの明確な利点を観察し、その結果に基づいて、長い文書分類タスクにTransformerベースのモデルを適用する実践的なアドバイスを導き出す。
論文参考訳（メタデータ） (2022-04-14T00:44:36Z)
Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。本稿では,様々な要約データセットに対して提案手法の有効性を示す。
論文参考訳（メタデータ） (2022-03-15T01:24:51Z)
HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
論文参考訳（メタデータ） (2021-10-12T22:42:31Z)
DocNLI: A Large-scale Dataset for Document-level Natural Language Inference [55.868482696821815]
自然言語推論(NLI)は、様々なNLP問題を解決するための統一的なフレームワークとして定式化されている。ドキュメントレベルのNLI用に新たに構築された大規模データセットであるDocNLIを紹介する。
論文参考訳（メタデータ） (2021-06-17T13:02:26Z)
Long Range Arena: A Benchmark for Efficient Transformers [115.1654897514089]
ロングレンジアリーナベンチマーク(Long-rangearena benchmark)は、1Kドルから16Kドルまでの一連のタスクからなるスイートである。我々は,新たに提案したベンチマークスイートを用いて,よく確立された10種類の長距離トランスフォーマーモデルを体系的に評価した。
論文参考訳（メタデータ） (2020-11-08T15:53:56Z)
Pretrained Transformers for Text Ranking: BERT and Beyond [53.83210899683987]
このサーベイは、トランスフォーマーとして知られるニューラルネットワークアーキテクチャによるテキストランキングの概要を提供する。トランスフォーマーと自己教師型事前学習の組み合わせは、自然言語処理のパラダイムシフトの原因となっている。
論文参考訳（メタデータ） (2020-10-13T15:20:32Z)
Beyond 512 Tokens: Siamese Multi-depth Transformer-based Hierarchical Encoder for Long-Form Document Matching [28.190001111358438]
長文文書マッチングのためのシームズ多層変換器を用いたSMITHを提案する。我々のモデルには、より長いテキスト入力に自己注意モデルを適用するためのいくつかの革新が含まれている。われわれはウィキペディアベースのベンチマークデータセット、コード、トレーニング済みのチェックポイントをオープンソース化し、長文文書マッチングの今後の研究を加速する。
論文参考訳（メタデータ） (2020-04-26T07:04:08Z)
SPECTER: Document-level Representation Learning using Citation-informed Transformers [51.048515757909215]
SPECTERは、Transformer言語モデルの事前学習に基づいて、科学文書の文書レベルの埋め込みを生成する。 SciDocsは、引用予測から文書分類、レコメンデーションまでの7つの文書レベルのタスクからなる新しい評価ベンチマークである。
論文参考訳（メタデータ） (2020-04-15T16:05:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。