論文の概要: Efficient Classification of Long Documents Using Transformers

• arxiv url: http://arxiv.org/abs/2203.11258v1
• Date: Mon, 21 Mar 2022 18:36:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-23 14:02:34.927581
• Title: Efficient Classification of Long Documents Using Transformers
• Title（参考訳）: 変圧器を用いた長文の効率的な分類
• Authors: Hyunji Hayley Park, Yogarshi Vyas, Kashif Shah
• Abstract要約: 様々なベースラインと多様なデータセットに対して測定された相対的有効性を評価する。 結果として、より複雑なモデルは、単純なベースラインを上回り、データセット間で一貫性のないパフォーマンスを得ることができないことがしばしば示される。
• 参考スコア（独自算出の注目度）: 13.927622630633344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Several methods have been proposed for classifying long textual documents using Transformers. However, there is a lack of consensus on a benchmark to enable a fair comparison among different approaches. In this paper, we provide a comprehensive evaluation of the relative efficacy measured against various baselines and diverse datasets -- both in terms of accuracy as well as time and space overheads. Our datasets cover binary, multi-class, and multi-label classification tasks and represent various ways information is organized in a long text (e.g. information that is critical to making the classification decision is at the beginning or towards the end of the document). Our results show that more complex models often fail to outperform simple baselines and yield inconsistent performance across datasets. These findings emphasize the need for future studies to consider comprehensive baselines and datasets that better represent the task of long document classification to develop robust models.
• Abstract（参考訳）: 変換器を用いた長文文書の分類法が提案されている。 しかし、異なるアプローチ間で公正な比較を可能にするためのベンチマークにはコンセンサスがない。 本稿では,様々なベースラインと多様なデータセットに対して測定された相対的有効性について,精度,時間的,空間的オーバーヘッドの両面から総合的に評価する。 我々のデータセットは、バイナリ、マルチクラス、マルチラベルの分類タスクをカバーし、長いテキストで情報を整理する様々な方法(例えば、分類決定を下す上で重要な情報は、文書の開始時または終了時)を表す。 以上の結果から,より複雑なモデルでは,単純なベースラインを上回り,データセット間での一貫性のないパフォーマンスが得られないことが分かる。 これらの知見は、堅牢なモデルを開発するための長い文書分類の課題をよりよく表す包括的ベースラインとデータセットを検討するための将来の研究の必要性を強調している。

関連論文リスト

• Improve Meta-learning for Few-Shot Text Classification with All You Can Acquire from the Tasks [10.556477506959888]
  既存の手法は、しばしばサポートセットのサンプルから正確なクラスプロトタイプを描くのに困難に遭遇する。 近年のアプローチでは、外部知識や事前訓練された言語モデルを組み込んでデータを拡張しようとするが、追加のリソースが必要になる。 本稿では,タスク自体の情報を適切に活用した新しいソリューションを提案する。
  論文  参考訳（メタデータ） (2024-10-14T12:47:11Z)
• Beyond Document Page Classification: Design, Datasets, and Challenges [32.94494070330065]
  本稿では,文書分類ベンチマークを現実のアプリケーションに近づける必要性を強調した。 我々は、パブリックなマルチページ文書分類データセットの欠如を特定し、アプリケーションシナリオにおける異なる分類タスクを形式化し、効率的なマルチページ文書表現をターゲットとする価値を動機づける。
  論文  参考訳（メタデータ） (2023-08-24T16:16:47Z)
• Large-Scale Multi-Document Summarization with Information Extraction and Compression [31.601707033466766]
  複数の異種文書のラベル付きデータとは無関係に抽象的な要約フレームワークを開発する。 我々のフレームワークは、同じトピックのドキュメントではなく、異なるストーリーを伝えるドキュメントを処理する。 我々の実験は、このより汎用的な設定において、我々のフレームワークが現在の最先端メソッドより優れていることを示した。
  論文  参考訳（メタデータ） (2022-05-01T19:49:15Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• Comparative Study of Long Document Classification [0.0]
  我々は、標準的な機械学習アプローチを用いて、長い文書分類を再考する。 単純なNaive Bayesから6つの標準テキスト分類データセット上の複雑なBERTまで、さまざまなアプローチをベンチマークする。
  論文  参考訳（メタデータ） (2021-11-01T04:51:51Z)
• Learning from Partially Overlapping Labels: Image Segmentation under Annotation Shift [68.6874404805223]
  腹部臓器分節の文脈におけるラベルの重複から学ぶためのいくつかの方法を提案する。 半教師付きアプローチと適応的クロスエントロピー損失を組み合わせることで、不均一な注釈付きデータをうまく活用できることが判明した。
  論文  参考訳（メタデータ） (2021-07-13T09:22:24Z)
• Text Summarization with Latent Queries [60.468323530248945]
  本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。 本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。 本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
  論文  参考訳（メタデータ） (2021-05-31T21:14:58Z)
• Integrating Semantics and Neighborhood Information with Graph-Driven Generative Models for Document Retrieval [51.823187647843945]
  本稿では,周辺情報をグラフ誘導ガウス分布でエンコードし,その2種類の情報をグラフ駆動生成モデルと統合することを提案する。 この近似の下では、トレーニング対象がシングルトンまたはペアワイズ文書のみを含む用語に分解可能であることを証明し、モデルが非関連文書と同じくらい効率的にトレーニングできることを示す。
  論文  参考訳（メタデータ） (2021-05-27T11:29:03Z)
• Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
  本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。 我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
  論文  参考訳（メタデータ） (2020-10-10T14:03:20Z)
• Pre-training Tasks for Embedding-based Large-scale Retrieval [68.01167604281578]
  本稿では,大規模クエリ文書検索問題について考察する。 クエリ(例えば質問)が与えられたら、関連するドキュメントのセットを大きなドキュメントコーパスから返します。 本稿では, 組込み型トランスフォーマーモデルの学習の鍵となる要素が, 事前学習作業のセットであることを示す。
  論文  参考訳（メタデータ） (2020-02-10T16:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。