論文の概要: Investigating Text Shortening Strategy in BERT: Truncation vs Summarization

• arxiv url: http://arxiv.org/abs/2403.12799v1
• Date: Tue, 19 Mar 2024 15:01:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 13:53:54.709053
• Title: Investigating Text Shortening Strategy in BERT: Truncation vs Summarization
• Title（参考訳）: BERTにおけるテキスト短縮戦略の調査: トランケーション対要約
• Authors: Mirza Alim Mutasodirin, Radityo Eko Prasojo,
• Abstract要約: 本研究は,テキスト分類作業における文書トランケーションと要約の性能について検討する。 インドネシアのニュース記事に基づく要約タスクのデータセットを用いて分類試験を行った。
• 参考スコア（独自算出の注目度）: 2.7645945793246973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The parallelism of Transformer-based models comes at the cost of their input max-length. Some studies proposed methods to overcome this limitation, but none of them reported the effectiveness of summarization as an alternative. In this study, we investigate the performance of document truncation and summarization in text classification tasks. Each of the two was investigated with several variations. This study also investigated how close their performances are to the performance of full-text. We used a dataset of summarization tasks based on Indonesian news articles (IndoSum) to do classification tests. This study shows how the summaries outperform the majority of truncation method variations and lose to only one. The best strategy obtained in this study is taking the head of the document. The second is extractive summarization. This study explains what happened to the result, leading to further research in order to exploit the potential of document summarization as a shortening alternative. The code and data used in this work are publicly available in https://github.com/mirzaalimm/TruncationVsSummarization.
• Abstract（参考訳）: Transformerベースのモデルの並列性は、入力最大長のコストで実現される。 この制限を克服する手法を提案した研究もあるが、そのどれもが代替手段としての要約の有効性を報告しなかった。 本研究では,テキスト分類作業における文書のトランケーションと要約の性能について検討する。 それぞれに様々なバリエーションが認められた。 また,本研究では,その性能がフルテキストのパフォーマンスにどの程度近いかについても検討した。 インドネシアのニュース記事(IndoSum)に基づく要約タスクのデータセットを用いて分類試験を行った。 本研究は, サマリーがトラルンケーション法の大部分を上回り, 1つに留まっていることを示す。 この研究で得られた最善の戦略は、ドキュメントの先頭を取ることである。 2つ目は抽出的な要約である。 本研究は、文書要約の可能性を短縮代替手段として活用するために、この結果に何が起こったかを説明し、さらなる研究に繋がる。 この作業で使用されるコードとデータはhttps://github.com/mirzaalimm/TruncationVsSummarizationで公開されている。

関連論文リスト

• Context-Aware Hierarchical Merging for Long Document Summarization [56.96619074316232]
  本論文では,階層的なマージをソース文書からコンテキストと統合する手法を提案する。 法的および物語的領域を表すデータセットの実験結果は、文脈的拡張がゼロショットと階層的な融合ベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-02-03T01:14:31Z)
• AugSumm: towards generalizable speech summarization using synthetic labels from large language model [61.73741195292997]
  抽象音声要約(SSUM)は、音声から人間に似た要約を生成することを目的としている。 従来のSSUMモデルは、主に、人間による注釈付き決定論的要約(英語版)を用いて訓練され、評価されている。 AugSummは,人間のアノテータが拡張要約を生成するためのプロキシとして,大規模言語モデル(LLM)を利用する手法である。
  論文  参考訳（メタデータ） (2024-01-10T18:39:46Z)
• On Context Utilization in Summarization with Large Language Models [83.84459732796302]
  大きな言語モデル(LLM)は抽象的な要約タスクに優れ、流動的で関連する要約を提供する。 最近の進歩は、100kトークンを超える長期入力コンテキストを扱う能力を拡張している。 要約における文脈利用と位置バイアスに関する最初の総合的研究を行う。
  論文  参考訳（メタデータ） (2023-10-16T16:45:12Z)
• Lay Text Summarisation Using Natural Language Processing: A Narrative Literature Review [1.8899300124593648]
  本研究の目的は, テキスト要約の手法を記述し, 比較することである。 私たちは82の記事をスクリーニングし、同じデータセットを使用して2020年から2021年の間に8つの関連論文を公開しました。 ハイブリッドアプローチにおける抽出的および抽象的要約法の組み合わせが最も有効であることが判明した。
  論文  参考訳（メタデータ） (2023-03-24T18:30:50Z)
• On the State of German (Abstractive) Text Summarization [3.1776833268555134]
  ドイツの抽象的テキスト要約の景観を評価する。 業界において,抽象的なテキスト要約のための実用的なソリューションがいまだに欠落している理由を考察する。
  論文  参考訳（メタデータ） (2023-01-17T18:59:20Z)
• Active Learning for Abstractive Text Summarization [50.79416783266641]
  本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。 ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
  論文  参考訳（メタデータ） (2023-01-09T10:33:14Z)
• Revisiting text decomposition methods for NLI-based factuality scoring of summaries [9.044665059626958]
  細粒度分解が必ずしも事実性スコアの勝利戦略であるとは限らないことを示す。 また,従来提案されていたエンテーメントに基づくスコアリング手法の小さな変更により,性能が向上することを示した。
  論文  参考訳（メタデータ） (2022-11-30T09:54:37Z)
• Reinforcing Semantic-Symmetry for Document Summarization [15.113768658584979]
  文書要約は、長い文書を詳細な情報と正確な意味記述を備えた短いバージョンに凝縮する。 本稿では,文書要約のための新しいtextbfreinforcing stextbfemantic-textbfsymmetric Learning textbfmodelを提案する。 CNN/Daily MailとBigPatentの2つの大胆なベンチマークデータセットに対して、一連の実験が行われた。
  論文  参考訳（メタデータ） (2021-12-14T17:41:37Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。