論文の概要: HiStruct+: Improving Extractive Text Summarization with Hierarchical Structure Information

• arxiv url: http://arxiv.org/abs/2203.09629v1
• Date: Thu, 17 Mar 2022 21:49:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-21 14:08:16.463537
• Title: HiStruct+: Improving Extractive Text Summarization with Hierarchical Structure Information
• Title（参考訳）: HiStruct+:階層構造情報による抽出テキスト要約の改善
• Authors: Qian Ruan, Malte Ostendorff, Georg Rehm
• Abstract要約: 本稿では,階層構造情報を抽出要約モデルに明示的に記述,抽出,エンコード,注入する新しい手法を提案する。 3つのデータセット(CNN/DailyMail、PubMed、arXivなど)のさまざまな実験的な設定を使用して、HiStruct+モデルは、一括して強力なベースラインをパフォーマンスします。
• 参考スコア（独自算出の注目度）: 0.6443952406204634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based language models usually treat texts as linear sequences. However, most texts also have an inherent hierarchical structure, i.e., parts of a text can be identified using their position in this hierarchy. In addition, section titles usually indicate the common topic of their respective sentences. We propose a novel approach to formulate, extract, encode and inject hierarchical structure information explicitly into an extractive summarization model based on a pre-trained, encoder-only Transformer language model (HiStruct+ model), which improves SOTA ROUGEs for extractive summarization on PubMed and arXiv substantially. Using various experimental settings on three datasets (i.e., CNN/DailyMail, PubMed and arXiv), our HiStruct+ model outperforms a strong baseline collectively, which differs from our model only in that the hierarchical structure information is not injected. It is also observed that the more conspicuous hierarchical structure the dataset has, the larger improvements our method gains. The ablation study demonstrates that the hierarchical position information is the main contributor to our model's SOTA performance.
• Abstract（参考訳）: トランスフォーマーベースの言語モデルは通常、テキストを線形シーケンスとして扱う。 しかし、ほとんどのテキストは固有の階層構造を有しており、テキストの一部がこの階層におけるそれらの位置を使って識別することができる。 さらに、セクションタイトルは、通常、それぞれの文の共通の話題を示す。 本稿では,プリトレーニングされたエンコーダのみのトランスフォーマー言語モデル(histruct+ model)に基づいて階層構造情報を明示的に抽出,抽出,エンコード,注入する新しい手法を提案する。 3つのデータセット(CNN/DailyMail、PubMed、arXivなど)のさまざまな実験的な設定を使用して、HiStruct+モデルは、階層構造情報が注入されないという点でのみ、強力なベースラインを総合的に上回ります。 また、データセットがより目立たない階層構造を持つほど、我々のメソッドが得る大きな改善も観察されます。 アブレーション研究は,このモデルのsota性能の主要な要因は階層的位置情報であることを示した。

関連論文リスト

• SRFUND: A Multi-Granularity Hierarchical Structure Reconstruction Benchmark in Form Understanding [55.48936731641802]
  階層的に構造化されたマルチタスク形式理解ベンチマークであるSRFUNDを提案する。 SRFUNDはオリジナルのFUNSDとXFUNDデータセットの上に洗練されたアノテーションを提供する。 データセットには、英語、中国語、日本語、ドイツ語、フランス語、スペイン語、イタリア語、ポルトガル語を含む8つの言語が含まれている。
  論文  参考訳（メタデータ） (2024-06-13T02:35:55Z)
• Learning Syntax Without Planting Trees: Understanding When and Why Transformers Generalize Hierarchically [74.96551626420188]
  自然言語データに基づいて訓練されたトランスフォーマーは、その階層構造を学習し、目に見えない構文構造を持つ文に一般化することが示されている。 本研究では,変圧器モデルにおける帰納バイアスの発生源と,そのような一般化行動を引き起こす可能性のあるトレーニングについて検討する。
  論文  参考訳（メタデータ） (2024-04-25T07:10:29Z)
• Grokking of Hierarchical Structure in Vanilla Transformers [72.45375959893218]
  トランスフォーマー言語モデルでは,極端に長い訓練期間を経て階層的に一般化できることが示される。 中間深度モデルは、非常に深い変圧器と非常に浅い変圧器の両方よりも良く一般化される。
  論文  参考訳（メタデータ） (2023-05-30T04:34:13Z)
• Implant Global and Local Hierarchy Information to Sequence based Code Representation Models [25.776540440893257]
  完全な階層構造がコードシーケンスのトークンに与える影響を分析し、階層埋め込みと呼ばれるコードトークンの特性として、この影響を抽象化する。 ソースコードの完全な階層化をトランスフォーマーモデルに組み込むための,単純かつ効果的なシーケンスモデルである階層変換器(HiT)を提案する。
  論文  参考訳（メタデータ） (2023-03-14T12:01:39Z)
• Structured information extraction from complex scientific text with fine-tuned large language models [55.96705756327738]
  そこで本研究では,共振器認識と関係抽出のための簡単なシーケンス・ツー・シーケンス手法を提案する。 このアプローチは、約500組のプロンプトで微調整された、事前訓練済みの大規模言語モデル(LLM)であるGPT-3を利用する。 このアプローチは、構造化されていないテキストから抽出された構造化知識の大規模なデータベースを得るための、シンプルで、アクセス可能で、非常に柔軟な経路を示す。
  論文  参考訳（メタデータ） (2022-12-10T07:51:52Z)
• Abstractive Summarization Guided by Latent Hierarchical Document Structure [28.284926421845533]
  逐次抽象的神経要約器は、入力記事の基盤構造や入力文間の依存関係を使わないことが多い。 本稿では,階層型グラフニューラルネットワーク(HierGNN)を提案する。 実験により、HierGNNはBARTのような強力なシーケンスモデルを改善し、CNN/DMとXSumの平均ROUGE-1/2/Lの0.55と0.75のマージンを持つことを確認した。
  論文  参考訳（メタデータ） (2022-11-17T11:02:30Z)
• Fact-level Extractive Summarization with Hierarchical Graph Mask on BERT [9.271716501646194]
  より優れた抽出要約のためのファクトレベルのセマンティックユニットを抽出することを提案する。 階層グラフマスクを用いてBERTにモデルを組み込む。 CNN/DaliyMailデータセットの実験は、我々のモデルが最先端の結果を得ることを示す。
  論文  参考訳（メタデータ） (2020-11-19T09:29:51Z)
• Extractive Summarization as Text Matching [123.09816729675838]
  本稿では,ニューラル抽出要約システムの構築方法に関するパラダイムシフトを作成する。 抽出した要約タスクを意味テキストマッチング問題として定式化する。 我々はCNN/DailyMailの最先端抽出結果を新しいレベル(ROUGE-1の44.41)に推し進めた。
  論文  参考訳（メタデータ） (2020-04-19T08:27:57Z)
• A Hierarchical Transformer for Unsupervised Parsing [0.0]
  階層的な表現を学習できるようにすることで、トランスモデルを拡張します。 言語モデリングの新しいモデルをトレーニングし、教師なし構文解析のタスクに適用する。 我々は、約50%のF1スコアで、WSJ10データセットの無償サブセットに対して妥当な結果を得る。
  論文  参考訳（メタデータ） (2020-03-30T22:07:22Z)
• StructSum: Summarization via Structured Representations [27.890477913486787]
  抽象テキスト要約は、長い資料の情報を要約した要約に圧縮することを目的としている。 モデリング技術の進歩にもかかわらず、抽象的な要約モデルは依然としていくつかの重要な課題に悩まされている。 本稿では,これらの課題に対処するための要約のための文書レベルの構造誘導に基づくフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-01T20:32:51Z)
• Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
  階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。 提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
  論文  参考訳（メタデータ） (2020-02-19T08:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。