論文の概要: Long Document Summarization with Top-down and Bottom-up Inference

• arxiv url: http://arxiv.org/abs/2203.07586v1
• Date: Tue, 15 Mar 2022 01:24:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-16 14:58:44.303432
• Title: Long Document Summarization with Top-down and Bottom-up Inference
• Title（参考訳）: トップダウンおよびボトムアップ推論を用いた長文要約
• Authors: Bo Pang, Erik Nijkamp, Wojciech Kry\'sci\'nski, Silvio Savarese, Yingbo Zhou, Caiming Xiong
• Abstract要約: 本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
• 参考スコア（独自算出の注目度）: 113.29319668246407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text summarization aims to condense long documents and retain key information. Critical to the success of a summarization model is the faithful inference of latent representations of words or tokens in the source documents. Most recent models infer the latent representations with a transformer encoder, which is purely bottom-up. Also, self-attention-based inference models face the challenge of quadratic complexity with respect to sequence length. We propose a principled inference framework to improve summarization models on these two aspects. Our framework assumes a hierarchical latent structure of a document where the top-level captures the long range dependency at a coarser time scale and the bottom token level preserves the details. Critically, this hierarchical structure enables token representations to be updated in both a bottom-up and top-down manner. In the bottom-up pass, token representations are inferred with local self-attention to leverage its efficiency. Top-down correction is then applied to allow tokens to capture long-range dependency. We demonstrate the effectiveness of the proposed framework on a diverse set of summarization datasets, including narrative, conversational, scientific documents and news. Our model achieves (1) competitive or better performance on short documents with higher memory and compute efficiency, compared to full attention transformers, and (2) state-of-the-art performance on a wide range of long document summarization benchmarks, compared to recent efficient transformers. We also show that our model can summarize an entire book and achieve competitive performance using $0.27\%$ parameters (464M vs. 175B) and much less training data, compared to a recent GPT-3-based model. These results indicate the general applicability and benefits of the proposed framework.
• Abstract（参考訳）: テキスト要約は、長い文書を凝縮し、キー情報を保持することを目的としている。 要約モデルの成功に欠かせないのは、ソース文書における単語やトークンの潜在表現の忠実な推論である。 最近のモデルでは、トランスフォーマーエンコーダで潜在表現を推測するが、これは純粋にボトムアップである。 また、自己アテンションに基づく推論モデルは、シーケンス長に関して二次複雑性の課題に直面している。 これら2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 トップレベルがより粗い時間スケールで長距離依存性をキャプチャし、ボトムトークンレベルが詳細を保持するドキュメントの階層的潜在構造を前提としています。 この階層構造により、ボトムアップとトップダウンの両方でトークン表現を更新できる。 ボトムアップパスでは、トークン表現はその効率を活用するために局所的な自己アテンションで推論される。 その後、トークンが長距離依存性をキャプチャするためにトップダウン補正が適用される。 本稿では,物語,会話,科学文書,ニュースなど,多種多様な要約データセットにおける提案フレームワークの有効性を実証する。 本モデルでは,(1)完全注意トランスに比べて,メモリ効率と計算効率が向上した短い文書の性能と,(2)最近の効率のよいトランスに比べて,幅広い長文要約ベンチマークにおける最先端の性能を実現する。 また,本モデルでは本書全体を要約して,$0.27\%$パラメータ (464m 対 175b) と,最近の gpt-3 ベースのモデルに比べてはるかに少ないトレーニングデータを用いて,競合性能を達成できることを示した。 これらの結果は,提案フレームワークの汎用性とメリットを示している。

関連論文リスト

• Efficient Document Ranking with Learnable Late Interactions [73.41976017860006]
  クロスエンコーダ(CE)とデュアルエンコーダ(DE)モデルは,情報検索におけるクエリドキュメント関連性の2つの基本的なアプローチである。 関連性を予測するため、CEモデルは共同クエリドキュメントの埋め込みを使用し、DEモデルは分解クエリとドキュメントの埋め込みを維持している。 近年、DEM構造と軽量スコアラを用いて、より好ましいレイテンシ品質のトレードオフを実現するために、遅延相互作用モデルが提案されている。
  論文  参考訳（メタデータ） (2024-06-25T22:50:48Z)
• Document-Level Abstractive Summarization [0.0]
  非常に長いテキストの自動要約を改善するために,トランスフォーマー技術がいかに効果的かを検討する。 より小さなチャンクを処理して文書全体の要約を生成するコストを削減できる新しい検索強化手法を提案する。
  論文  参考訳（メタデータ） (2022-12-06T14:39:09Z)
• Evaluating and Improving Factuality in Multimodal Abstractive Summarization [91.46015013816083]
  そこで我々は,CLIPBERTScoreを提案する。 ゼロショットにおけるこの2つの指標の単純な組み合わせは、文書要約のための既存の事実度指標よりも高い相関性が得られることを示す。 本分析は,CLIPBERTScoreとそのコンポーネントの信頼性と高い相関性を示す。
  論文  参考訳（メタデータ） (2022-11-04T16:50:40Z)
• Document-Level Relation Extraction with Sentences Importance Estimation and Focusing [52.069206266557266]
  文書レベルの関係抽出(DocRE)は、複数の文の文書から2つのエンティティ間の関係を決定することを目的としている。 我々はDocREのための文重要度スコアと文集中損失を設計するSIEF(Sentence Estimation and Focusing)フレームワークを提案する。 2つのドメインの実験結果から、SIEFは全体的なパフォーマンスを改善するだけでなく、DocREモデルをより堅牢にします。
  論文  参考訳（メタデータ） (2022-04-27T03:20:07Z)
• PRIMER: Pyramid-based Masked Sentence Pre-training for Multi-document Summarization [16.830963601598242]
  要約に着目した多文書表現のための事前学習モデルであるPRIMERを提案する。 具体的には,マルチドキュメント入力に適した適切な入力変換とグローバルアテンションを備えたLongformerアーキテクチャを採用する。 私たちのモデルであるPRIMERは、これらのほとんどの設定において、現在の最先端モデルよりも大きなマージンでパフォーマンスします。
  論文  参考訳（メタデータ） (2021-10-16T07:22:24Z)
• Efficient Attentions for Long Document Summarization [25.234852272297598]
  Heposは、頭の位置方向のストライドを持つ、新しい効率的なエンコーダデコーダアテンションである。 十分な注意を払っている既存のモデルよりも10倍のトークンを処理できます。
  論文  参考訳（メタデータ） (2021-04-05T18:45:13Z)
• Leveraging Graph to Improve Abstractive Multi-Document Summarization [50.62418656177642]
  我々は、文書のよく知られたグラフ表現を活用することができる、抽象的多文書要約(MDS)モデルを開発する。 本モデルでは,長い文書の要約に欠かせない文書間関係を捉えるために,文書の符号化にグラフを利用する。 また,このモデルでは,要約生成プロセスの導出にグラフを利用することが可能であり,一貫性と簡潔な要約を生成するのに有用である。
  論文  参考訳（メタデータ） (2020-05-20T13:39:47Z)
• Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward [42.925345819778656]
  本稿では,グラフ拡張と意味駆動型RewarDによる抽象要約のための新しいフレームワークであるASGARDを紹介する。 本稿では,2つのエンコーダ(シーケンシャル文書エンコーダ)とグラフ構造化エンコーダ(グラフ構造化エンコーダ)の利用を提案する。 その結果、我々のモデルは、New York TimesとCNN/Daily Mailのデータセットからの入力として、知識グラフのない変種よりもはるかに高いROUGEスコアを生成することがわかった。
  論文  参考訳（メタデータ） (2020-05-03T18:23:06Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。