論文の概要: Efficient Attentions for Long Document Summarization

• arxiv url: http://arxiv.org/abs/2104.02112v1
• Date: Mon, 5 Apr 2021 18:45:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-08 00:24:27.799654
• Title: Efficient Attentions for Long Document Summarization
• Title（参考訳）: 長文要約のための効率的注意
• Authors: Luyang Huang, Shuyang Cao, Nikolaus Parulian, Heng Ji and Lu Wang
• Abstract要約: Heposは、頭の位置方向のストライドを持つ、新しい効率的なエンコーダデコーダアテンションである。 十分な注意を払っている既存のモデルよりも10倍のトークンを処理できます。
• 参考スコア（独自算出の注目度）: 25.234852272297598
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The quadratic computational and memory complexities of large Transformers have limited their scalability for long document summarization. In this paper, we propose Hepos, a novel efficient encoder-decoder attention with head-wise positional strides to effectively pinpoint salient information from the source. We further conduct a systematic study of existing efficient self-attentions. Combined with Hepos, we are able to process ten times more tokens than existing models that use full attentions. For evaluation, we present a new dataset, GovReport, with significantly longer documents and summaries. Results show that our models produce significantly higher ROUGE scores than competitive comparisons, including new state-of-the-art results on PubMed. Human evaluation also shows that our models generate more informative summaries with fewer unfaithful errors.
• Abstract（参考訳）: 大規模変圧器の二次計算とメモリの複雑さは、長い文書要約のスケーラビリティを制限している。 そこで本論文では,頭部方向の位置方向を向いたより効率的なエンコーダ・デコーダのためのheposを提案する。 さらに、既存の効率的な自己意識の体系的研究を行う。 Heposと組み合わせることで、十分に注意を払っている既存のモデルよりも10倍多くのトークンを処理できます。 評価には、文書と要約が大幅に長い新しいデータセットであるGovReportを提案する。 その結果,我々のモデルでは,PubMedの新たな最先端結果を含む競合比較よりも高いROUGEスコアが得られた。 人間の評価は、我々のモデルが不信な誤りが少ないより情報的な要約を生成することも示している。

関連論文リスト

• DocMamba: Efficient Document Pre-training with State Space Model [56.84200017560988]
  本稿では,状態空間モデルに基づく新しいフレームワークDocMambaを紹介する。 グローバルなモデリング能力を保ちながら、計算複雑性を線形に減らすように設計されている。 HRDocの実験では、DocMambaの長さ外挿の可能性が確認された。
  論文  参考訳（メタデータ） (2024-09-18T11:34:28Z)
• Efficient Document Ranking with Learnable Late Interactions [73.41976017860006]
  クロスエンコーダ(CE)とデュアルエンコーダ(DE)モデルは,情報検索におけるクエリドキュメント関連性の2つの基本的なアプローチである。 関連性を予測するため、CEモデルは共同クエリドキュメントの埋め込みを使用し、DEモデルは分解クエリとドキュメントの埋め込みを維持している。 近年、DEM構造と軽量スコアラを用いて、より好ましいレイテンシ品質のトレードオフを実現するために、遅延相互作用モデルが提案されている。
  論文  参考訳（メタデータ） (2024-06-25T22:50:48Z)
• Improving Out-of-Distribution Generalization of Neural Rerankers with Contextualized Late Interaction [52.63663547523033]
  マルチベクトルの最も単純な形式である後期相互作用は、[]ベクトルのみを使用して類似度スコアを計算する神経リランカにも役立ちます。 異なるモデルサイズと多様な性質の第一段階のレトリバーに一貫性があることが示される。
  論文  参考訳（メタデータ） (2023-02-13T18:42:17Z)
• Evaluating and Improving Factuality in Multimodal Abstractive Summarization [91.46015013816083]
  そこで我々は,CLIPBERTScoreを提案する。 ゼロショットにおけるこの2つの指標の単純な組み合わせは、文書要約のための既存の事実度指標よりも高い相関性が得られることを示す。 本分析は,CLIPBERTScoreとそのコンポーネントの信頼性と高い相関性を示す。
  論文  参考訳（メタデータ） (2022-11-04T16:50:40Z)
• How Far are We from Robust Long Abstractive Summarization? [39.34743996451813]
  我々は、信頼できる要約を生成するために、長い文書抽象要約システム(モデルとメトリクス)を実装して評価する。 長期の文書評価指標について,人間の評価結果から,ROUGEは要約の関連性を評価する上で最善であることが明らかとなった。 我々は、より広い範囲の要約設定でメトリクスの開発に貢献できることを願って、注釈付き長いドキュメントデータセットをリリースします。
  論文  参考訳（メタデータ） (2022-10-30T03:19:50Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• Enhancing Extractive Text Summarization with Topic-Aware Graph Neural Networks [21.379555672973975]
  本稿では,グラフニューラルネットワーク(GNN)に基づく抽出要約モデルを提案する。 本モデルでは,文章選択のための文書レベルの特徴を提供する潜在トピックを発見するために,共同ニューラルトピックモデル(NTM)を統合している。 実験結果から,CNN/DMおよびNYTデータセットにおいて,本モデルがほぼ最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-10-13T09:30:04Z)
• Leveraging Graph to Improve Abstractive Multi-Document Summarization [50.62418656177642]
  我々は、文書のよく知られたグラフ表現を活用することができる、抽象的多文書要約(MDS)モデルを開発する。 本モデルでは,長い文書の要約に欠かせない文書間関係を捉えるために,文書の符号化にグラフを利用する。 また,このモデルでは,要約生成プロセスの導出にグラフを利用することが可能であり,一貫性と簡潔な要約を生成するのに有用である。
  論文  参考訳（メタデータ） (2020-05-20T13:39:47Z)
• Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward [42.925345819778656]
  本稿では,グラフ拡張と意味駆動型RewarDによる抽象要約のための新しいフレームワークであるASGARDを紹介する。 本稿では,2つのエンコーダ(シーケンシャル文書エンコーダ)とグラフ構造化エンコーダ(グラフ構造化エンコーダ)の利用を提案する。 その結果、我々のモデルは、New York TimesとCNN/Daily Mailのデータセットからの入力として、知識グラフのない変種よりもはるかに高いROUGEスコアを生成することがわかった。
  論文  参考訳（メタデータ） (2020-05-03T18:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。