論文の概要: AWESOME: GPU Memory-constrained Long Document Summarization using Memory Mechanism and Global Salient Content

• arxiv url: http://arxiv.org/abs/2305.14806v2
• Date: Thu, 16 Nov 2023 11:47:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 22:46:05.462946
• Title: AWESOME: GPU Memory-constrained Long Document Summarization using Memory Mechanism and Global Salient Content
• Title（参考訳）: AWESOME: メモリ機構とグローバルサリアンコンテンツを用いたGPUメモリ制約長文書要約
• Authors: Shuyang Cao and Lu Wang
• Abstract要約: 長い文書要約システムは、長文とjargonladenテキストを持つドメインにとって重要である。 AWESOMEは、より長い文書の競争ベースラインよりも情報性、忠実性、一貫性を改善した要約を生成する。
• 参考スコア（独自算出の注目度）: 16.458279293804285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long document summarization systems are critical for domains with lengthy and jargonladen text, yet they present significant challenges to researchers and developers with limited computing resources. Existing solutions mainly focus on efficient attentions or divide-and-conquer strategies. The former reduces theoretical time complexity, but is still memory-heavy. The latter methods sacrifice global context, leading to uninformative and incoherent summaries. This work aims to leverage the memory-efficient nature of divide-and-conquer methods while preserving global context. Concretely, our framework AWESOME uses two novel mechanisms: (1) External memory mechanisms track previously encoded document segments and their corresponding summaries, to enhance global document understanding and summary coherence. (2) Global salient content is further identified beforehand to augment each document segment to support its summarization. Extensive experiments on diverse genres of text, including government reports, transcripts, scientific papers, and novels, show that AWESOME produces summaries with improved informativeness, faithfulness, and coherence than competitive baselines on longer documents, while having a smaller GPU memory footprint.
• Abstract（参考訳）: 長い文書要約システムは、長文およびjargonladenテキストを持つ領域では重要であるが、限られた計算資源を持つ研究者や開発者には重大な課題がある。 既存のソリューションは、主に効率的な注意力や配当戦略に重点を置いている。 前者は理論的な時間の複雑さを減らしますが、それでもメモリが重いです。 後者のメソッドはグローバルコンテキストを犠牲にし、非形式的で一貫性のない要約に繋がる。 本研究の目的は,グローバルなコンテキストを保ちながら分割・参照方式のメモリ効率性を活用することである。 具体的には,(1)外部メモリ機構が従来エンコードされていた文書セグメントとその要約を追跡し,グローバルな文書理解と要約コヒーレンスを強化する。 (2)グローバルサリエントコンテンツは、その要約をサポートするために各文書セグメントを補強するために事前に識別される。 政府報告書、写本、科学論文、小説など、多種多様な分野のテキストに関する広範な実験は、AWESOMEがより長いドキュメントの競合ベースラインよりも情報性、忠実性、一貫性を改善した要約を生成する一方で、GPUメモリフットプリントが小さくなっていることを示している。

関連論文リスト

• LLM$\times$MapReduce: Simplified Long-Sequence Processing using Large Language Models [73.13933847198395]
  本稿では,文書理解を包括的に行うための分割・対数戦略を利用して,長文処理のための学習自由フレームワークを提案する。 提案された LLM$times$MapReduce フレームワークは、ドキュメント全体を LLM が読み取るためにいくつかのチャンクに分割し、中間回答を集約して最終的な出力を生成する。
  論文  参考訳（メタデータ） (2024-10-12T03:13:44Z)
• Graph Neural Network and NER-Based Text Summarization [1.5850926890180461]
  本稿では,グラフニューラルネットワーク(GNN)と名前付きエンティティ認識(NER)システムを活用した,テキスト要約のための革新的なアプローチを紹介する。 本手法は,要約の効率を高めるとともに,凝縮した内容の高次関連性を確保することを目的としている。
  論文  参考訳（メタデータ） (2024-02-05T03:00:44Z)
• RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
  RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。 デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。 本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
  論文  参考訳（メタデータ） (2023-05-23T17:53:38Z)
• Document-Level Abstractive Summarization [0.0]
  非常に長いテキストの自動要約を改善するために,トランスフォーマー技術がいかに効果的かを検討する。 より小さなチャンクを処理して文書全体の要約を生成するコストを削減できる新しい検索強化手法を提案する。
  論文  参考訳（メタデータ） (2022-12-06T14:39:09Z)
• Dynamic Global Memory for Document-level Argument Extraction [63.314514124716936]
  文書レベルのイベント引数抽出のための,新しいグローバルなニューラルジェネレーションベースのフレームワークを提案する。 文書メモリストアを使用してコンテキストイベント情報を記録し、それを暗黙的に明示的に活用することで、後のイベントの引数の復号に役立ちます。 実験結果から,我々のフレームワークは従来の手法よりも大幅に優れていたことが判明した。
  論文  参考訳（メタデータ） (2022-09-18T23:45:25Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• Unsupervised Summarization with Customized Granularities [76.26899748972423]
  本稿では,最初の教師なし多粒度要約フレームワークであるGranuSumを提案する。 異なる数のイベントを入力することで、GranuSumは教師なしの方法で複数の粒度のサマリーを生成することができる。
  論文  参考訳（メタデータ） (2022-01-29T05:56:35Z)
• Bringing Structure into Summaries: a Faceted Summarization Dataset for Long Scientific Documents [30.09742243490895]
  FacetSumは、Emeraldのジャーナル記事上に構築された顔の要約ベンチマークである。 データセットの分析と実験結果から,構造を要約に組み込むことの重要性が明らかになった。 我々は、FacetSumが要約研究のさらなる進歩を促し、NLPシステムの開発を促進すると信じている。
  論文  参考訳（メタデータ） (2021-05-31T22:58:38Z)
• Summarize, Outline, and Elaborate: Long-Text Generation via Hierarchical Supervision from Extractive Summaries [46.183289748907804]
  長文生成のためのアウトライン化,アウトライン化,エラボレートを行うパイプラインシステムSOEを提案する。 SOEは、より高速な収束速度とともに、非常に優れた品質の長いテキストを生成する。
  論文  参考訳（メタデータ） (2020-10-14T13:22:20Z)
• From Standard Summarization to New Tasks and Beyond: Summarization with Manifold Information [77.89755281215079]
  テキスト要約は、原文書の短く凝縮した版を作成することを目的とした研究分野である。 現実世界のアプリケーションでは、ほとんどのデータは平易なテキスト形式ではない。 本稿では,現実のアプリケーションにおけるこれらの新しい要約タスクとアプローチについて調査する。
  論文  参考訳（メタデータ） (2020-05-10T14:59:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。