論文の概要: A Novel LLM-based Two-stage Summarization Approach for Long Dialogues

• arxiv url: http://arxiv.org/abs/2410.06520v1
• Date: Wed, 9 Oct 2024 03:42:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 05:09:09.854759
• Title: A Novel LLM-based Two-stage Summarization Approach for Long Dialogues
• Title（参考訳）: 長対話のためのLLMに基づく2段階要約手法
• Authors: Yuan-Jhe Yin, Bo-Yu Chen, Berlin Chen,
• Abstract要約: 本研究では,長い文書から情報を分割・凝縮する階層的枠組みを提案する。 凝縮段階は、教師なし生成モデルを用いて凝縮データを生成する。 要約段階は、縮合されたデータ上の抽象的な要約モデルを微調整して最終結果を生成する。
• 参考スコア（独自算出の注目度）: 9.835499880812646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long document summarization poses a significant challenge in natural language processing due to input lengths that exceed the capacity of most state-of-the-art pre-trained language models. This study proposes a hierarchical framework that segments and condenses information from long documents, subsequently fine-tuning the processed text with an abstractive summarization model. Unsupervised topic segmentation methods identify semantically appropriate breakpoints. The condensation stage utilizes an unsupervised generation model to generate condensed data, and our current experiments employ ChatGPT(v3.5). The summarization stage fine-tunes the abstractive summarization model on the condensed data to generate the final results. This framework enables long documents to be processed on models even when the document length exceeds the model's maximum input size. The exclusion of the entire document from the summarization model reduces the time and computational resources required for training, making the framework suitable for contexts with constrained local computational resources.
• Abstract（参考訳）: 長い文書要約は、ほとんどの最先端の訓練済み言語モデルの容量を超える入力長のため、自然言語処理において重要な課題となる。 本研究では,長い文書から情報を分割・凝縮する階層的枠組みを提案し,その後,抽象的な要約モデルを用いて処理されたテキストを微調整する。 教師なしトピックセグメンテーション手法は意味的に適切なブレークポイントを識別する。 凝縮段階は教師なし生成モデルを用いて凝縮データを生成し, 現在の実験ではChatGPT(v3.5)を用いている。 要約段階は、縮合されたデータ上の抽象的な要約モデルを微調整して最終結果を生成する。 このフレームワークは、ドキュメント長がモデルの最大入力サイズを超えた場合でも、長いドキュメントをモデル上で処理できる。 要約モデルから文書全体を除外することで、訓練に必要な時間と計算資源を減らし、制約のある局所的な計算資源のコンテキストに適したフレームワークを作ることができる。

関連論文リスト

• Write Summary Step-by-Step: A Pilot Study of Stepwise Summarization [48.57273563299046]
  本稿では,新たな文書が提案されるたびに追加の要約を生成するステップワイド要約の課題を提案する。 追加された要約は、新たに追加されたコンテンツを要約するだけでなく、以前の要約と一貫性を持たなければならない。 SSGは,自動計測と人的評価の両面から,最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2024-06-08T05:37:26Z)
• LOCOST: State-Space Models for Long Document Abstractive Summarization [76.31514220737272]
  長いコンテキスト入力を持つ条件付きテキスト生成のための状態空間モデルに基づくエンコーダデコーダアーキテクチャであるLOCOSTを提案する。 計算複雑性が$O(L log L)$の場合、このアーキテクチャは疎注意パターンに基づく最先端モデルよりもはるかに長いシーケンスを処理できる。
  論文  参考訳（メタデータ） (2024-01-31T15:33:37Z)
• Peek Across: Improving Multi-Document Modeling via Cross-Document Question-Answering [49.85790367128085]
  我々は,事前学習対象に答える新しいクロスドキュメント質問から,汎用的なマルチドキュメントモデルを事前学習する。 この新規なマルチドキュメントQA定式化は、クロステキスト情報関係をよりよく回復させるようモデルに指示する。 分類タスクや要約タスクに焦点を当てた従来のマルチドキュメントモデルとは異なり、事前学習対象の定式化により、短いテキスト生成と長いテキスト生成の両方を含むタスクを実行できる。
  論文  参考訳（メタデータ） (2023-05-24T17:48:40Z)
• Adapting Pretrained Text-to-Text Models for Long Text Sequences [39.62224414485055]
  我々は、時系列入力に既存の事前訓練されたテキスト・ツー・テキスト・モデルを適用する。 長文QAタスク上での競合性能を実現するための長文モデルを構築した。
  論文  参考訳（メタデータ） (2022-09-21T00:41:07Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• Summ^N: A Multi-Stage Summarization Framework for Long Input Dialogues and Documents [13.755637074366813]
  SummNは、典型的な事前訓練されたLMの最大文脈長よりも長いテキストを入力するための、シンプルで柔軟で効果的な多段階フレームワークである。 LMコンテキストサイズを固定したままステージ数を調整することで任意の長さの入力テキストを処理できる。 実験の結果,SummNは従来の最先端手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-10-16T06:19:54Z)
• SummPip: Unsupervised Multi-Document Summarization with Sentence Graph Compression [61.97200991151141]
  SummPipはマルチドキュメント要約のための教師なしの手法である。 元の文書を文グラフに変換し、言語表現と深層表現の両方を考慮に入れます。 次に、スペクトルクラスタリングを適用して複数の文のクラスタを取得し、最後に各クラスタを圧縮して最終的な要約を生成する。
  論文  参考訳（メタデータ） (2020-07-17T13:01:15Z)
• A Divide-and-Conquer Approach to the Summarization of Long Documents [4.863209463405628]
  本稿では,長い文書のニューラル・サマライゼーションのための分割・畳み込み手法を提案する。 本手法は文書の談話構造を利用して,文の類似性を利用して問題をより小さな要約問題に分割する。 本稿では,シーケンス・ツー・シーケンスのRNNやトランスフォーマーなど,様々な要約モデルと組み合わせることで,要約性能の向上が期待できることを示す。
  論文  参考訳（メタデータ） (2020-04-13T20:38:49Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)
• Length-controllable Abstractive Summarization by Guiding with Summary Prototype [27.094797760775297]
  本稿では,新しい長さ制御可能な抽象要約モデルを提案する。 我々のモデルは2つのステップで要約を生成する。 CNN/Daily MailデータセットとNEWSROOMデータセットによる実験により、我々のモデルは、長さ制御された設定で過去のモデルよりも優れていた。
  論文  参考訳（メタデータ） (2020-01-21T04:01:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。