論文の概要: LOCOST: State-Space Models for Long Document Abstractive Summarization

• arxiv url: http://arxiv.org/abs/2401.17919v3
• Date: Mon, 25 Mar 2024 12:52:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 01:45:48.931731
• Title: LOCOST: State-Space Models for Long Document Abstractive Summarization
• Title（参考訳）: LOCOST:長期文書要約のための状態空間モデル
• Authors: Florian Le Bronnec, Song Duong, Mathieu Ravaut, Alexandre Allauzen, Nancy F. Chen, Vincent Guigue, Alberto Lumbreras, Laure Soulier, Patrick Gallinari,
• Abstract要約: 長いコンテキスト入力を持つ条件付きテキスト生成のための状態空間モデルに基づくエンコーダデコーダアーキテクチャであるLOCOSTを提案する。 計算複雑性が$O(L log L)$の場合、このアーキテクチャは疎注意パターンに基づく最先端モデルよりもはるかに長いシーケンスを処理できる。
• 参考スコア（独自算出の注目度）: 76.31514220737272
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-space models are a low-complexity alternative to transformers for encoding long sequences and capturing long-term dependencies. We propose LOCOST: an encoder-decoder architecture based on state-space models for conditional text generation with long context inputs. With a computational complexity of $O(L \log L)$, this architecture can handle significantly longer sequences than state-of-the-art models that are based on sparse attention patterns. We evaluate our model on a series of long document abstractive summarization tasks. The model reaches a performance level that is 93-96% comparable to the top-performing sparse transformers of the same size while saving up to 50% memory during training and up to 87% during inference. Additionally, LOCOST effectively handles input texts exceeding 600K tokens at inference time, setting new state-of-the-art results on full-book summarization and opening new perspectives for long input processing.
• Abstract（参考訳）: 状態空間モデルは、長いシーケンスをエンコードし、長期的な依存関係をキャプチャするトランスフォーマーに代わる低複雑さである。 長いコンテキスト入力を持つ条件付きテキスト生成のための状態空間モデルに基づくエンコーダデコーダアーキテクチャであるLOCOSTを提案する。 計算複雑性が$O(L \log L)$の場合、このアーキテクチャは疎注意パターンに基づく最先端モデルよりもはるかに長いシーケンスを処理できる。 我々は,一連の長い文書要約タスクにおいて,そのモデルを評価した。 このモデルは、トレーニング中に最大50%のメモリを節約し、推論中に最大87%のメモリを節約しながら、同じサイズで最高のパフォーマンスのスパーストランスフォーマーに匹敵する93-96%のパフォーマンスレベルに達する。 さらに、LOCOSTは、推論時に600Kトークンを超える入力テキストを効果的に処理し、フルブックの要約に関する新しい最先端結果を設定し、長い入力処理のための新しい視点を開く。

関連論文リスト

• A Novel LLM-based Two-stage Summarization Approach for Long Dialogues [9.835499880812646]
  本研究では,長い文書から情報を分割・凝縮する階層的枠組みを提案する。 凝縮段階は、教師なし生成モデルを用いて凝縮データを生成する。 要約段階は、縮合されたデータ上の抽象的な要約モデルを微調整して最終結果を生成する。
  論文  参考訳（メタデータ） (2024-10-09T03:42:40Z)
• Summarizing long regulatory documents with a multi-step pipeline [2.2591852560804675]
  長い規則文を要約するための2段階アーキテクチャの有効性は、使用するモデルによって異なることを示す。 コンテクスト長の短い抽象エンコーダ・デコーダモデルでは抽出ステップの有効性が異なるが、長文エンコーダ・デコーダモデルでは抽出ステップが性能を悪化させる。
  論文  参考訳（メタデータ） (2024-08-19T08:07:25Z)
• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)
• GrootVL: Tree Topology is All You Need in State Space Model [66.36757400689281]
  GrootVLは、視覚的タスクとテキストタスクの両方に適用できる多目的マルチモーダルフレームワークである。 本手法は, 画像分類, オブジェクト検出, セグメンテーションにおいて, 既存の構造化状態空間モデルよりも大幅に優れる。 大規模言語モデルの微調整により,本手法は訓練コストの少ない複数のテキストタスクにおいて一貫した改善を実現する。
  論文  参考訳（メタデータ） (2024-06-04T15:09:29Z)
• LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
  自己保持機構の計算コストは、長いシーケンスの実用性を制限する。 我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
  論文  参考訳（メタデータ） (2024-04-17T08:26:34Z)
• Training-Free Long-Context Scaling of Large Language Models [114.53296002607993]
  我々は、Llama2 70Bが連続的なトレーニングなしで100k以上のトークンのコンテキストウィンドウをサポート可能なDual Chunk Attentionを提案する。 長いシーケンスの注意をチャンクベースのモジュールに分解することで、DCAはトークンの相対的な位置情報を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2024-02-27T12:39:23Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• SEAL: Segment-wise Extractive-Abstractive Long-form Text Summarization [39.85688193525843]
  入力シーケンス長を最大10万トークン,出力シーケンス長を最大768トークンとするシーケンス・ツー・シーケンスについて検討した。 入力スニペットを動的に抽出・選択し,各出力セグメントに疎通する,新しいエンコーダ・デコーダを特徴とするトランスフォーマーベースモデルSEALを提案する。 SEALモデルは、既存の長文要約タスクの最先端結果を実現し、私たちが導入した新しいデータセット/タスクであるSearch2Wikiにおいて、はるかに長い入力テキストで強力なベースラインモデルより優れている。
  論文  参考訳（メタデータ） (2020-06-18T00:13:21Z)
• Beyond 512 Tokens: Siamese Multi-depth Transformer-based Hierarchical Encoder for Long-Form Document Matching [28.190001111358438]
  長文文書マッチングのためのシームズ多層変換器を用いたSMITHを提案する。 我々のモデルには、より長いテキスト入力に自己注意モデルを適用するためのいくつかの革新が含まれている。 われわれはウィキペディアベースのベンチマークデータセット、コード、トレーニング済みのチェックポイントをオープンソース化し、長文文書マッチングの今後の研究を加速する。
  論文  参考訳（メタデータ） (2020-04-26T07:04:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。