論文の概要: Learning to Summarize Long Texts with Memory Compression and Transfer

• arxiv url: http://arxiv.org/abs/2010.11322v1
• Date: Wed, 21 Oct 2020 21:45:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 22:58:47.664310
• Title: Learning to Summarize Long Texts with Memory Compression and Transfer
• Title（参考訳）: 記憶圧縮と転送による長文要約の学習
• Authors: Jaehong Park, Jonathan Pilault and Christopher Pal
• Abstract要約: 本稿では,階層的リカレントニューラルネットワークに基づくエンコーダデコーダアーキテクチャのためのメモリ・ツー・メモリ機構であるMem2Memを紹介する。 我々のメモリ正規化は、よりコンパクトな文表現セットに符号化された入力項目を圧縮する。
• 参考スコア（独自算出の注目度）: 3.5407857489235206
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We introduce Mem2Mem, a memory-to-memory mechanism for hierarchical recurrent neural network based encoder decoder architectures and we explore its use for abstractive document summarization. Mem2Mem transfers "memories" via readable/writable external memory modules that augment both the encoder and decoder. Our memory regularization compresses an encoded input article into a more compact set of sentence representations. Most importantly, the memory compression step performs implicit extraction without labels, sidestepping issues with suboptimal ground-truth data and exposure bias of hybrid extractive-abstractive summarization techniques. By allowing the decoder to read/write over the encoded input memory, the model learns to read salient information about the input article while keeping track of what has been generated. Our Mem2Mem approach yields results that are competitive with state of the art transformer based summarization methods, but with 16 times fewer parameters
• Abstract（参考訳）: 本稿では,階層型再帰型ニューラルネットワークを用いたエンコーダデコーダアーキテクチャのためのメモリ対メモリ機構であるmem2memについて紹介する。 Mem2Memは、エンコーダとデコーダの両方を増強する読み取り/書き込み可能な外部メモリモジュールを介して「メモリ」を転送する。 我々のメモリ正規化は、符号化された入力記事をよりコンパクトな文表現に圧縮する。 最も重要なことは、メモリ圧縮ステップがラベルなしで暗黙的な抽出を行うこと、最適地下構造データによるサイドステッピング問題、ハイブリッド抽出-抽象的要約手法の露出バイアス。 デコーダが符号化された入力メモリ上で読み書きできることで、モデルが生成した情報を追跡しながら、入力項目に関する適切な情報を読み取ることができる。 我々のMem2Memアプローチは、アートトランスフォーマーに基づく要約手法と競合する結果をもたらすが、パラメータは16倍少ない。

関連論文リスト

• BitStack: Fine-Grained Size Control for Compressed Large Language Models in Variable Memory Environments [53.71158537264695]
  大規模言語モデル(LLM)は、多くのアプリケーションに革命をもたらしたが、ローカルデバイスにおけるメモリ制限により、その展開は依然として困難である。 textbfBitStackは,メモリ使用量とモデル性能のトレードオフを可能にする,新しいトレーニング不要な重み圧縮手法である。
  論文  参考訳（メタデータ） (2024-10-31T13:26:11Z)
• Context Compression for Auto-regressive Transformers with Sentinel Tokens [37.07722536907739]
  本稿では,特定のトークンの中間活性化をコンパクトに段階的に圧縮できるプラグイン・アンド・プレイ方式を提案する。 ドメイン内言語モデリングとゼロショットオープンエンド文書生成の両方の実験は、我々のアプローチの利点を実証している。
  論文  参考訳（メタデータ） (2023-10-12T09:18:19Z)
• Implicit Memory Transformer for Computationally Efficient Simultaneous Speech Translation [0.20305676256390928]
  本稿では,新たな左コンテキスト手法により暗黙的にメモリを保持するImplicit Memory Transformerを提案する。 MuST-Cデータセットの実験では、Implicit Memory Transformerがエンコーダのフォワードパスにかなりのスピードアップを提供することが示された。
  論文  参考訳（メタデータ） (2023-07-03T22:20:21Z)
• GLIMMER: generalized late-interaction memory reranker [29.434777627686692]
  メモリ拡張は、外部情報を言語モデルに組み込むための強力なアプローチである。 LUMENはメモリを部分的にプリコンプリートし、より小さなライブエンコーダでメモリ表現を更新する。 GLIMMERは,1) メモリ上に浅い再ランカを適用して,高速で検索品質を劇的に向上させることにより,強力なメモリ表現への自由アクセスを活用できる。
  論文  参考訳（メタデータ） (2023-06-17T01:54:25Z)
• Differentiable Neural Computers with Memory Demon [0.0]
  本稿では,これらのアーキテクチャの性能において,記憶内容の情報理論的性質が重要な役割を担っていることを示す。 本稿では,DNCアーキテクチャに新たなメモリデモンの概念を導入し,付加的な入力エンコーディングによって暗黙的にメモリ内容を変更する。
  論文  参考訳（メタデータ） (2022-11-05T22:24:47Z)
• Small Lesion Segmentation in Brain MRIs with Subpixel Embedding [105.1223735549524]
  ヒト脳のMRIスキャンを虚血性脳梗塞と正常組織に分割する方法を提案する。 本稿では,空間展開埋め込みネットワークによって予測を導出する標準エンコーダデコーダの形式でニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-09-18T00:21:17Z)
• Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory [75.65949969000596]
  エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。 我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。 この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2021-02-20T18:40:40Z)
• Text Compression-aided Transformer Encoding [77.16960983003271]
  本稿では,トランスフォーマーのエンコーディングを強化するために,明示的で暗黙的なテキスト圧縮手法を提案する。 バックボーン情報、つまり入力テキストのgistは、特に焦点を当てていません。 評価の結果,提案した明示的かつ暗黙的なテキスト圧縮手法は,強いベースラインと比較して結果を改善することがわかった。
  論文  参考訳（メタデータ） (2021-02-11T11:28:39Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)
• MART: Memory-Augmented Recurrent Transformer for Coherent Video Paragraph Captioning [128.36951818335046]
  MART(Memory-Augmented Recurrent Transformer)と呼ばれる新しい手法を提案する。 MARTはメモリモジュールを使用してトランスフォーマーアーキテクチャを拡張する。 MARTはベースライン法よりもコヒーレントで繰り返しない段落を生成する。
  論文  参考訳（メタデータ） (2020-05-11T20:01:41Z)
• Learning Directly from Grammar Compressed Text [17.91878224879985]
  本稿では, 圧縮を伴わない文法圧縮アルゴリズムを用いて圧縮したテキストデータに対して, ニューラルシーケンスモデルを適用する手法を提案する。 圧縮規則に現れるユニークなシンボルを符号化するために,記号をベクトル表現にインクリメンタルにエンコードする合成モジュールを導入する。
  論文  参考訳（メタデータ） (2020-02-28T06:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。