論文の概要: Windowing Models for Abstractive Summarization of Long Texts

• arxiv url: http://arxiv.org/abs/2004.03324v1
• Date: Tue, 7 Apr 2020 13:01:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 23:58:38.706224
• Title: Windowing Models for Abstractive Summarization of Long Texts
• Title（参考訳）: 長文の抽象要約のためのウィンドウ化モデル
• Authors: Leon Sch\"uller and Florian Wilhelm and Nico Kreiling and Goran Glava\v{s}
• Abstract要約: 長文の抽象的要約のためのウィンドウ化モデルを提案する。 我々は、ポインタジェネレータネットワークで拡張されたシーケンス・ツー・シーケンスモデルを拡張する。 実証的な結果は、私たちのモデルを意図したユースケースで効果的に表現します。
• 参考スコア（独自算出の注目度）: 4.215251065887861
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Neural summarization models suffer from the fixed-size input limitation: if text length surpasses the model's maximal number of input tokens, some document content (possibly summary-relevant) gets truncated Independently summarizing windows of maximal input size disallows for information flow between windows and leads to incoherent summaries. We propose windowing models for neural abstractive summarization of (arbitrarily) long texts. We extend the sequence-to-sequence model augmented with pointer generator network by (1) allowing the encoder to slide over different windows of the input document and (2) sharing the decoder and retaining its state across different input windows. We explore two windowing variants: Static Windowing precomputes the number of tokens the decoder should generate from each window (based on training corpus statistics); in Dynamic Windowing the decoder learns to emit a token that signals encoder's shift to the next input window. Empirical results render our models effective in their intended use-case: summarizing long texts with relevant content not bound to the very document beginning.
• Abstract（参考訳）: テキストの長さがモデルの入力トークンの最大数を超えると、いくつかの文書内容(おそらく要約関連)は、最大入力サイズのウィンドウを独立に要約し、ウィンドウ間の情報フローを禁止し、一貫性のない要約につながる。 本稿では,(任意に)長文の抽象的要約のためのウィンドウモデルを提案する。 我々は,(1)エンコーダが入力文書の異なるウィンドウをスライディングし,(2)デコーダを共有でき,その状態を異なる入力ウィンドウで保持することで,ポインタジェネレータネットワークに付加したシーケンス・ツー・シーケンス・モデルを拡張する。 静的ウィンドウは、各ウィンドウからデコーダが生成すべきトークンの数を事前に計算する(トレーニングコーパス統計に基づいて)。 実験的な結果は、我々のモデルを意図したユースケースで効果的に表現する: 文書の開始に縛られない関連コンテンツで長いテキストを要約する。

関連論文リスト

• CountGD: Multi-Modal Open-World Counting [54.88804890463491]
  本稿では,画像中のオープン語彙オブジェクトの数値化の一般化と精度の向上を目的とする。 本稿では,最初のオープンワールドカウントモデルであるCountGDを紹介した。
  論文  参考訳（メタデータ） (2024-07-05T16:20:48Z)
• MM-Interleaved: Interleaved Image-Text Generative Modeling via Multi-modal Feature Synchronizer [106.79844459065828]
  本稿では,画像テキストデータのエンドツーエンド生成モデルであるMM-Interleavedを提案する。 マルチスケールおよびマルチイメージ機能同期モジュールを導入し、以前のコンテキストできめ細かい画像機能に直接アクセスできるようにする。 MM-Interleavedはマルチモーダルな指示に従って視覚的詳細を認識し、テキストと視覚の両方の条件に従って一貫した画像を生成する。
  論文  参考訳（メタデータ） (2024-01-18T18:50:16Z)
• ScatterFormer: Efficient Voxel Transformer with Scattered Linear Attention [13.36619701679949]
  ウィンドウベースのトランスフォーマーは、安価な注意計算でコンテキスト認識表現をキャプチャすることで、大規模クラウド理解において優れている。 既存のメソッドは、ウィンドウ内のボクセルを広範囲のソートとパディング操作を通じて固定長のシーケンスにグループ化する。 ScatterFormerは、異なるウィンドウにまたがるvoxelに直接、単一のシーケンスとして注意を向ける最初の方法です。
  論文  参考訳（メタデータ） (2024-01-01T02:29:59Z)
• SparseCtrl: Adding Sparse Controls to Text-to-Video Diffusion Models [84.71887272654865]
  SparseCtrlは時間的にスパース信号で柔軟な構造制御を可能にする。 トレーニング済みのT2Vモデルに触ることなく、これらのスパース信号を処理するための追加条件が組み込まれている。 提案手法はスケッチ,深度マップ,RGB画像など,さまざまなモダリティと互換性がある。
  論文  参考訳（メタデータ） (2023-11-28T16:33:08Z)
• PuMer: Pruning and Merging Tokens for Efficient Vision Language Models [41.81484883647005]
  PuMerは、テキストインフォームされたPruningとModality-aware Merging戦略を使用して、入力画像とテキストのトークンを段階的に削減するフレームワークである。 PuMer推論はスループットを最大2倍にし、メモリフットプリントを50%以上削減し、精度を1%以下に低下させる。
  論文  参考訳（メタデータ） (2023-05-27T17:16:27Z)
• eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers [87.52504764677226]
  大規模拡散に基づく生成モデルは、テキスト条件の高解像度画像合成においてブレークスルーをもたらした。 異なる段階合成に特化したテキスト・画像拡散モデルのアンサンブルを訓練する。 eDiffiと呼ばれる拡散モデルのアンサンブルは、同じ推論コストを維持しながらテキストアライメントを改善する。
  論文  参考訳（メタデータ） (2022-11-02T17:43:04Z)
• VX2TEXT: End-to-End Learning of Video-Based Text Generation From Multimodal Inputs [103.99315770490163]
  本稿では,ビデオ+テキスト,音声,音声によるマルチモーダル入力からテキストを生成するフレームワークを提案する。 実験により、一つのアーキテクチャに基づくアプローチは、3つのビデオベースのテキスト生成タスクにおいて最先端のタスクより優れていることが示された。
  論文  参考訳（メタデータ） (2021-01-28T15:22:36Z)
• Exploring Explainable Selection to Control Abstractive Summarization [51.74889133688111]
  説明可能性を重視した新しいフレームワークを開発する。 新しいペアワイズ行列は、文の相互作用、中心性、属性スコアをキャプチャする。 コンストラクタ内の文分割アテンション機構は、最終要約が所望のコンテンツを強調することを保証する。
  論文  参考訳（メタデータ） (2020-04-24T14:39:34Z)
• Length-controllable Abstractive Summarization by Guiding with Summary Prototype [27.094797760775297]
  本稿では,新しい長さ制御可能な抽象要約モデルを提案する。 我々のモデルは2つのステップで要約を生成する。 CNN/Daily MailデータセットとNEWSROOMデータセットによる実験により、我々のモデルは、長さ制御された設定で過去のモデルよりも優れていた。
  論文  参考訳（メタデータ） (2020-01-21T04:01:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。