Fugu-MT 論文翻訳(概要): Learning Non-Autoregressive Models from Search for Unsupervised Sentence Summarization

論文の概要: Learning Non-Autoregressive Models from Search for Unsupervised Sentence Summarization

arxiv url: http://arxiv.org/abs/2205.14521v1
Date: Sat, 28 May 2022 21:09:23 GMT
ステータス: 処理完了
システム内更新日: 2022-05-31 14:18:34.573607
Title: Learning Non-Autoregressive Models from Search for Unsupervised Sentence Summarization
Title（参考訳）: 教師なし文要約探索による非自己回帰モデル学習
Authors: Puyuan Liu, Chenyang Huang, Lili Mou
Abstract要約: テキスト要約は、入力テキストの短い要約を生成することを目的としている。本研究では,非自己回帰的教師なし要約手法を提案する。実験により、NAUSは教師なし要約の最先端性能を達成することが示された。
参考スコア（独自算出の注目度）: 20.87460375478907
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Text summarization aims to generate a short summary for an input text. In this work, we propose a Non-Autoregressive Unsupervised Summarization (NAUS) approach, which does not require parallel data for training. Our NAUS first performs edit-based search towards a heuristically defined score, and generates a summary as pseudo-groundtruth. Then, we train an encoder-only non-autoregressive Transformer based on the search result. We also propose a dynamic programming approach for length-control decoding, which is important for the summarization task. Experiments on two datasets show that NAUS achieves state-of-the-art performance for unsupervised summarization, yet largely improving inference efficiency. Further, our algorithm is able to perform explicit length-transfer summary generation.
Abstract（参考訳）: テキスト要約は、入力テキストの短い要約を生成することを目的としている。本研究では,非自己回帰的非教師付き要約(NAUS)アプローチを提案する。我々のNAUSはまず、ヒューリスティックに定義されたスコアに対する編集ベースの検索を行い、擬似グラウンドトゥルスとして要約を生成する。そして、検索結果に基づいてエンコーダのみの非自己回帰変換器を訓練する。また,要約タスクにおいて重要な長さ制御復号化のための動的プログラミング手法を提案する。 2つのデータセットの実験では、NAUSは教師なしの要約のために最先端のパフォーマンスを達成するが、推論効率は大幅に改善している。さらに,提案アルゴリズムは,明示的な長さ移動要約生成を行うことができる。

関連論文リスト

Unsupervised Extractive Summarization with Learnable Length Control Strategies [33.75745103050596]
教師なし抽出要約は情報抽出と検索において重要な手法である。既存の教師なし手法の多くは、文中心性に基づくグラフベースのランキングに依存している。本稿では,シャイムネットワークに基づく教師なし抽出要約モデルを提案する。
論文参考訳（メタデータ） (2023-12-12T00:15:26Z)
Contrastive Transformer Learning with Proximity Data Generation for Text-Based Person Search [60.626459715780605]
記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
論文参考訳（メタデータ） (2023-11-15T16:26:49Z)
Summarization Programs: Interpretable Abstractive Summarization with Neural Modular Trees [89.60269205320431]
現在の抽象的要約モデルは明確な解釈可能性の欠如に悩まされるか、あるいは不完全理性を与える。本稿では,バイナリツリーの(順序付き)リストからなる解釈可能なモジュラーフレームワークであるSummarization Program (SP)を提案する。要約プログラムは、要約文毎に1つのルートノードを含み、各要約文と文書文を個別のツリーで接続する。
論文参考訳（メタデータ） (2022-09-21T16:50:22Z)
A Character-Level Length-Control Algorithm for Non-Autoregressive Sentence Summarization [23.495225374478295]
文要約は、長い文を主幹を保ちながら短い文に圧縮することを目的としており、見出し生成のような広範囲の現実世界の応用がある。本研究では,要約のための文字レベル長制御の新しい問題に対処し,コネクショニスト時間分類(CTC)モデルに基づく動的プログラミングアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-05-28T21:09:53Z)
HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
論文参考訳（メタデータ） (2021-10-12T22:42:31Z)
The Summary Loop: Learning to Write Abstractive Summaries Without Examples [21.85348918324668]
本研究は,与えられた長さ制約に対するカバレッジとフラエンシの組み合わせを最大化することに基づく,教師なし抽象的要約に対する新しいアプローチを提案する。主要な用語は元のドキュメントから隠蔽され、現在の生成された要約を使ってカバレッジモデルで満たされなければならない。一般的なニュース要約データセットでテストすると、従来の教師なし手法よりも2R-1ポイント以上性能が向上する。
論文参考訳（メタデータ） (2021-05-11T23:19:46Z)
Unsupervised Extractive Summarization by Pre-training Hierarchical Transformers [107.12125265675483]
教師なし抽出文書要約は、訓練中にラベル付き要約を用いることなく、文書から重要な文章を選択することを目的としている。既存の手法は主にグラフベースで、文をノードとして、エッジの重みは文の類似性によって測定される。教師なし抽出要約のための文のランク付けにはトランスフォーマーの注意が利用できることがわかった。
論文参考訳（メタデータ） (2020-10-16T08:44:09Z)
Discrete Optimization for Unsupervised Sentence Summarization with Word-Level Extraction [31.648764677078837]
自動要約は、その最も重要な情報を保存しながら、文章の短いバージョンを生成する。我々はこれら2つの側面を言語モデリングと意味的類似度メトリクスからなる教師なし目的関数でモデル化する。提案手法は,ROUGEスコアによる教師なし文要約のための新しい最先端技術を実現する。
論文参考訳（メタデータ） (2020-05-04T19:01:55Z)
POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
論文参考訳（メタデータ） (2020-05-01T18:11:54Z)
Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
論文参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。