論文の概要: Leverage Unlabeled Data for Abstractive Speech Summarization with Self-Supervised Learning and Back-Summarization

• arxiv url: http://arxiv.org/abs/2007.15296v2
• Date: Thu, 17 Sep 2020 10:12:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-05 13:57:20.486559
• Title: Leverage Unlabeled Data for Abstractive Speech Summarization with Self-Supervised Learning and Back-Summarization
• Title（参考訳）: 自己教師付き学習とバックサムマリゼーションを用いた抽象的音声要約にラベルなしデータを活用する
• Authors: Paul Tardy, Louis de Seynes, Fran\c{c}ois Hernandez, Vincent Nguyen, David Janiszek, Yannick Est\`eve
• Abstract要約: 神経抽象的要約のための改良されたアプローチは、構築にコストがかかる大きな注釈付きコーパスを必要とする。 本稿では,ミーティング音声記録の自動書き起こしに基づいて,レポートが予測される,フランスの会議要約タスクを提案する。 本報告では,2つの評価セットの両アプローチのベースラインに対して,以前のベースラインと比較して大きな改善点を報告した。
• 参考スコア（独自算出の注目度）: 6.465251961564605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised approaches for Neural Abstractive Summarization require large annotated corpora that are costly to build. We present a French meeting summarization task where reports are predicted based on the automatic transcription of the meeting audio recordings. In order to build a corpus for this task, it is necessary to obtain the (automatic or manual) transcription of each meeting, and then to segment and align it with the corresponding manual report to produce training examples suitable for training. On the other hand, we have access to a very large amount of unaligned data, in particular reports without corresponding transcription. Reports are professionally written and well formatted making pre-processing straightforward. In this context, we study how to take advantage of this massive amount of unaligned data using two approaches (i) self-supervised pre-training using a target-side denoising encoder-decoder model; (ii) back-summarization i.e. reversing the summarization process by learning to predict the transcription given the report, in order to align single reports with generated transcription, and use this synthetic dataset for further training. We report large improvements compared to the previous baseline (trained on aligned data only) for both approaches on two evaluation sets. Moreover, combining the two gives even better results, outperforming the baseline by a large margin of +6 ROUGE-1 and ROUGE-L and +5 ROUGE-2 on two evaluation sets
• Abstract（参考訳）: 神経抽象的要約のための教師付きアプローチは、構築にコストがかかる大きな注釈付きコーパスを必要とする。 本稿では,会議音声記録の自動書き起こしに基づいて報告を予測したフランス会議要約タスクを提案する。 このタスクのためのコーパスを構築するには、各ミーティングの(自動的または手動の)書き起こしを取得し、それを対応するマニュアルレポートに分割して調整し、トレーニングに適したトレーニングサンプルを作成する必要がある。 一方で、私たちは大量の非整合データ、特に対応する転写なしでレポートにアクセスできます。 レポートはプロフェッショナルに書かれ、フォーマットがよく、前処理を簡単にします。 この文脈では、2つのアプローチを用いてこの膨大な不整合データを利用する方法を研究する。 (i)対象側デノイジングエンコーダ・デコーダモデルを用いた自己教師付き事前学習 (ii)要約過程の逆転、すなわち、レポートに与えられた書き起こしを予測し、単一のレポートを生成された書き起こしと整合させ、この合成データセットを更なる訓練に使用すること。 本報告では,2つの評価セットに対する2つのアプローチについて,前回のベースライン(アライメントデータのみに基づく)と比較して大きな改善点を報告する。 さらにこの2つを組み合わせることで,2つの評価セットにおいて,+6 ROUGE-1と+5 ROUGE-2の大きなマージンでベースラインを上回り,さらによい結果が得られる。

関連論文リスト

• BERM: Training the Balanced and Extractable Representation for Matching to Improve Generalization Ability of Dense Retrieval [54.66399120084227]
  本稿では,BERMと呼ばれるマッチング信号の取得により,高密度検索の一般化を改善する手法を提案する。 センス検索は、ドメイン内のラベル付きデータセットでトレーニングされた場合、第1段階の検索プロセスにおいて有望であることが示されている。
  論文  参考訳（メタデータ） (2023-05-18T15:43:09Z)
• Efficient Few-Shot Fine-Tuning for Opinion Summarization [83.76460801568092]
  抽象的な要約モデルは、典型的には大量のジェネリックテキストで事前訓練され、数万から数十万の注釈付きサンプルで微調整される。 アダプタをベースとした数ショット法では,ドメイン内の知識を容易に保存できることを示す。 この自己教師型アダプタの事前トレーニングにより,AmazonとYelpのデータセット上の2.0および1.3ROUGE-Lポイントの要約品質が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-04T16:38:37Z)
• Learning Bidirectional Translation between Descriptions and Actions with Small Paired Data [5.188295416244741]
  本研究では,双方向翻訳のための2段階学習手法を提案する。 我々は、大量の非ペアデータによる記述と動作のために、繰り返しオートエンコーダ(RAE)を訓練する。 そして、小さなペアデータを用いてモデル全体を微調整し、その中間表現を結合する。
  論文  参考訳（メタデータ） (2022-03-08T17:39:16Z)
• Attention-based Multi-hypothesis Fusion for Speech Summarization [83.04957603852571]
  音声認識(ASR)とテキスト要約(TS)を組み合わせることで、音声要約を実現することができる ASR誤差はカスケード法における出力要約の品質に直接影響する。 本稿では、ASRの誤りに対して頑健なカスケード音声要約モデルを提案し、ASRが生成した複数の仮説を利用して、ASRの誤りが要約に与える影響を緩和する。
  論文  参考訳（メタデータ） (2021-11-16T03:00:29Z)
• Improving Punctuation Restoration for Speech Transcripts via External Data [1.4335946386597276]
  ノイズのあるテキストに特化して句読解問題に取り組む。 我々は、n-gram言語モデルに基づくデータサンプリング手法を導入し、より多くのトレーニングデータをサンプリングする。 提案手法は1:12%のF1スコアでベースラインを上回っている。
  論文  参考訳（メタデータ） (2021-10-01T17:40:55Z)
• MeetSum: Transforming Meeting Transcript Summarization using Transformers! [2.1915057426589746]
  本稿では,Transformer ベースの Pointer Generator Network を用いて要約文を生成する。 このモデルは、エンコーダとデコーダとして2つのLSTMを使用し、入力されたテキストから単語をコピーするポインタネットワークと、語彙外単語を生成するジェネレータネットワークを使用する。 本稿では,ニュース要約データセット上でモデルをトレーニングし,ゼロショット学習を用いてミーティングデータセット上でテストすることで,AMIミーティングデータセット上でのトレーニングよりも優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-08-13T16:34:09Z)
• Summary-Source Proposition-level Alignment: Task, Datasets and Supervised Baseline [94.0601799665342]
  資料の参照要約における文のアライメントは,補助的な要約作業として有用であった。 本稿では,2つの重要な新機能を導入しながら,要約ソースアライメントを明示的なタスクとして確立することを提案する。 我々は提案レベルのアライメントのための新しいトレーニングデータセットを作成し、利用可能な要約評価データから自動的に抽出する。 教師なしアプローチよりも優れたアライメント品質を示す教師付き命題アライメントベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-01T17:27:12Z)
• Entity and Evidence Guided Relation Extraction for DocRED [33.69481141963074]
  この課題に対して,共同トレーニングフレームワークE2GRE(Entity and Evidence Guided Relation extract)を提案する。 事前訓練された言語モデル(例えばBERT, RoBERTa)への入力としてエンティティ誘導シーケンスを導入する。 これらのエンティティ誘導シーケンスは、事前訓練された言語モデル(LM)がエンティティに関連するドキュメントの領域に集中するのに役立ちます。 我々は最近リリースされた関係抽出のための大規模データセットDocREDに対するE2GREアプローチを評価した。
  論文  参考訳（メタデータ） (2020-08-27T17:41:23Z)
• Align then Summarize: Automatic Alignment Methods for Summarization Corpus Creation [8.029049649310211]
  自動テキスト要約の最先端は、主にニュース記事を中心に展開されている。 我々の研究は、ニューラル・サマリゼーションに適したデータセットを得るために、レポートに関するセグメンテーションとコーディネートから構成される。 本報告では, 連携した公開ミーティングの新たなコーパスにおいて, 自動アライメントと要約性能について報告する。
  論文  参考訳（メタデータ） (2020-07-15T17:03:34Z)
• Extractive Summarization as Text Matching [123.09816729675838]
  本稿では,ニューラル抽出要約システムの構築方法に関するパラダイムシフトを作成する。 抽出した要約タスクを意味テキストマッチング問題として定式化する。 我々はCNN/DailyMailの最先端抽出結果を新しいレベル(ROUGE-1の44.41)に推し進めた。
  論文  参考訳（メタデータ） (2020-04-19T08:27:57Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。