論文の概要: Few-Shot Learning of an Interleaved Text Summarization Model by Pretraining with Synthetic Data

• arxiv url: http://arxiv.org/abs/2103.05131v1
• Date: Mon, 8 Mar 2021 22:58:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-11 17:24:09.373836
• Title: Few-Shot Learning of an Interleaved Text Summarization Model by Pretraining with Synthetic Data
• Title（参考訳）: 合成データによる事前学習によるインターリーブテキスト要約モデルの短ショット学習
• Authors: Sanjeev Kumar Karn, Francine Chen, Yan-Ying Chen, Ulli Waltinger and Hinrich Schuetze
• Abstract要約: 既存のシステムは、投稿をスレッドで切り離し、それらのスレッドから要約を抽出する。 合成インターリーブテキストを用いたエンドツーエンドのトレーニング可能な階層型エンコーダデコーダシステムを提案する。
• 参考スコア（独自算出の注目度）: 16.36339403380161
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interleaved texts, where posts belonging to different threads occur in a sequence, commonly occur in online chat posts, so that it can be time-consuming to quickly obtain an overview of the discussions. Existing systems first disentangle the posts by threads and then extract summaries from those threads. A major issue with such systems is error propagation from the disentanglement component. While end-to-end trainable summarization system could obviate explicit disentanglement, such systems require a large amount of labeled data. To address this, we propose to pretrain an end-to-end trainable hierarchical encoder-decoder system using synthetic interleaved texts. We show that by fine-tuning on a real-world meeting dataset (AMI), such a system out-performs a traditional two-step system by 22%. We also compare against transformer models and observed that pretraining with synthetic data both the encoder and decoder outperforms the BertSumExtAbs transformer model which pretrains only the encoder on a large dataset.
• Abstract（参考訳）: 異なるスレッドに属する投稿が連続して発生するインターリーブテキストは、オンラインチャットの投稿で一般的に発生し、議論の概要をすばやく得るのに時間がかかります。 既存のシステムは、まずポストをスレッドで切り離し、そのスレッドからサマリを抽出します。 このようなシステムの大きな問題は、絡み合ったコンポーネントからのエラーの伝播である。 エンドツーエンドのトレーニング可能な要約システムは明示的な絡み合いを回避できるが、そのようなシステムは大量のラベル付きデータを必要とする。 そこで本研究では, エンドツーエンドでトレーニング可能な階層型エンコーダ・デコーダシステムを提案する。 実世界の会議データセット(AMI)を微調整することで、従来の2段階のシステムを22%向上させることを示す。 また、トランスフォーマモデルと比較し、エンコーダとデコーダの両方の合成データとのプリトレーニングが、大きなデータセット上のエンコーダのみをプリトレーニングするbertsumextabsトランスフォーマモデルよりも優れていることを観測した。

関連論文リスト

• From Modular to End-to-End Speaker Diarization [3.079020586262228]
  本稿では、VBxとして知られるxベクトル(ニューラルネットワークで得られた話者埋め込み)をクラスタリングするために使用されるベイズ隠れマルコフモデルに基づくシステムについて述べる。 本稿では,話者の旋回や重なり合いの観点から,実際の会話に類似した合成データを生成する手法について述べる。 本稿では,この「模擬会話」生成手法が,一般的なEENDのトレーニングにおいて,従来提案されていた「模擬混合」生成方法よりも優れた性能を実現する方法を示す。
  論文  参考訳（メタデータ） (2024-06-27T15:09:39Z)
• Fact Checking Beyond Training Set [64.88575826304024]
  本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。 本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。 次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
  論文  参考訳（メタデータ） (2024-03-27T15:15:14Z)
• Synthetic data generation for system identification: leveraging knowledge transfer from similar systems [0.3749861135832073]
  本稿では,データ不足を特徴とするシナリオにおけるモデル一般化とロバスト性の向上を目的とした,新しい合成データ生成手法を提案する。 合成データは、興味あるシステムが属すると考えられる幅広い種類のシステムを記述する、事前訓練されたメタモデルによって生成される。 この手法の有効性は,システム識別プロセスに合成データを組み込むことの利点を強調する数値的な例を通して示される。
  論文  参考訳（メタデータ） (2024-03-08T09:09:15Z)
• Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation [76.13334392868208]
  直接音声音声変換(S2ST)モデルは、データ不足の問題に悩まされる。 本研究では,この課題に対処するために,ラベルのない音声データとデータ拡張を用いた自己教師付き事前学習について検討する。
  論文  参考訳（メタデータ） (2022-04-06T17:59:22Z)
• BERT got a Date: Introducing Transformers to Temporal Tagging [4.651578365545765]
  本稿では,RoBERTa言語モデルを用いたトランスフォーマー・エンコーダ・デコーダモデルを提案する。 我々のモデルは、特に稀なクラスにおいて、時間的タグ付けや型分類において、過去の研究を上回っている。
  論文  参考訳（メタデータ） (2021-09-30T08:54:21Z)
• Sparsity and Sentence Structure in Encoder-Decoder Attention of Summarization Systems [38.672160430296536]
  トランスフォーマーモデルは、要約を含む幅広いNLPタスクにおいて最先端の結果を得た。 これまでの研究は、エンコーダの二次的自己保持機構という、重要なボトルネックに重点を置いてきた。 この研究はトランスのエンコーダ・デコーダのアテンション機構に焦点を当てている。
  論文  参考訳（メタデータ） (2021-09-08T19:32:42Z)
• On Adversarial Robustness of Synthetic Code Generation [1.2559148369195197]
  本論文は, 逆数例の異なるクラスを通して, 有意なデータセットバイアスの存在を示す。 バイアスを低減し,有効性を示すために,いくつかのデータセット拡張手法を提案する。
  論文  参考訳（メタデータ） (2021-06-22T09:37:48Z)
• Using Data Assimilation to Train a Hybrid Forecast System that Combines Machine-Learning and Knowledge-Based Components [52.77024349608834]
  利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。 動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
  論文  参考訳（メタデータ） (2021-02-15T19:56:48Z)
• Decoupling Pronunciation and Language for End-to-end Code-switching Automatic Speech Recognition [66.47000813920617]
  本稿では,モノリンガルペアデータと未ペアテキストデータを利用するデカップリング変換器モデルを提案する。 モデルはA2P(Audio-to-phoneme)ネットワークとP2T(P2T)ネットワークの2つの部分に分けられる。 モノリンガルデータと未ペアテキストデータを使用することで、分離されたトランスフォーマーモデルは、E2Eモデルのコードスイッチングペアリングトレーニングデータへの高依存性を低減する。
  論文  参考訳（メタデータ） (2020-10-28T07:46:15Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)
• A Hierarchical Network for Abstractive Meeting Summarization with Cross-Domain Pretraining [52.11221075687124]
  本稿では,会議シナリオに適応する抽象的要約ネットワークを提案する。 提案手法は,長時間の会議記録に対応する階層構造と,話者間の差異を表現する役割ベクトルを設計する。 我々のモデルは、自動測定と人的評価の両方において、過去のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2020-04-04T21:00:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。