論文の概要: HydraSum -- Disentangling Stylistic Features in Text Summarization using
Multi-Decoder Models
- arxiv url: http://arxiv.org/abs/2110.04400v1
- Date: Fri, 8 Oct 2021 22:49:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-12 17:11:25.490916
- Title: HydraSum -- Disentangling Stylistic Features in Text Summarization using
Multi-Decoder Models
- Title(参考訳): HydraSum --マルチデコーダモデルを用いたテキスト要約におけるスティリスティック特徴の分散化
- Authors: Tanya Goyal, Nazneen Fatema Rajani, Wenhao Liu, Wojciech
Kry\'sci\'nski
- Abstract要約: 現在のモデルの単一デコーダフレームワークを拡張した,新しい要約アーキテクチャであるHydraSumを紹介する。
提案モデルでは,各専門家,すなわちデコーダに対して,スタイリスティックな要約の学習と生成を奨励する。
トレーニングプロセスのガイド付きバージョンは、デコーダ間でどのサマリスタイルが分割されているかを明示的に規定することができる。
- 参考スコア(独自算出の注目度): 12.070474521259776
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing abstractive summarization models lack explicit control mechanisms
that would allow users to influence the stylistic features of the model
outputs. This results in generating generic summaries that do not cater to the
users needs or preferences. To address this issue we introduce HydraSum, a new
summarization architecture that extends the single decoder framework of current
models, e.g. BART, to a mixture-of-experts version consisting of multiple
decoders. Our proposed model encourages each expert, i.e. decoder, to learn and
generate stylistically-distinct summaries along dimensions such as
abstractiveness, length, specificity, and others. At each time step, HydraSum
employs a gating mechanism that decides the contribution of each individual
decoder to the next token's output probability distribution. Through
experiments on three summarization datasets (CNN, Newsroom, XSum), we
demonstrate that this gating mechanism automatically learns to assign
contrasting summary styles to different HydraSum decoders under the standard
training objective without the need for additional supervision. We further show
that a guided version of the training process can explicitly govern which
summary style is partitioned between decoders, e.g. high abstractiveness vs.
low abstractiveness or high specificity vs. low specificity, and also increase
the stylistic-difference between individual decoders. Finally, our experiments
demonstrate that our decoder framework is highly flexible: during inference, we
can sample from individual decoders or mixtures of different subsets of the
decoders to yield a diverse set of summaries and enforce single- and
multi-style control over summary generation.
- Abstract(参考訳): 既存の抽象要約モデルは、ユーザがモデル出力のスタイル的特徴に影響を与えることができる明示的な制御機構を欠いている。
これにより、ユーザのニーズや好みに適合しない一般的な要約を生成する。
この問題に対処するため、HydraSumという新しい要約アーキテクチャを導入し、BARTのような現行モデルの単一デコーダフレームワークを、複数のデコーダからなる混合専門家バージョンに拡張した。
提案したモデルは,各専門家,すなわちデコーダに対して,抽象性,長さ,特異性などの次元に沿ったスタイリスティックな要約を学習し,生成することを奨励する。
それぞれの段階において、HydraSumは、次のトークンの出力確率分布に対する個々のデコーダの寄与を決定するゲーティング機構を使用する。
3つの要約データセット(cnn、newsroom、xsum)の実験を通じて、このゲーティングメカニズムは、追加の監督を必要とせずに、異なるハイドロサムデコーダにコントラストされた要約スタイルを割り当てることを自動的に学習できることを実証する。
さらに, 学習過程の指導版では, デコーダ間でどの要約スタイルが分割されているか, 高抽象性, 低特異性, 低特異性, 個々のデコーダ間のスタイリスティック・ディファレンスを高めることができることを示した。
推論中、デコーダの異なるサブセットの個々のデコーダや混合物からサンプルを採取して、さまざまなサマリーセットを生成し、サマリ生成に対してシングルスタイルとマルチスタイルの制御を強制することができます。
関連論文リスト
- Triple-View Knowledge Distillation for Semi-Supervised Semantic
Segmentation [54.23510028456082]
半教師付きセマンティックセグメンテーションのためのトリプルビュー知識蒸留フレームワークTriKDを提案する。
このフレームワークは、トリプルビューエンコーダとデュアル周波数デコーダを含む。
論文 参考訳(メタデータ) (2023-09-22T01:02:21Z) - Sequence-to-Sequence Pre-training with Unified Modality Masking for
Visual Document Understanding [3.185382039518151]
GenDocは、3つのモードにわたる統一マスキングで事前訓練されたシーケンスからシーケンスまでの文書理解モデルである。
提案手法はエンコーダ・デコーダアーキテクチャを用いて,幅広い下流タスクへの適応性を向上する。
論文 参考訳(メタデータ) (2023-05-16T15:25:19Z) - String-based Molecule Generation via Multi-decoder VAE [56.465033997245776]
可変オートエンコーダ(VAE)による文字列型分子生成の問題点について検討する。
本稿では,そのタスクに対するVAEの性能を改善するための,シンプルで効果的なアイデアを提案する。
実験では,提案するVAEモデルを用いて,領域外分布からサンプルを生成する。
論文 参考訳(メタデータ) (2022-08-23T03:56:30Z) - Multi-scale and Cross-scale Contrastive Learning for Semantic
Segmentation [5.281694565226513]
セグメンテーションネットワークによって抽出されたマルチスケール特徴の識別能力を高めるために,コントラスト学習を適用した。
まず、エンコーダのマルチスケール表現を共通の特徴空間にマッピングすることにより、教師付き局所言語制約の新しい形式をインスタンス化する。
論文 参考訳(メタデータ) (2022-03-25T01:24:24Z) - Disentangled Sequence to Sequence Learning for Compositional
Generalization [62.954842223732435]
本稿では,ソース入力を適応的に再符号化することで,不整合表現の学習を可能にするシーケンス・ツー・シーケンス・モデルの拡張を提案する。
意味解析と機械翻訳の実験結果から,提案手法はより不整合な表現とより優れた一般化をもたらすことが示された。
論文 参考訳(メタデータ) (2021-10-09T22:27:19Z) - CCVS: Context-aware Controllable Video Synthesis [95.22008742695772]
プレゼンテーションでは、古いビデオクリップから新しいビデオクリップを合成するための自己教師付き学習アプローチを紹介している。
時間的連続性のための文脈情報と微妙な制御のための補助情報に基づいて合成過程を規定する。
論文 参考訳(メタデータ) (2021-07-16T17:57:44Z) - Rethinking and Improving Natural Language Generation with Layer-Wise
Multi-View Decoding [59.48857453699463]
シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。
近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。
本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
論文 参考訳(メタデータ) (2020-05-16T20:00:39Z) - Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven
Cloze Reward [42.925345819778656]
本稿では,グラフ拡張と意味駆動型RewarDによる抽象要約のための新しいフレームワークであるASGARDを紹介する。
本稿では,2つのエンコーダ(シーケンシャル文書エンコーダ)とグラフ構造化エンコーダ(グラフ構造化エンコーダ)の利用を提案する。
その結果、我々のモデルは、New York TimesとCNN/Daily Mailのデータセットからの入力として、知識グラフのない変種よりもはるかに高いROUGEスコアを生成することがわかった。
論文 参考訳(メタデータ) (2020-05-03T18:23:06Z) - Exploring Explainable Selection to Control Abstractive Summarization [51.74889133688111]
説明可能性を重視した新しいフレームワークを開発する。
新しいペアワイズ行列は、文の相互作用、中心性、属性スコアをキャプチャする。
コンストラクタ内の文分割アテンション機構は、最終要約が所望のコンテンツを強調することを保証する。
論文 参考訳(メタデータ) (2020-04-24T14:39:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。