論文の概要: HydraSum -- Disentangling Stylistic Features in Text Summarization using Multi-Decoder Models

• arxiv url: http://arxiv.org/abs/2110.04400v1
• Date: Fri, 8 Oct 2021 22:49:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 17:11:25.490916
• Title: HydraSum -- Disentangling Stylistic Features in Text Summarization using Multi-Decoder Models
• Title（参考訳）: HydraSum --マルチデコーダモデルを用いたテキスト要約におけるスティリスティック特徴の分散化
• Authors: Tanya Goyal, Nazneen Fatema Rajani, Wenhao Liu, Wojciech Kry\'sci\'nski
• Abstract要約: 現在のモデルの単一デコーダフレームワークを拡張した,新しい要約アーキテクチャであるHydraSumを紹介する。 提案モデルでは,各専門家,すなわちデコーダに対して,スタイリスティックな要約の学習と生成を奨励する。 トレーニングプロセスのガイド付きバージョンは、デコーダ間でどのサマリスタイルが分割されているかを明示的に規定することができる。
• 参考スコア（独自算出の注目度）: 12.070474521259776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing abstractive summarization models lack explicit control mechanisms that would allow users to influence the stylistic features of the model outputs. This results in generating generic summaries that do not cater to the users needs or preferences. To address this issue we introduce HydraSum, a new summarization architecture that extends the single decoder framework of current models, e.g. BART, to a mixture-of-experts version consisting of multiple decoders. Our proposed model encourages each expert, i.e. decoder, to learn and generate stylistically-distinct summaries along dimensions such as abstractiveness, length, specificity, and others. At each time step, HydraSum employs a gating mechanism that decides the contribution of each individual decoder to the next token's output probability distribution. Through experiments on three summarization datasets (CNN, Newsroom, XSum), we demonstrate that this gating mechanism automatically learns to assign contrasting summary styles to different HydraSum decoders under the standard training objective without the need for additional supervision. We further show that a guided version of the training process can explicitly govern which summary style is partitioned between decoders, e.g. high abstractiveness vs. low abstractiveness or high specificity vs. low specificity, and also increase the stylistic-difference between individual decoders. Finally, our experiments demonstrate that our decoder framework is highly flexible: during inference, we can sample from individual decoders or mixtures of different subsets of the decoders to yield a diverse set of summaries and enforce single- and multi-style control over summary generation.
• Abstract（参考訳）: 既存の抽象要約モデルは、ユーザがモデル出力のスタイル的特徴に影響を与えることができる明示的な制御機構を欠いている。 これにより、ユーザのニーズや好みに適合しない一般的な要約を生成する。 この問題に対処するため、HydraSumという新しい要約アーキテクチャを導入し、BARTのような現行モデルの単一デコーダフレームワークを、複数のデコーダからなる混合専門家バージョンに拡張した。 提案したモデルは,各専門家,すなわちデコーダに対して,抽象性,長さ,特異性などの次元に沿ったスタイリスティックな要約を学習し,生成することを奨励する。 それぞれの段階において、HydraSumは、次のトークンの出力確率分布に対する個々のデコーダの寄与を決定するゲーティング機構を使用する。 3つの要約データセット(cnn、newsroom、xsum)の実験を通じて、このゲーティングメカニズムは、追加の監督を必要とせずに、異なるハイドロサムデコーダにコントラストされた要約スタイルを割り当てることを自動的に学習できることを実証する。 さらに, 学習過程の指導版では, デコーダ間でどの要約スタイルが分割されているか, 高抽象性, 低特異性, 低特異性, 個々のデコーダ間のスタイリスティック・ディファレンスを高めることができることを示した。 推論中、デコーダの異なるサブセットの個々のデコーダや混合物からサンプルを採取して、さまざまなサマリーセットを生成し、サマリ生成に対してシングルスタイルとマルチスタイルの制御を強制することができます。

関連論文リスト

• Universal Medical Image Representation Learning with Compositional Decoders [36.36271760800241]
  我々は,すべてのレベルでタスクをサポートする,分解分解型ユニバーサル医療イメージングパラダイム(UniMed)を開発した。 定義した入力キューに基づいて,画素とセマンティックという2種類の出力を予測できる分解デコーダを提案する。 入力空間と出力空間を統一した合成デコーダを導入し、異なるレベルのタスクアノテーションを離散トークン形式に標準化する。
  論文  参考訳（メタデータ） (2024-09-30T02:39:42Z)
• DeepInteraction++: Multi-Modality Interaction for Autonomous Driving [80.8837864849534]
  我々は,モダリティごとの個別表現を学習し,維持することのできる,新しいモダリティインタラクション戦略を導入する。 DeepInteraction++はマルチモーダルなインタラクション・フレームワークであり、マルチモーダルな表現型インタラクション・エンコーダとマルチモーダルな予測型インタラクション・デコーダを特徴とする。 実験では,3次元物体検出とエンドツーエンドの自律走行の両方において,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-09T14:04:21Z)
• Unified Generation, Reconstruction, and Representation: Generalized Diffusion with Adaptive Latent Encoding-Decoding [90.77521413857448]
  深層生成モデルは,3つのコア機能 – 新たなインスタンスの生成,入力の再構築,コンパクト表現の学習 – に固定されている。 一般化逆変換拡散確率モデル(EDDPM)を導入する。 EDDPMはパラメタライズされた符号化復号を導入することで標準拡散におけるガウス雑音化を一般化する。 テキスト、タンパク質、画像の実験は、多様なデータやタスクを扱う柔軟性を示している。
  論文  参考訳（メタデータ） (2024-02-29T10:08:57Z)
• Triple-View Knowledge Distillation for Semi-Supervised Semantic Segmentation [54.23510028456082]
  半教師付きセマンティックセグメンテーションのためのトリプルビュー知識蒸留フレームワークTriKDを提案する。 このフレームワークは、トリプルビューエンコーダとデュアル周波数デコーダを含む。
  論文  参考訳（メタデータ） (2023-09-22T01:02:21Z)
• Sequence-to-Sequence Pre-training with Unified Modality Masking for Visual Document Understanding [3.185382039518151]
  GenDocは、3つのモードにわたる統一マスキングで事前訓練されたシーケンスからシーケンスまでの文書理解モデルである。 提案手法はエンコーダ・デコーダアーキテクチャを用いて,幅広い下流タスクへの適応性を向上する。
  論文  参考訳（メタデータ） (2023-05-16T15:25:19Z)
• String-based Molecule Generation via Multi-decoder VAE [56.465033997245776]
  可変オートエンコーダ(VAE)による文字列型分子生成の問題点について検討する。 本稿では,そのタスクに対するVAEの性能を改善するための,シンプルで効果的なアイデアを提案する。 実験では,提案するVAEモデルを用いて,領域外分布からサンプルを生成する。
  論文  参考訳（メタデータ） (2022-08-23T03:56:30Z)
• CCVS: Context-aware Controllable Video Synthesis [95.22008742695772]
  プレゼンテーションでは、古いビデオクリップから新しいビデオクリップを合成するための自己教師付き学習アプローチを紹介している。 時間的連続性のための文脈情報と微妙な制御のための補助情報に基づいて合成過程を規定する。
  論文  参考訳（メタデータ） (2021-07-16T17:57:44Z)
• Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding [59.48857453699463]
  シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。 近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。 本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
  論文  参考訳（メタデータ） (2020-05-16T20:00:39Z)
• Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward [42.925345819778656]
  本稿では,グラフ拡張と意味駆動型RewarDによる抽象要約のための新しいフレームワークであるASGARDを紹介する。 本稿では,2つのエンコーダ(シーケンシャル文書エンコーダ)とグラフ構造化エンコーダ(グラフ構造化エンコーダ)の利用を提案する。 その結果、我々のモデルは、New York TimesとCNN/Daily Mailのデータセットからの入力として、知識グラフのない変種よりもはるかに高いROUGEスコアを生成することがわかった。
  論文  参考訳（メタデータ） (2020-05-03T18:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。