論文の概要: Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding

• arxiv url: http://arxiv.org/abs/2005.08081v7
• Date: Mon, 29 Aug 2022 06:40:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 12:48:47.019376
• Title: Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding
• Title（参考訳）: 階層型マルチビューデコードによる自然言語生成の再考と改善
• Authors: Fenglin Liu, Xuancheng Ren, Guangxiang Zhao, Chenyu You, Xuewei Ma, Xian Wu, Xu Sun
• Abstract要約: シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。 近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。 本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
• 参考スコア（独自算出の注目度）: 59.48857453699463
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In sequence-to-sequence learning, e.g., natural language generation, the decoder relies on the attention mechanism to efficiently extract information from the encoder. While it is common practice to draw information from only the last encoder layer, recent work has proposed to use representations from different encoder layers for diversified levels of information. Nonetheless, the decoder still obtains only a single view of the source sequences, which might lead to insufficient training of the encoder layer stack due to the hierarchy bypassing problem. In this work, we propose layer-wise multi-view decoding, where for each decoder layer, together with the representations from the last encoder layer, which serve as a global view, those from other encoder layers are supplemented for a stereoscopic view of the source sequences. Systematic experiments and analyses show that we successfully address the hierarchy bypassing problem, require almost negligible parameter increase, and substantially improve the performance of sequence-to-sequence learning with deep representations on five diverse tasks, i.e., machine translation, abstractive summarization, image captioning, video captioning, medical report generation, and paraphrase generation. In particular, our approach achieves new state-of-the-art results on ten benchmark datasets, including a low-resource machine translation dataset and two low-resource medical report generation datasets.
• Abstract（参考訳）: シーケンスからシーケンスへの学習、例えば自然言語生成において、デコーダは注意機構に依存して、エンコーダから情報を効率的に抽出する。 最後のエンコーダ層のみから情報を引き出すのが一般的であるが、最近の研究では異なるエンコーダ層からの表現を使って情報の多角化を行うことが提案されている。 それでも、デコーダはソースシーケンスの単一のビューしか取得できないため、階層のバイパス問題によってエンコーダ層スタックのトレーニングが不十分になる可能性がある。 本研究では,各デコーダ層に対して,グローバルビューとして機能する最後のエンコーダ層からの表現とともに,ソースシーケンスの立体視のために,他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。 系統的な実験と分析により,階層的バイパス問題への対処に成功し,ほぼ無視可能なパラメータ増加が必要となり,機械翻訳,抽象要約,画像キャプション,ビデオキャプション,医用レポート生成,パラフレーズ生成といった5つのタスクにおいて,深い表現を用いたシーケンス間学習の性能が大幅に向上した。 特に,低リソースの機械翻訳データセットと2つの低リソースの医療報告生成データセットを含む10のベンチマークデータセットに対して,最新の結果が得られた。

関連論文リスト

• $ε$-VAE: Denoising as Visual Decoding [61.29255979767292]
  生成モデリングにおいて、トークン化は複雑なデータをコンパクトで構造化された表現に単純化し、より効率的で学習可能な空間を作り出す。 現在の視覚的トークン化手法は従来のオートエンコーダフレームワークに依存しており、エンコーダはデータを潜在表現に圧縮し、デコーダは元の入力を再構築する。 具体的には,デコーダを拡散処理に置き換え,ノイズを反復的に除去して元のイメージを復元し,エンコーダが提供する潜伏者によって誘導される。 再建(rFID)と生成品質(ジェネレーション品質)の両面からアプローチを評価する。
  論文  参考訳（メタデータ） (2024-10-05T08:27:53Z)
• Investigating Pre-trained Audio Encoders in the Low-Resource Condition [66.92823764664206]
  低リソース環境下で3つの最先端エンコーダ(Wav2vec2,WavLM,Whisper)を用いて総合的な実験を行う。 本稿では,タスク性能,収束速度,エンコーダの表現特性に関する定量的,定性的な分析を行った。
  論文  参考訳（メタデータ） (2023-05-28T14:15:19Z)
• Learning to Compose Representations of Different Encoder Layers towards Improving Compositional Generalization [29.32436551704417]
  textscCompoSition (textbfCompose textbfSyntactic and Semanttextbfic Representatextbftions)を提案する。 textscCompoSitionは、2つの総合的で現実的なベンチマークで競合する結果を得る。
  論文  参考訳（メタデータ） (2023-05-20T11:16:59Z)
• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• Exploring and Exploiting Multi-Granularity Representations for Machine Reading Comprehension [13.191437539419681]
  適応的双方向注意カプセルネットワーク(ABA-Net)という新しい手法を提案する。 ABA-Netは、異なるレベルのソース表現を予測子に適応的に活用する。 私たちはSQuAD 1.0データセットに新しい最先端パフォーマンスを設定しました。
  論文  参考訳（メタデータ） (2022-08-18T10:14:32Z)
• Layer-Wise Multi-View Learning for Neural Machine Translation [45.679212203943194]
  従来のニューラルネットワーク翻訳は、最上位のエンコーダ層のコンテキスト表現に限られている。 この問題を解決するために,レイヤワイドな多視点学習を提案する。 提案手法は,複数の強いベースラインに対して安定した改善をもたらす。
  論文  参考訳（メタデータ） (2020-11-03T05:06:37Z)
• On the Sub-Layer Functionalities of Transformer Decoder [74.83087937309266]
  トランスフォーマーをベースとしたデコーダは,ソースおよびターゲット言語からの情報をいかに活用するかを検討する。 これらの知見に基づき,各トランスフォーマーデコーダ層内の残フィードフォワードモジュールは,性能の低下を最小限に抑えられることを示した。
  論文  参考訳（メタデータ） (2020-10-06T11:50:54Z)
• Beyond Single Stage Encoder-Decoder Networks: Deep Decoders for Semantic Image Segmentation [56.44853893149365]
  セマンティックセグメンテーションのための単一エンコーダ-デコーダ手法は、セマンティックセグメンテーションの品質とレイヤー数あたりの効率の観点からピークに達している。 そこで本研究では,より多くの情報コンテンツを取得するために,浅層ネットワークの集合を用いたデコーダに基づく新しいアーキテクチャを提案する。 アーキテクチャをさらに改善するために,ネットワークの注目度を高めるために,クラスの再バランスを目的とした重み関数を導入する。
  論文  参考訳（メタデータ） (2020-07-19T18:44:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。