論文の概要: GRET: Global Representation Enhanced Transformer

• arxiv url: http://arxiv.org/abs/2002.10101v1
• Date: Mon, 24 Feb 2020 07:37:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 03:45:44.820967
• Title: GRET: Global Representation Enhanced Transformer
• Title（参考訳）: gret:グローバル表現強化トランスフォーマ
• Authors: Rongxiang Weng, Haoran Wei, Shujian Huang, Heng Yu, Lidong Bing, Weihua Luo, Jiajun Chen
• Abstract要約: Transformerは、エンコーダ-デコーダフレームワークに基づいて、いくつかの自然言語生成タスクで最先端のパフォーマンスを達成した。 本稿では,トランスフォーマネットワークにおけるグローバル表現を明示的にモデル化するための,新しいグローバル表現拡張トランスフォーマ(GRET)を提案する。
• 参考スコア（独自算出の注目度）: 85.58930151690336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer, based on the encoder-decoder framework, has achieved state-of-the-art performance on several natural language generation tasks. The encoder maps the words in the input sentence into a sequence of hidden states, which are then fed into the decoder to generate the output sentence. These hidden states usually correspond to the input words and focus on capturing local information. However, the global (sentence level) information is seldom explored, leaving room for the improvement of generation quality. In this paper, we propose a novel global representation enhanced Transformer (GRET) to explicitly model global representation in the Transformer network. Specifically, in the proposed model, an external state is generated for the global representation from the encoder. The global representation is then fused into the decoder during the decoding process to improve generation quality. We conduct experiments in two text generation tasks: machine translation and text summarization. Experimental results on four WMT machine translation tasks and LCSTS text summarization task demonstrate the effectiveness of the proposed approach on natural language generation.
• Abstract（参考訳）: エンコーダ-デコーダフレームワークに基づくtransformerは、いくつかの自然言語生成タスクで最先端のパフォーマンスを達成している。 エンコーダは入力文中の単語を隠された状態の列にマッピングし、デコーダに送って出力文を生成する。 これらの隠れ状態は、通常入力された単語に対応し、ローカル情報を取得することに集中する。 しかし、グローバル情報(センテンスレベル)はほとんど探求されず、世代品質の向上の余地が残されている。 本稿では,トランスフォーマネットワークにおけるグローバル表現を明示的にモデル化するための,新しいグローバル表現拡張トランスフォーマ(GRET)を提案する。 具体的には、提案モデルにおいて、エンコーダからグローバル表現のための外部状態を生成する。 そして、デコードプロセス中にグローバル表現がデコーダに融合され、生成品質が向上する。 機械翻訳とテキスト要約という2つのテキスト生成タスクで実験を行う。 4つのWMT機械翻訳タスクとLCSTSテキスト要約タスクの実験結果は、自然言語生成における提案手法の有効性を示す。

関連論文リスト

• Other Tokens Matter: Exploring Global and Local Features of Vision Transformers for Object Re-Identification [63.147482497821166]
  我々はまず,ViTのグローバルおよびローカルな特徴の影響を探求し,高性能オブジェクトRe-IDのための新しいグローバルローカ変換器(GLTrans)を提案する。 提案手法は,4つのオブジェクトRe-IDベンチマークにおいて優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-04-23T12:42:07Z)
• Calibration & Reconstruction: Deep Integrated Language for Referring Image Segmentation [8.225408779913712]
  画像セグメンテーションの参照は、画像から自然言語表現によって参照されるオブジェクトをセグメンテーションすることを目的としている。 従来のトランスフォーマーデコーダは、より深い層で言語情報を歪め、最適な結果をもたらす。 本稿では,変換器デコーダのマルチモーダル機能を反復的に校正するモデルであるCRFormerを紹介する。
  論文  参考訳（メタデータ） (2024-04-12T07:13:32Z)
• Uni-EDEN: Universal Encoder-Decoder Network by Multi-Granular Vision-Language Pre-training [120.91411454661741]
  視覚言語認識と生成を容易にするための訓練済みユニバーサル・デコーダネットワーク(Uni-EDEN)を提案する。 Uni-EDENは2ストリームトランスフォーマーベースの構造で、オブジェクトと文エンコーダの3つのモジュールで構成され、各モダリティの表現を別々に学習する。
  論文  参考訳（メタデータ） (2022-01-11T16:15:07Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• Transition based Graph Decoder for Neural Machine Translation [41.7284715234202]
  本稿では,木とグラフのデコーディングをトランジションのシーケンス生成に基づいて一般化したトランスフォーマーベースのアプローチを提案する。 標準のTransformerデコーダよりも性能が向上し,モデルの短縮バージョンも向上した。
  論文  参考訳（メタデータ） (2021-01-29T15:20:45Z)
• Improving Image Captioning by Leveraging Intra- and Inter-layer Global Representation in Transformer Network [96.4761273757796]
  我々は、より包括的なグローバル表現の抽出を可能にするGlobal Enhanced Transformer (termed GET)を導入する。 getはデコーダに適応して高品質なキャプションを生成する。
  論文  参考訳（メタデータ） (2020-12-13T13:38:58Z)
• Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
  本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。 各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
  論文  参考訳（メタデータ） (2020-01-14T02:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。