論文の概要: Semantics-aware Attention Improves Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2110.06920v1
• Date: Wed, 13 Oct 2021 17:58:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-14 15:17:35.765826
• Title: Semantics-aware Attention Improves Neural Machine Translation
• Title（参考訳）: セマンティクス・アウェア・アウェア・アテンションによるニューラルマシン翻訳の改善
• Authors: Aviv Slobodkin, Leshem Choshen, Omri Abend
• Abstract要約: 意味情報をトランスフォーマーに注入する2つの新しいパラメータフリー手法を提案する。 そのような方法の1つはエンコーダ上でSASA(Scene-Aware Self-Attention)ヘッドを介して動作する。 もうひとつのデコーダは,Scene-Aware Cross-Attention (SACrA) ヘッダによるものだ。
• 参考スコア（独自算出の注目度）: 35.32217580058933
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The integration of syntactic structures into Transformer machine translation has shown positive results, but to our knowledge, no work has attempted to do so with semantic structures. In this work we propose two novel parameter-free methods for injecting semantic information into Transformers, both rely on semantics-aware masking of (some of) the attention heads. One such method operates on the encoder, through a Scene-Aware Self-Attention (SASA) head. Another on the decoder, through a Scene-Aware Cross-Attention (SACrA) head. We show a consistent improvement over the vanilla Transformer and syntax-aware models for four language pairs. We further show an additional gain when using both semantic and syntactic structures in some language pairs.
• Abstract（参考訳）: 構文構造を Transformer 機械翻訳に統合することは肯定的な結果を示したが、我々の知る限り、意味構造でそれを行おうとする試みは行われていない。 本研究では,意味情報をトランスフォーマーに注入する2つの新しいパラメータフリー手法を提案する。 そのような方法の1つはエンコーダ上でSASA(Scene-Aware Self-Attention)ヘッドを介して動作する。 もうひとつのデコーダは,Scene-Aware Cross-Attention (SACrA) ヘッダによるものだ。 4つの言語ペアに対して,バニラトランスフォーマーと構文認識モデルに対して一貫した改善を示す。 セマンティック構造と構文構造の両方をいくつかの言語対で用いた場合、さらなる利得を示す。

関連論文リスト

• Is context all you need? Scaling Neural Sign Language Translation to Large Domains of Discourse [34.70927441846784]
  手話翻訳(SLT)は手話ビデオから音声言語文を生成することを目的とした課題である。 本稿では,翻訳タスクを人間と同じようにコンテキスト対応で処理する,新しいマルチモーダルトランスフォーマーアーキテクチャを提案する。 本稿では,文脈情報を用いた最先端翻訳性能の大幅な向上を報告し,ベースラインアプローチのBLEU-4スコアをほぼ倍増させた。
  論文  参考訳（メタデータ） (2023-08-18T15:27:22Z)
• Is Encoder-Decoder Redundant for Neural Machine Translation? [44.37101354412253]
  encoder-decoderアーキテクチャは現在でも、最先端モデルのデファクトニューラルネットワークアーキテクチャである。 本研究は,バイリンガル翻訳,ターゲット単言語データを用いた翻訳,多言語翻訳の実験である。 この代替アプローチは、ベースラインエンコーダ-デコーダ変換器と同等に動作し、エンコーダ-デコーダアーキテクチャがニューラルマシン翻訳に冗長である可能性を示唆している。
  論文  参考訳（メタデータ） (2022-10-21T08:33:55Z)
• Syntax-guided Localized Self-attention by Constituency Syntactic Distance [26.141356981833862]
  本稿では,Transformerのための構文誘導型ローカライズ自己アテンションを提案する。 外部の選挙区から直接文法構造を組み込むことができる。 実験結果から,本モデルによる翻訳性能の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2022-10-21T06:37:25Z)
• Can Transformer be Too Compositional? Analysing Idiom Processing in Neural Machine Translation [55.52888815590317]
  リテラル表現とは異なり、イディオムの意味はその部分から直接従わない。 NMTモデルは、しばしばイディオムを正確に、過剰に生成し、文字通り翻訳することができない。 支配的なNMTモデルであるTransformerの力学において,イディオムの非合成性が反映されているかを検討する。
  論文  参考訳（メタデータ） (2022-05-30T17:59:32Z)
• LAVT: Language-Aware Vision Transformer for Referring Image Segmentation [80.54244087314025]
  視覚トランスフォーマーエンコーダネットワークにおいて,言語的特徴と視覚的特徴を早期に融合することにより,より優れたモーダルアライメントを実現することができることを示す。 提案手法は,RefCOCO,RefCO+,G-Refの従来の最先端手法を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-12-04T04:53:35Z)
• Transferring Semantic Knowledge Into Language Encoders [6.85316573653194]
  意味的意味表現から言語エンコーダへ意味的知識を伝達する手法である意味型ミッドチューニングを導入する。 このアライメントは分類や三重項の損失によって暗黙的に学習できることを示す。 提案手法は, 推論, 理解, テキストの類似性, その他の意味的タスクにおいて, 予測性能の向上を示す言語エンコーダを生成する。
  論文  参考訳（メタデータ） (2021-10-14T14:11:12Z)
• Episodic Transformer for Vision-and-Language Navigation [142.6236659368177]
  本稿では,長時間のサブタスク処理と複雑なヒューマンインストラクションの理解という2つの課題に取り組むことに焦点を当てる。 エピソード変換器(E.T.)を提案する。 言語入力と視覚観察と行動の全エピソード履歴を符号化するマルチモーダルトランスフォーマーである。 我々のアプローチは、挑戦的なALFREDベンチマークに新たな技術状況を設定し、見つからないテストの分割で38.4%と8.5%のタスク成功率を達成した。
  論文  参考訳（メタデータ） (2021-05-13T17:51:46Z)
• Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation [71.54816893482457]
  自動音声認識(ASR)と多言語音声翻訳(ST)を共同で行う新しいモデルアーキテクチャであるデュアルデコーダトランスフォーマを導入する。 我々のモデルはオリジナルのTransformerアーキテクチャに基づいているが、2つのデコーダで構成されており、それぞれが1つのタスク(ASRまたはST)を担っている。
  論文  参考訳（メタデータ） (2020-11-02T04:59:50Z)
• Fixed Encoder Self-Attention Patterns in Transformer-Based Machine Translation [73.11214377092121]
  我々は,各エンコーダ層の注意頭数のみを,単純な固定型(非学習型)の注意パターンに置き換えることを提案する。 異なるデータサイズと複数の言語ペアを用いた実験により、トレーニング時にトランスフォーマーのエンコーダ側でアテンションヘッドを固定することは翻訳品質に影響を与えないことが示された。
  論文  参考訳（メタデータ） (2020-02-24T13:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。