論文の概要: Encodings of Source Syntax: Similarities in NMT Representations Across Target Languages

• arxiv url: http://arxiv.org/abs/2005.08177v1
• Date: Sun, 17 May 2020 06:41:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 05:06:47.746887
• Title: Encodings of Source Syntax: Similarities in NMT Representations Across Target Languages
• Title（参考訳）: ソース構文のエンコーディング:ターゲット言語間のnmt表現の類似性
• Authors: Tyler A. Chang and Anna N. Rafferty
• Abstract要約: NMTエンコーダは,NMTの対象言語に関係なく,類似したソース構文を学習する。 NMTエンコーダは、いくつかの構成ラベル予測タスクで直接訓練されたRNNより優れている。
• 参考スコア（独自算出の注目度）: 3.464656011246703
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We train neural machine translation (NMT) models from English to six target languages, using NMT encoder representations to predict ancestor constituent labels of source language words. We find that NMT encoders learn similar source syntax regardless of NMT target language, relying on explicit morphosyntactic cues to extract syntactic features from source sentences. Furthermore, the NMT encoders outperform RNNs trained directly on several of the constituent label prediction tasks, suggesting that NMT encoder representations can be used effectively for natural language tasks involving syntax. However, both the NMT encoders and the directly-trained RNNs learn substantially different syntactic information from a probabilistic context-free grammar (PCFG) parser. Despite lower overall accuracy scores, the PCFG often performs well on sentences for which the RNN-based models perform poorly, suggesting that RNN architectures are constrained in the types of syntax they can learn.
• Abstract（参考訳）: 我々は、NMTエンコーダ表現を用いて、英語から6つのターゲット言語へのニューラルマシン翻訳(NMT)モデルを訓練し、ソース言語単語の祖先構成ラベルを予測する。 NMTエンコーダは,NMTのターゲット言語によらず,ソース文から構文的特徴を抽出するために,明示的な形態的手がかりに依存する。 さらに、NMTエンコーダは、いくつかの構成ラベル予測タスクで直接訓練されたRNNよりも優れており、構文を含む自然言語タスクに対して、NMTエンコーダ表現が効果的に使用できることを示唆している。 しかし、NMTエンコーダと直接学習されたRNNは、確率論的文脈自由文法(PCFG)パーサから実質的に異なる構文情報を学習する。 全体的な精度は低いが、PCFGはRNNベースのモデルでは不十分な文でよく機能し、RNNアーキテクチャは学習可能な構文の種類に制約されていることを示唆している。

関連論文リスト

• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  形式言語理論は、特に認識者に関するものである。 代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。 ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• Evaluating and Optimizing the Effectiveness of Neural Machine Translation in Supporting Code Retrieval Models: A Study on the CAT Benchmark [8.3017581766084]
  新たにキュレートされたCATベンチマークにおいて,自然言語からコードへの翻訳におけるNMTの性能を解析した。 非終端ノードのサブセットを用いた抽象構文木(AST)の調整表現であるASTTrans表現を提案する。 我々の学習ASTTrans表現のNMTモデルは、これらの最先端のコード検索プロセスの平均相互ランクを最大3.08%向上させることができる。
  論文  参考訳（メタデータ） (2023-08-09T04:06:24Z)
• Learning Homographic Disambiguation Representation for Neural Machine Translation [20.242134720005467]
  ニューラル・マシン・トランスレーション(NMT)において、同じ綴りだが異なる意味を持つ単語であるホモグラフは依然として困難である 我々は、潜伏空間におけるNMT問題に取り組むための新しいアプローチを提案する。 まず、自然言語推論(NLI)タスクで普遍的な文表現を学ぶために、エンコーダ(別名ホモグラフィックエンコーダ)を訓練する。 さらに、ホモグラフベースの合成WordNetを用いてエンコーダを微調整し、文から単語集合表現を学習する。
  論文  参考訳（メタデータ） (2023-04-12T13:42:59Z)
• Learning Domain Specific Language Models for Automatic Speech Recognition through Machine Translation [0.0]
  我々は、タスク固有のテキストデータの翻訳を最初に取得するために、中間ステップとしてNeural Machine Translationを使用します。 我々はNMTビームサーチグラフから単語混乱ネットワークを導出する手法を開発した。 NMT混在ネットワークは、n-gramと繰り返しニューラルネットワークLMの両方の難易度を低減するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-21T10:29:20Z)
• Language Models are Good Translators [63.528370845657896]
  単一言語モデル(LM4MT)は,強力なエンコーダデコーダNMTモデルと同等の性能が得られることを示す。 ピボットベースおよびゼロショット変換タスクの実験により、LM4MTはエンコーダ・デコーダのNMTモデルよりも大きなマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-25T13:30:29Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Better Neural Machine Translation by Extracting Linguistic Information from BERT [4.353029347463806]
  ニューラルマシン翻訳(NMT)に言語情報を追加することは、主に事前訓練されたモデルからの点推定の使用に焦点を当てている。 我々は点推定の代わりにBERTから細調整ベクターベース言語情報を抽出することによりNMTを増強する。
  論文  参考訳（メタデータ） (2021-04-07T00:03:51Z)
• Neural Machine Translation: Challenges, Progress and Future [62.75523637241876]
  機械翻訳(英: Machine translation, MT)は、コンピュータを利用して人間の言語を自動翻訳する技術である。 ニューラルマシン翻訳(NMT)は、ディープニューラルネットワークを用いたソース言語とターゲット言語間の直接マッピングをモデル化する。 この記事では、NMTフレームワークをレビューし、NMTの課題について論じ、最近のエキサイティングな進歩を紹介します。
  論文  参考訳（メタデータ） (2020-04-13T07:53:57Z)
• Explicit Reordering for Neural Machine Translation [50.70683739103066]
  Transformer-based neural machine translation (NMT)では、位置符号化機構は、自己アテンションネットワークが順序依存でソース表現を学習するのに役立つ。 本研究では,トランスフォーマーベースのNMTに対して,このリオーダ情報を明示的にモデル化する新しいリオーダ手法を提案する。 WMT14, WAT ASPEC日本語訳, WMT17中国語訳の実証結果から, 提案手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2020-04-08T05:28:46Z)
• Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
  本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。 各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
  論文  参考訳（メタデータ） (2020-01-14T02:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。