論文の概要: Top-down string-to-dependency Neural Machine Translation
- arxiv url: http://arxiv.org/abs/2603.27938v1
- Date: Mon, 30 Mar 2026 01:21:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-31 23:18:45.184752
- Title: Top-down string-to-dependency Neural Machine Translation
- Title（参考訳）: トップダウン文字列間依存ニューラルマシン翻訳
- Authors: Shuhei Kondo, Katsuhito Sudoh, Yuji Matsumoto,
- Abstract要約: 本稿では,トップダウン,左から右の順にターゲット言語依存ツリーを生成する構文デコーダを提案する。
実験により,提案したトップダウンストリング・ツー・ツリー・デコーディングが従来のシーケンス・ツー・シーケンス・デコーディングよりも一般化できることが示されている。
- 参考スコア（独自算出の注目度）: 7.425654402937809
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Most of modern neural machine translation (NMT) models are based on an encoder-decoder framework with an attention mechanism. While they perform well on standard datasets, they can have trouble in translation of long inputs that are rare or unseen during training. Incorporating target syntax is one approach to dealing with such length-related problems. We propose a novel syntactic decoder that generates a target-language dependency tree in a top-down, left-to-right order. Experiments show that the proposed top-down string-to-tree decoding generalizes better than conventional sequence-to-sequence decoding in translating long inputs that are not observed in the training data.
- Abstract（参考訳）: 現代のニューラルネットワーク翻訳(NMT)モデルのほとんどは、注意機構を備えたエンコーダ・デコーダフレームワークに基づいている。
標準的なデータセットではうまく機能するが、トレーニング中に珍しい、あるいは目に見えない長い入力の翻訳に支障をきたす可能性がある。
ターゲット構文を組み込むことは、そのような長さに関連した問題に対処するためのアプローチである。
本稿では,トップダウン,左から右の順にターゲット言語依存ツリーを生成する構文デコーダを提案する。
実験により,提案したトップダウンストリング・ツー・ツリー復号法は,トレーニングデータでは観測されない長い入力の翻訳において,従来のシーケンス・ツー・シーケンス復号法よりも優れていた。
関連論文リスト
- Decoder-Only or Encoder-Decoder? Interpreting Language Model as a
Regularized Encoder-Decoder [75.03283861464365]
seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。
伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。
最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
論文 参考訳（メタデータ） (2023-04-08T15:44:29Z) - Look Backward and Forward: Self-Knowledge Distillation with
Bidirectional Decoder for Neural Machine Translation [9.279287354043289]
ニューラルネットワーク翻訳のための双方向デコーダを用いた自己知識蒸留(SBD-NMT)
我々は、フォワードデコーダに効果的な正規化手法として機能する後方デコーダをデプロイする。
実験により,本手法は複数の機械翻訳データセットの強力なトランスフォーマーベースラインよりもはるかに優れていることがわかった。
論文 参考訳（メタデータ） (2022-03-10T09:21:28Z) - DeltaLM: Encoder-Decoder Pre-training for Language Generation and
Translation by Augmenting Pretrained Multilingual Encoders [92.90543340071007]
本稿では,事前訓練された多言語エンコーダデコーダモデルDeltaLMを紹介する。
具体的には,事前学習した多言語エンコーダをデコーダで拡張し,自己指導型で事前学習する。
実験により、DeltaLMは自然言語生成と翻訳の両方のタスクにおいて、様々な強力なベースラインを上回ります。
論文 参考訳（メタデータ） (2021-06-25T16:12:10Z) - Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た
ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。
マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
論文 参考訳（メタデータ） (2021-06-10T10:18:23Z) - Less is More: Pre-training a Strong Siamese Encoder Using a Weak Decoder [75.84152924972462]
多くの実世界のアプリケーションはSiameseネットワークを使用して、テキストシーケンスを大規模に効率的にマッチングします。
本稿では,シームズアーキテクチャにおけるシーケンスマッチング専用の言語モデルを事前学習する。
論文 参考訳（メタデータ） (2021-02-18T08:08:17Z) - Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。
我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。
質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
論文 参考訳（メタデータ） (2020-10-07T21:02:41Z) - Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。
各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
論文 参考訳（メタデータ） (2020-01-14T02:05:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。