論文の概要: Syntax-Aware Complex-Valued Neural Machine Translation
- arxiv url: http://arxiv.org/abs/2307.08586v1
- Date: Mon, 17 Jul 2023 15:58:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 12:26:06.282866
- Title: Syntax-Aware Complex-Valued Neural Machine Translation
- Title(参考訳): 構文対応複合価値ニューラルマシン翻訳
- Authors: Yang Liu and Yuexian Hou
- Abstract要約: 本稿では,構文情報を複合値デコーダアーキテクチャに組み込む手法を提案する。
提案モデルは,単語レベルと構文レベルのアテンションスコアを,アテンション機構を用いて,ソース側からターゲット側へ共同で学習する。
実験により,提案手法は2つのデータセット上でのBLEUスコアを大幅に改善できることを示した。
- 参考スコア(独自算出の注目度): 19.20228079459944
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Syntax has been proven to be remarkably effective in neural machine
translation (NMT). Previous models obtained syntax information from syntactic
parsing tools and integrated it into NMT models to improve translation
performance. In this work, we propose a method to incorporate syntax
information into a complex-valued Encoder-Decoder architecture. The proposed
model jointly learns word-level and syntax-level attention scores from the
source side to the target side using an attention mechanism. Importantly, it is
not dependent on specific network architectures and can be directly integrated
into any existing sequence-to-sequence (Seq2Seq) framework. The experimental
results demonstrate that the proposed method can bring significant improvements
in BLEU scores on two datasets. In particular, the proposed method achieves a
greater improvement in BLEU scores in translation tasks involving language
pairs with significant syntactic differences.
- Abstract(参考訳): シンタクスは神経機械翻訳(NMT)において極めて効果的であることが証明されている。
従来のモデルは構文解析ツールから構文情報を取得し、翻訳性能を向上させるためにNMTモデルに統合された。
本研究では,構文情報を複雑なエンコーダ・デコーダアーキテクチャに組み込む手法を提案する。
提案モデルは,単語レベルと構文レベルのアテンションスコアを,アテンション機構を用いてソース側からターゲット側へ共同学習する。
重要なのは、特定のネットワークアーキテクチャに依存しておらず、既存のsequence-to-sequence(seq2seq)フレームワークに直接統合することができることだ。
実験により,提案手法は2つのデータセット上でのBLEUスコアを大幅に改善できることを示した。
特に,提案手法は,構文的差異の大きい言語対を含む翻訳タスクにおいて,BLEUスコアをより向上させる。
関連論文リスト
- Sequence Shortening for Context-Aware Machine Translation [5.803309695504831]
マルチエンコーダアーキテクチャの特殊な場合において,コントラストデータセットの精度が向上することを示す。
遅延グループと遅延選択という2つの新しい手法を導入し、ネットワークはトークンをグループ化するか、コンテキストとしてキャッシュされるトークンを選択する。
論文 参考訳(メタデータ) (2024-02-02T13:55:37Z) - Graph-Induced Syntactic-Semantic Spaces in Transformer-Based Variational
AutoEncoders [5.037881619912574]
本稿では,トランスフォーマーを用いたVAEにおける構造構文注入のための潜時空間分離法について検討する。
具体的には、グラフベースおよびシーケンシャルモデルの統合により、符号化段階で構文構造をどのように活用するかを検討する。
我々の経験的評価は、自然言語文と数学的表現に基づいて行われ、提案したエンドツーエンドのVAEアーキテクチャにより、潜在空間の全体構造がより良くなることを示している。
論文 参考訳(メタデータ) (2023-11-14T22:47:23Z) - Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。
我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。
OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
論文 参考訳(メタデータ) (2023-05-04T12:21:52Z) - Multilingual Extraction and Categorization of Lexical Collocations with
Graph-aware Transformers [86.64972552583941]
我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。
以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
論文 参考訳(メタデータ) (2022-05-23T16:47:37Z) - Visualizing the Relationship Between Encoded Linguistic Information and
Task Performance [53.223789395577796]
本稿では,Pareto Optimalityの観点から,符号化言語情報とタスクパフォーマンスの動的関係について検討する。
我々は、機械翻訳と言語モデリングという2つの一般的なNLPタスクの実験を行い、様々な言語情報とタスクパフォーマンスの関係について検討する。
実験結果から,NLPタスクには構文情報が有用であるのに対して,より構文情報の符号化が必ずしも優れたパフォーマンスをもたらすとは限らないことが示唆された。
論文 参考訳(メタデータ) (2022-03-29T19:03:10Z) - Examining Scaling and Transfer of Language Model Architectures for
Machine Translation [51.69212730675345]
言語モデル(LM)は単一のレイヤのスタックで処理し、エンコーダ・デコーダモデル(EncDec)は入力と出力の処理に別々のレイヤスタックを使用する。
機械翻訳において、EncDecは長年好まれてきたアプローチであるが、LMの性能についての研究はほとんどない。
論文 参考訳(メタデータ) (2022-02-01T16:20:15Z) - Incorporating Linguistic Knowledge for Abstractive Multi-document
Summarization [20.572283625521784]
ニューラルネットワークに基づく抽象的多文書要約(MDS)モデルを開発した。
依存関係情報を言語誘導型注意機構に処理する。
言語信号の助けを借りて、文レベルの関係を正しく捉えることができる。
論文 参考訳(メタデータ) (2021-09-23T08:13:35Z) - Contrastive Learning for Context-aware Neural Machine TranslationUsing
Coreference Information [14.671424999873812]
ソース文と文脈文のコア参照に基づく新しいデータ拡張とコントラスト学習方式であるCorefCLを提案する。
コンテキスト文で検出されたコア参照の言及を自動的に破損させることで、CorefCLはコア参照の不整合に敏感なモデルをトレーニングすることができる。
実験では,英語・ドイツ語・韓国語タスクの比較モデルのBLEUを一貫して改善した。
論文 参考訳(メタデータ) (2021-09-13T05:18:47Z) - PIN: A Novel Parallel Interactive Network for Spoken Language
Understanding [68.53121591998483]
既存の RNN ベースのアプローチでは、ID と SF のタスクは、それらの間の相関情報を利用するために、しばしば共同でモデル化される。
SNIPSとATISという2つのベンチマークデータセットによる実験は、我々のアプローチの有効性を実証している。
さらに,事前学習した言語モデルBERTが生成した発話の特徴埋め込みを用いて,提案手法はすべての比較手法の中で最先端の手法を実現する。
論文 参考訳(メタデータ) (2020-09-28T15:59:31Z) - DRTS Parsing with Structure-Aware Encoding and Decoding [28.711318411470497]
最先端のパフォーマンスは、ニューラルシーケンス・ツー・シーケンスモデルによって達成できる。
構造情報を統合するために,エンコーダとデコーダの両フェーズにおける構造認識モデルを提案する。
論文 参考訳(メタデータ) (2020-05-14T12:09:23Z) - Syntax-aware Data Augmentation for Neural Machine Translation [76.99198797021454]
本稿では,ニューラルマシン翻訳のための新しいデータ拡張戦略を提案する。
文中の役割を考慮し,単語選択のための文特異的確率を設定した。
提案手法はWMT14の英語-ドイツ語データセットとIWSLT14のドイツ語-英語データセットを用いて評価する。
論文 参考訳(メタデータ) (2020-04-29T13:45:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。