論文の概要: Syntax-Aware Complex-Valued Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2307.08586v2
• Date: Mon, 17 Jun 2024 13:09:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 12:50:30.058120
• Title: Syntax-Aware Complex-Valued Neural Machine Translation
• Title（参考訳）: 構文対応複合価値ニューラルマシン翻訳
• Authors: Yang Liu, Yuexian Hou,
• Abstract要約: 本稿では,構文情報を複合値デコーダアーキテクチャに組み込む手法を提案する。 提案モデルは,単語レベルと構文レベルのアテンションスコアを,アテンション機構を用いて,ソース側からターゲット側へ共同で学習する。 実験により,提案手法は2つのデータセット上でのBLEUスコアを大幅に改善できることを示した。
• 参考スコア（独自算出の注目度）: 14.772317918560548
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Syntax has been proven to be remarkably effective in neural machine translation (NMT). Previous models obtained syntax information from syntactic parsing tools and integrated it into NMT models to improve translation performance. In this work, we propose a method to incorporate syntax information into a complex-valued Encoder-Decoder architecture. The proposed model jointly learns word-level and syntax-level attention scores from the source side to the target side using an attention mechanism. Importantly, it is not dependent on specific network architectures and can be directly integrated into any existing sequence-to-sequence (Seq2Seq) framework. The experimental results demonstrate that the proposed method can bring significant improvements in BLEU scores on two datasets. In particular, the proposed method achieves a greater improvement in BLEU scores in translation tasks involving language pairs with significant syntactic differences.
• Abstract（参考訳）: シンタクスは神経機械翻訳(NMT)において極めて効果的であることが証明されている。 従来のモデルは構文解析ツールから構文情報を取得し、翻訳性能を向上させるためにNMTモデルに統合された。 本研究では,構文情報を複雑なエンコーダ・デコーダアーキテクチャに組み込む手法を提案する。 提案モデルは,単語レベルと構文レベルのアテンションスコアを,アテンション機構を用いて,ソース側からターゲット側へ共同で学習する。 重要なのは、特定のネットワークアーキテクチャに依存しておらず、既存のシークエンス・ツー・シーケンス(Seq2Seq)フレームワークに直接統合可能であることだ。 実験により,提案手法は2つのデータセット上でのBLEUスコアを大幅に改善できることを示した。 特に,提案手法は,意味的な構文的差異を持つ言語ペアを含む翻訳タスクにおいて,BLEUスコアをより向上させる。

関連論文リスト

• Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback [50.84142264245052]
  テキストレス音声言語モデル(SLM)のセマンティック理解を強化するためのAlign-SLMフレームワークを導入する。 提案手法は、与えられたプロンプトから複数の音声継続を生成し、意味的指標を用いて、直接選好最適化(DPO)のための選好データを生成する。 語彙および構文モデリングのためのZeroSpeech 2021ベンチマーク、意味的コヒーレンスのためのStoryClozeデータセットの音声バージョン、GPT4-oスコアや人間評価などの音声生成指標を用いて、フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2024-11-04T06:07:53Z)
• On Eliciting Syntax from Language Models via Hashing [19.872554909401316]
  教師なし構文解析は、生のテキストから構文構造を推論することを目的としている。 本稿では,本機能を利用して生テキストから解析木を推定する可能性について検討する。 本手法は,事前学習した言語モデルから高品質な構文解析木を低コストで取得する上で,有効かつ効率的であることを示す。
  論文  参考訳（メタデータ） (2024-10-05T08:06:19Z)
• Sequence Shortening for Context-Aware Machine Translation [5.803309695504831]
  マルチエンコーダアーキテクチャの特殊な場合において,コントラストデータセットの精度が向上することを示す。 遅延グループと遅延選択という2つの新しい手法を導入し、ネットワークはトークンをグループ化するか、コンテキストとしてキャッシュされるトークンを選択する。
  論文  参考訳（メタデータ） (2024-02-02T13:55:37Z)
• Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
  既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。 我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。 OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
  論文  参考訳（メタデータ） (2023-05-04T12:21:52Z)
• Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers [86.64972552583941]
  我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。 以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
  論文  参考訳（メタデータ） (2022-05-23T16:47:37Z)
• Visualizing the Relationship Between Encoded Linguistic Information and Task Performance [53.223789395577796]
  本稿では,Pareto Optimalityの観点から,符号化言語情報とタスクパフォーマンスの動的関係について検討する。 我々は、機械翻訳と言語モデリングという2つの一般的なNLPタスクの実験を行い、様々な言語情報とタスクパフォーマンスの関係について検討する。 実験結果から,NLPタスクには構文情報が有用であるのに対して,より構文情報の符号化が必ずしも優れたパフォーマンスをもたらすとは限らないことが示唆された。
  論文  参考訳（メタデータ） (2022-03-29T19:03:10Z)
• Incorporating Linguistic Knowledge for Abstractive Multi-document Summarization [20.572283625521784]
  ニューラルネットワークに基づく抽象的多文書要約(MDS)モデルを開発した。 依存関係情報を言語誘導型注意機構に処理する。 言語信号の助けを借りて、文レベルの関係を正しく捉えることができる。
  論文  参考訳（メタデータ） (2021-09-23T08:13:35Z)
• Contrastive Learning for Context-aware Neural Machine TranslationUsing Coreference Information [14.671424999873812]
  ソース文と文脈文のコア参照に基づく新しいデータ拡張とコントラスト学習方式であるCorefCLを提案する。 コンテキスト文で検出されたコア参照の言及を自動的に破損させることで、CorefCLはコア参照の不整合に敏感なモデルをトレーニングすることができる。 実験では,英語・ドイツ語・韓国語タスクの比較モデルのBLEUを一貫して改善した。
  論文  参考訳（メタデータ） (2021-09-13T05:18:47Z)
• PIN: A Novel Parallel Interactive Network for Spoken Language Understanding [68.53121591998483]
  既存の RNN ベースのアプローチでは、ID と SF のタスクは、それらの間の相関情報を利用するために、しばしば共同でモデル化される。 SNIPSとATISという2つのベンチマークデータセットによる実験は、我々のアプローチの有効性を実証している。 さらに,事前学習した言語モデルBERTが生成した発話の特徴埋め込みを用いて,提案手法はすべての比較手法の中で最先端の手法を実現する。
  論文  参考訳（メタデータ） (2020-09-28T15:59:31Z)
• DRTS Parsing with Structure-Aware Encoding and Decoding [28.711318411470497]
  最先端のパフォーマンスは、ニューラルシーケンス・ツー・シーケンスモデルによって達成できる。 構造情報を統合するために,エンコーダとデコーダの両フェーズにおける構造認識モデルを提案する。
  論文  参考訳（メタデータ） (2020-05-14T12:09:23Z)
• Syntax-aware Data Augmentation for Neural Machine Translation [76.99198797021454]
  本稿では,ニューラルマシン翻訳のための新しいデータ拡張戦略を提案する。 文中の役割を考慮し,単語選択のための文特異的確率を設定した。 提案手法はWMT14の英語-ドイツ語データセットとIWSLT14のドイツ語-英語データセットを用いて評価する。
  論文  参考訳（メタデータ） (2020-04-29T13:45:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。