論文の概要: Categorizing Semantic Representations for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2210.06709v1
• Date: Thu, 13 Oct 2022 04:07:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 15:42:21.463139
• Title: Categorizing Semantic Representations for Neural Machine Translation
• Title（参考訳）: ニューラルネットワーク翻訳における意味表現の分類
• Authors: Yongjing Yin, Yafu Li, Fandong Meng, Jie Zhou, Yue Zhang
• Abstract要約: ソースの文脈化表現に分類を導入する。 主な考え方は、スパーシリティとオーバーフィッティングを減らして一般化を強化することである。 MTデータセットを用いた実験により,提案手法は構成一般化誤差率を24%削減することを示した。
• 参考スコア（独自算出の注目度）: 53.88794787958174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern neural machine translation (NMT) models have achieved competitive performance in standard benchmarks. However, they have recently been shown to suffer limitation in compositional generalization, failing to effectively learn the translation of atoms (e.g., words) and their semantic composition (e.g., modification) from seen compounds (e.g., phrases), and thus suffering from significantly weakened translation performance on unseen compounds during inference. We address this issue by introducing categorization to the source contextualized representations. The main idea is to enhance generalization by reducing sparsity and overfitting, which is achieved by finding prototypes of token representations over the training set and integrating their embeddings into the source encoding. Experiments on a dedicated MT dataset (i.e., CoGnition) show that our method reduces compositional generalization error rates by 24\% error reduction. In addition, our conceptually simple method gives consistently better results than the Transformer baseline on a range of general MT datasets.
• Abstract（参考訳）: 現代のニューラルマシン翻訳(NMT)モデルは、標準ベンチマークで競合性能を達成した。 しかし、最近は合成一般化の限界に苦しめられ、見掛けられた化合物(例:句)から原子(例:単語)とその意味的組成(例:修飾)の翻訳を効果的に学習できず、推論中に見当たらない化合物の翻訳性能が著しく低下していることが示されている。 我々は、ソースの文脈化表現に分類を導入することでこの問題に対処する。 これはトレーニングセット上のトークン表現のプロトタイプを見つけ、それらの埋め込みをソースエンコーディングに統合することで実現される。 MT専用データセット(例えばCoGnition)を用いた実験により,提案手法は合成一般化誤差率を24 %削減することを示した。 さらに,概念的にシンプルな手法により,汎用MTデータセットのトランスフォーマーベースラインよりも一貫した結果が得られる。

関連論文リスト

• Recursive Neural Networks with Bottlenecks Diagnose (Non-)Compositionality [65.60002535580298]
  データの構成性の定量化は難しい課題であり、主に短い発話のために研究されている。 モデルにおけるデータの表現とボトルネックの有無を比較することで,構成性の測定値が得られることを示す。 本手法は、合成データを用いた算術式の評価と、自然言語データを用いた感情分類に適用する。
  論文  参考訳（メタデータ） (2023-01-31T15:46:39Z)
• Translate First Reorder Later: Leveraging Monotonicity in Semantic Parsing [4.396860522241306]
  TPolは2段階のアプローチであり、入力文を単調に翻訳し、正しい出力を得るために再注文する。 2つの一般的なセマンティックパーシングデータセットでアプローチをテストする。
  論文  参考訳（メタデータ） (2022-10-10T17:50:42Z)
• Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation [50.54059385277964]
  CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。 CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
  論文  参考訳（メタデータ） (2022-04-14T08:16:28Z)
• Grounded Graph Decoding Improves Compositional Generalization in Question Answering [68.72605660152101]
  質問応答モデルは、長いシーケンスやより複雑なテスト構造のようなトレーニングパターンの新しい構成に一般化するのに苦労する。 構造化された予測をアテンション機構でグラウンド化することで,言語表現の合成一般化を改善する手法であるグラウンドドグラフデコーディングを提案する。 本モデルは,質問応答における合成一般化の挑戦的ベンチマークである構成自由ベース質問(CFQ)データセットにおいて,最先端のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2021-11-05T17:50:14Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• On Compositional Generalization of Neural Machine Translation [11.171958188127961]
  合成一般化の観点からNMTモデルについて検討する。 我々は216kクリーンで一貫した文ペアからなるベンチマークデータセットCoGnitionを構築した。 複合翻訳誤り率を用いて種々の因子の効果を定量的に分析し,NMTモデルが構成一般化に悪影響を及ぼすことを示した。
  論文  参考訳（メタデータ） (2021-05-31T09:04:29Z)
• Modeling Coverage for Non-Autoregressive Neural Machine Translation [9.173385214565451]
  本稿では,トークンレベルのカバレッジ反復改良機構と文レベルのカバレッジ契約により,カバレッジ情報を直接モデル化するための新しいカバレッジNATを提案する。 WMT14 En-De および WMT16 En-Ro 翻訳タスクの実験結果から,本手法はこれらの誤りを軽減し,ベースラインシステムに対して強い改善が達成できることが示された。
  論文  参考訳（メタデータ） (2021-04-24T07:33:23Z)
• Neural Inverse Text Normalization [11.240669509034298]
  逆テキスト正規化のための効率的かつ堅牢なニューラルソリューションを提案する。 言語の専門家が手作業でカリキュラムを作成する必要なく、他の言語に簡単に拡張できることが示される。 プリトレーニングと融合したトランスベースモデルは、複数のデータセットで一貫して低いwerを達成する。
  論文  参考訳（メタデータ） (2021-02-12T07:53:53Z)
• A Simple but Tough-to-Beat Data Augmentation Approach for Natural Language Understanding and Generation [53.8171136907856]
  カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。 カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。 cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2020-09-29T07:08:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。