論文の概要: An empirical analysis of phrase-based and neural machine translation

• arxiv url: http://arxiv.org/abs/2103.03108v1
• Date: Thu, 4 Mar 2021 15:28:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-05 15:13:04.758655
• Title: An empirical analysis of phrase-based and neural machine translation
• Title（参考訳）: フレーズベースおよびニューラルマシン翻訳の実証的分析
• Authors: Hamidreza Ghader
• Abstract要約: 機械翻訳(MT)の2つの一般的なタイプは、フレーズベースとニューラルマシン翻訳システムです。 フレーズベースおよびニューラルMTシステムにおける重要モデルの挙動について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Two popular types of machine translation (MT) are phrase-based and neural machine translation systems. Both of these types of systems are composed of multiple complex models or layers. Each of these models and layers learns different linguistic aspects of the source language. However, for some of these models and layers, it is not clear which linguistic phenomena are learned or how this information is learned. For phrase-based MT systems, it is often clear what information is learned by each model, and the question is rather how this information is learned, especially for its phrase reordering model. For neural machine translation systems, the situation is even more complex, since for many cases it is not exactly clear what information is learned and how it is learned. To shed light on what linguistic phenomena are captured by MT systems, we analyze the behavior of important models in both phrase-based and neural MT systems. We consider phrase reordering models from phrase-based MT systems to investigate which words from inside of a phrase have the biggest impact on defining the phrase reordering behavior. Additionally, to contribute to the interpretability of neural MT systems we study the behavior of the attention model, which is a key component in neural MT systems and the closest model in functionality to phrase reordering models in phrase-based systems. The attention model together with the encoder hidden state representations form the main components to encode source side linguistic information in neural MT. To this end, we also analyze the information captured in the encoder hidden state representations of a neural MT system. We investigate the extent to which syntactic and lexical-semantic information from the source side is captured by hidden state representations of different neural MT architectures.
• Abstract（参考訳）: 機械翻訳(MT)の2つの一般的なタイプは、フレーズベースとニューラルマシン翻訳システムです。 どちらのシステムも複数の複雑なモデルや層で構成されている。 これらのモデルとレイヤはそれぞれ、ソース言語の異なる言語的側面を学ぶ。 しかし,これらのモデルや層について,どの言語現象が学習されるのか,どのように学習されるのかは明らかになっていない。 フレーズベースのMTシステムでは、各モデルでどのような情報が学習されるのかが明確であり、むしろこの情報がどのように学習されるか、特に句の並べ替えモデルについてである。 ニューラルマシン翻訳システムでは、その状況はさらに複雑であり、多くの場合、どのような情報が学習され、どのように学習されるかは正確には分かっていない。 MTシステムでは,言語現象がどのように捉えられているかを明らかにするために,フレーズベースとニューラルMTシステムの両方において重要なモデルの挙動を解析する。 本研究では, フレーズリオーダリングモデルを用いて, フレーズリオーダリングの動作を定義する上で, フレーズ内のどの単語がもっとも影響が大きいかを検討する。 さらに、ニューラルMTシステムの解釈可能性に寄与するために、ニューラルMTシステムにおける重要なコンポーネントである注意モデルと、フレーズベースのシステムにおけるフレーズリオーダーモデルに最も近いモデルの振る舞いを研究します。 注意モデルとエンコーダ隠された状態表現は、神経MTのソース側言語情報をエンコードする主要なコンポーネントを形成する。 この目的のために、我々はまた、神経MTシステムのエンコーダ隠蔽状態表現でキャプチャされた情報を分析します。 異なるニューラルMTアーキテクチャの隠れた状態表現によって、ソース側からの構文的および語彙的セマンティック情報が捕捉される範囲を調査する。

関連論文リスト

• Mapping of attention mechanisms to a generalized Potts model [50.91742043564049]
  ニューラルネットワークのトレーニングは、いわゆる擬似様相法によって逆ポッツ問題を解くのと全く同じであることを示す。 また、レプリカ法を用いてモデルシナリオにおける自己意図の一般化誤差を解析的に計算する。
  論文  参考訳（メタデータ） (2023-04-14T16:32:56Z)
• Is neural language acquisition similar to natural? A chronological probing study [0.0515648410037406]
  本稿では,MultiBERTやT5といったトランスフォーマー英語モデルの時系列探索について述べる。 コーパスの学習過程において,モデルが学習した言語に関する情報を比較した。 その結果,1)訓練の初期段階に言語情報を取得すること,2)両言語モデルが様々な言語レベルから様々な特徴を捉える能力を示した。
  論文  参考訳（メタデータ） (2022-07-01T17:24:11Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Language Modeling, Lexical Translation, Reordering: The Training Process of NMT through the Lens of Classical SMT [64.1841519527504]
  ニューラルマシン翻訳は、翻訳プロセス全体をモデル化するために、単一のニューラルネットワークを使用する。 ニューラルネットワーク翻訳はデファクトスタンダードであるにもかかわらず、NMTモデルがトレーニングの過程でどのように異なる能力を獲得するのかは、まだ明らかになっていない。
  論文  参考訳（メタデータ） (2021-09-03T09:38:50Z)
• Lexicon Learning for Few-Shot Neural Sequence Modeling [32.49689188570872]
  本稿では,既存の複写機構を一般化した語彙変換機構を提案する。 認知科学、形式意味論、機械翻訳から引き出された様々なシーケンスモデリングタスクの体系的な一般化を改善する。
  論文  参考訳（メタデータ） (2021-06-07T22:35:04Z)
• Implicit Representations of Meaning in Neural Language Models [31.71898809435222]
  会話を通して進化する実体や状況のモデルとして機能する文脈表現を同定する。 その結果,事前学習されたニューラルネットワークモデルにおける予測は,少なくとも部分的には,意味の動的表現と実体状態の暗黙的なシミュレーションによって支持されていることが示唆された。
  論文  参考訳（メタデータ） (2021-06-01T19:23:20Z)
• Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
  言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。 我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。 実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
  論文  参考訳（メタデータ） (2020-09-27T02:13:38Z)
• Universal Vector Neural Machine Translation With Effective Attention [0.0]
  本稿では,エンコーダ-デコーダモデルに基づくニューラルネットワーク翻訳の特異モデルを提案する。 我々は、複数の言語を予測できる中立/ユニバーサルモデル表現を導入する。
  論文  参考訳（メタデータ） (2020-06-09T01:13:57Z)
• DiscreTalk: Text-to-Speech as a Machine Translation Problem [52.33785857500754]
  本稿ではニューラルマシン翻訳(NMT)に基づくエンドツーエンドテキスト音声合成(E2E-TTS)モデルを提案する。 提案モデルは,非自己回帰ベクトル量子化変分オートエンコーダ(VQ-VAE)モデルと自己回帰トランスフォーマー-NMTモデルという2つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2020-05-12T02:45:09Z)
• Assessing the Bilingual Knowledge Learned by Neural Machine Translation Models [72.56058378313963]
  NMTモデルで学習したバイリンガル知識をフレーズテーブルで評価することで,このギャップを埋める。 NMTモデルは、単純なものから複雑なものまでパターンを学習し、トレーニング例から本質的なバイリンガル知識を抽出する。
  論文  参考訳（メタデータ） (2020-04-28T03:44:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。