論文の概要: Accurate Word Alignment Induction from Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2004.14837v2
• Date: Thu, 3 Dec 2020 01:57:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 03:14:21.757019
• Title: Accurate Word Alignment Induction from Neural Machine Translation
• Title（参考訳）: ニューラルマシン翻訳による正確な単語アライメント誘導
• Authors: Yun Chen, Yang Liu, Guanhua Chen, Xin Jiang, Qun Liu
• Abstract要約: 本稿では2つの単語アライメント誘導手法 Shift-Att と Shift-AET を提案する。 主なアイデアは、to-be-alignedターゲットトークンがデコーダ入力であるときに、ステップでアライメントを誘導することである。 3つの公開データセットの実験では、両方のメソッドが対応する神経ベースラインよりも優れたパフォーマンスを示している。
• 参考スコア（独自算出の注目度）: 33.21196289328584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite its original goal to jointly learn to align and translate, prior researches suggest that Transformer captures poor word alignments through its attention mechanism. In this paper, we show that attention weights DO capture accurate word alignments and propose two novel word alignment induction methods Shift-Att and Shift-AET. The main idea is to induce alignments at the step when the to-be-aligned target token is the decoder input rather than the decoder output as in previous work. Shift-Att is an interpretation method that induces alignments from the attention weights of Transformer and does not require parameter update or architecture change. Shift-AET extracts alignments from an additional alignment module which is tightly integrated into Transformer and trained in isolation with supervision from symmetrized Shift-Att alignments. Experiments on three publicly available datasets demonstrate that both methods perform better than their corresponding neural baselines and Shift-AET significantly outperforms GIZA++ by 1.4-4.8 AER points.
• Abstract（参考訳）: 共同でアライメントと翻訳を学ぶという当初の目標にもかかわらず、以前の研究はTransformerがアライメントメカニズムを通じて単語のアライメントを弱めることを示唆していた。 本稿では,注目重みDOが正確な単語アライメントをキャプチャし,Shift-AttとShift-AETの2つの新しい単語アライメント誘導手法を提案する。 主なアイデアは、to-be-alignedターゲットトークンが以前の作業のようにデコーダ出力ではなくデコーダ入力であるステップでアライメントを誘導することである。 Shift-AttはTransformerの注目度からアライメントを誘導する解釈手法であり、パラメータ更新やアーキテクチャの変更を必要としない。 shift-aetは、トランスフォーマーに密に統合され、対称性のシフト-アットアライメントからの監督と分離して訓練された追加アライメントモジュールからアライメントを抽出する。 3つの公開データセットの実験では、どちらの手法も対応する神経ベースラインよりも優れており、Shift-AETはGIZA++を1.4-4.8 AERポイントで大幅に上回っている。

関連論文リスト

• Are Transformers in Pre-trained LM A Good ASR Encoder? An Empirical Study [52.91899050612153]
  自動音声認識(ASR)のためのエンコーダとして再利用された事前訓練言語モデル(PLM)内のトランスフォーマー 本研究は,事前学習したLMのトランスフォーマーを組み込んだASRタスクにおいて,文字誤り率 (CER) とワード誤り率 (WER) の顕著な改善が認められた。 このことは、事前訓練されたトランスフォーマーに埋め込まれたセマンティックな技術を活用して、ASRシステムの能力を向上させる可能性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-09-26T11:31:18Z)
• A CTC Alignment-based Non-autoregressive Transformer for End-to-end Automatic Speech Recognition [26.79184118279807]
  CTCアライメントに基づく一段非自己回帰変換器(CASS-NAT)をエンドツーエンドASRに適用する。 自己回帰変換器(AT)への単語埋め込みは、エンコーダ出力から抽出されたトークンレベルの音響埋め込み(TAE)で代用される。 我々は,CASS-NAT が様々な ASR タスクにおいて AT に近い WER を持ち,24 倍の推論速度を提供することを発見した。
  論文  参考訳（メタデータ） (2023-04-15T18:34:29Z)
• Inducing and Using Alignments for Transition-based AMR Parsing [51.35194383275297]
  複雑なパイプラインに依存することなくノード間アライメントを学習するAMRのためのニューラルアライメント器を提案する。 我々は,AMR3.0のビームサーチを必要とせず,銀のトレーニングされた性能に適合する,金のみのトレーニングモデルのための新しい最先端技術を得た。
  論文  参考訳（メタデータ） (2022-05-03T12:58:36Z)
• AMR Parsing with Action-Pointer Transformer [18.382148821100152]
  文に対するハードアテンテンションとターゲット側アクションポインタ機構を組み合わせたトランジションベースのシステムを提案する。 我々のアクションポインターアプローチは表現性を高め、最高の遷移ベースAMRに対して大きな利益を得ることを示す。
  論文  参考訳（メタデータ） (2021-04-29T22:01:41Z)
• Label-Synchronous Speech-to-Text Alignment for ASR Using Forward and Backward Transformers [49.403414751667135]
  本稿では,音声認識のための新しいラベル同期音声テキストアライメント手法を提案する。 提案手法はラベル同期テキストマッピング問題として音声からテキストへのアライメントを再定義する。 自発日本語コーパス(CSJ)を用いた実験により,提案手法が正確な発話方向のアライメントを提供することを示した。
  論文  参考訳（メタデータ） (2021-04-21T03:05:12Z)
• Demystifying the Better Performance of Position Encoding Variants for Transformer [12.503079503907989]
  トランスフォーマーモデルに位置とセグメントをエンコードする方法を示します。 提案手法は、GLUE, XTREME, WMTベンチマークのSOTAと同等に実行し、コストを節約する。
  論文  参考訳（メタデータ） (2021-04-18T03:44:57Z)
• Leveraging Neural Machine Translation for Word Alignment [0.0]
  機械翻訳(MT)システムは、訓練された注意頭を用いて単語アライメントを生成することができる。 単語アライメントは理論上、いかなる注意に基づくNMTの副産物であるため、これは便利である。 アライメントスコアから単語アライメントを抽出する方法に関するさまざまなアプローチを要約し、NMTからスコアを抽出する方法を探ります。
  論文  参考訳（メタデータ） (2021-03-31T17:51:35Z)
• Explicit Reordering for Neural Machine Translation [50.70683739103066]
  Transformer-based neural machine translation (NMT)では、位置符号化機構は、自己アテンションネットワークが順序依存でソース表現を学習するのに役立つ。 本研究では,トランスフォーマーベースのNMTに対して,このリオーダ情報を明示的にモデル化する新しいリオーダ手法を提案する。 WMT14, WAT ASPEC日本語訳, WMT17中国語訳の実証結果から, 提案手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2020-04-08T05:28:46Z)
• Fixed Encoder Self-Attention Patterns in Transformer-Based Machine Translation [73.11214377092121]
  我々は,各エンコーダ層の注意頭数のみを,単純な固定型(非学習型)の注意パターンに置き換えることを提案する。 異なるデータサイズと複数の言語ペアを用いた実験により、トレーニング時にトランスフォーマーのエンコーダ側でアテンションヘッドを固定することは翻訳品質に影響を与えないことが示された。
  論文  参考訳（メタデータ） (2020-02-24T13:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。