論文の概要: Reducing Position Bias in Simultaneous Machine Translation with Length-Aware Framework

• arxiv url: http://arxiv.org/abs/2203.09053v1
• Date: Thu, 17 Mar 2022 03:18:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-18 13:03:49.849906
• Title: Reducing Position Bias in Simultaneous Machine Translation with Length-Aware Framework
• Title（参考訳）: 長さ認識フレームワークを用いた同時機械翻訳における位置バイアスの低減
• Authors: Shaolei Zhang, Yang Feng
• Abstract要約: 同時機械翻訳(SiMT)は、ストリーミングソース入力を受信しながら翻訳を開始する。 我々は,SiMTと全文MTの構造的ギャップを埋めることで,位置バイアスを低減するためのLongth-Aware Frameworkを開発した。
• 参考スコア（独自算出の注目度）: 21.03142288187605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simultaneous machine translation (SiMT) starts translating while receiving the streaming source inputs, and hence the source sentence is always incomplete during translating. Different from the full-sentence MT using the conventional seq-to-seq architecture, SiMT often applies prefix-to-prefix architecture, which forces each target word to only align with a partial source prefix to adapt to the incomplete source in streaming inputs. However, the source words in the front positions are always illusoryly considered more important since they appear in more prefixes, resulting in position bias, which makes the model pay more attention on the front source positions in testing. In this paper, we first analyze the phenomenon of position bias in SiMT, and develop a Length-Aware Framework to reduce the position bias by bridging the structural gap between SiMT and full-sentence MT. Specifically, given the streaming inputs, we first predict the full-sentence length and then fill the future source position with positional encoding, thereby turning the streaming inputs into a pseudo full-sentence. The proposed framework can be integrated into most existing SiMT methods to further improve performance. Experiments on two representative SiMT methods, including the state-of-the-art adaptive policy, show that our method successfully reduces the position bias and achieves better SiMT performance.
• Abstract（参考訳）: 同時機械翻訳(SiMT)は、ストリーミングソース入力を受信しながら翻訳を開始するため、翻訳中はソース文が常に不完全である。 従来のseq-to-seqアーキテクチャを使用したフルセンテンスmtとは異なり、simtはプレフィックスからプリフィックスへのアーキテクチャをしばしば採用しており、各ターゲットワードは、ストリーミング入力における不完全なソースに適応するために、部分的なソースプレフィックスにのみ対応せざるを得ない。 しかし、前置位置にあるソースワードは、プレフィックスが増えて位置バイアスが生じ、テストにおいて前置位置に注意を向けるようになるため、常により重要視されている。 本稿では,まずsimtの位置バイアス現象を解析し,simtとフルセンテンスmt間の構造ギャップを橋渡しすることで位置バイアスを低減させる長さ認識フレームワークを開発した。 提案するフレームワークは、パフォーマンスをさらに向上するために、既存のほとんどのSiMTメソッドに統合することができる。 現状適応ポリシを含む2つの代表的なSiMT手法の実験により,本手法が位置バイアスを低減し,優れたSiMT性能を実現することを示す。

関連論文リスト

• Decoder-only Streaming Transformer for Simultaneous Translation [31.558179590071973]
  同時機械翻訳(SiMT)は、ソーストークンを読みながら翻訳を生成し、基本的にはソースプレフィックスに基づいてターゲットプレフィックスを生成する。 本稿では,Decoderのみのアーキテクチャの可能性について検討する。 Decoder のみの SiMT モデルとして,Decoder のみの Streaming Transformer (DST) を提案する。
  論文  参考訳（メタデータ） (2024-06-06T09:13:13Z)
• Language Model is a Branch Predictor for Simultaneous Machine Translation [73.82754138171587]
  翻訳遅延を低減するため,SiMTタスクに分岐予測手法を組み込むことを提案する。 言語モデルを分岐予測器として利用し,潜在的な分岐方向を予測する。 実際のソース語が予測されたソース語から逸脱すると、実際のソース語を使用して出力を復号し、予測された出力を置き換える。
  論文  参考訳（メタデータ） (2023-12-22T07:32:47Z)
• CBSiMT: Mitigating Hallucination in Simultaneous Machine Translation with Weighted Prefix-to-Prefix Training [13.462260072313894]
  同時機械翻訳(SiMT)は、全文が利用可能になる前に翻訳を開始することを必要とする課題である。 Prefix-to-フレームワークはSiMTに適用されることが多く、部分的なソースプレフィックスのみを使用してターゲットトークンを予測することを学ぶ。 本稿では,モデル信頼を利用して幻覚トークンを知覚する信頼に基づく同時機械翻訳フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-07T02:44:45Z)
• Glancing Future for Simultaneous Machine Translation [35.46823126036308]
  本稿では,プレフィックス2トレーニングとセq2seqトレーニングのギャップを埋める新しい手法を提案する。 我々は、利用可能なソース情報を、そのレイテンシに対応するセンテンス全体からプレフィックスに徐々に削減する。 提案手法は多種多様なSiMT法に適用可能であり, 実験により本手法が強いベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-12T12:46:20Z)
• Gaussian Multi-head Attention for Simultaneous Machine Translation [21.03142288187605]
  同時機械翻訳(SiMT)は、ストリーミングソース入力を受信しながら翻訳を出力する。 我々は、アライメントと翻訳を統一的にモデル化し、新しいSiMTポリシーを提案する。 En-ViタスクとDe-Enタスクの実験により、我々の手法は翻訳とレイテンシのトレードオフにおいて強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-03-17T04:01:25Z)
• Source and Target Bidirectional Knowledge Distillation for End-to-end Speech Translation [88.78138830698173]
  外部テキストベースNMTモデルからのシーケンスレベルの知識蒸留(SeqKD)に注目した。 E2E-STモデルを訓練し、パラフレーズ転写を1つのデコーダで補助タスクとして予測する。
  論文  参考訳（メタデータ） (2021-04-13T19:00:51Z)
• Enhanced Modality Transition for Image Captioning [51.72997126838352]
  MTM(Modality Transition Module)を構築し、言語モデルに転送する前に視覚的機能をセマンティック表現に転送します。 トレーニング段階では、モダリティ遷移ネットワークは提案されたモダリティ損失によって最適化される。 提案手法の有効性を示すMS-COCOデータセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2021-02-23T07:20:12Z)
• Explicit Reordering for Neural Machine Translation [50.70683739103066]
  Transformer-based neural machine translation (NMT)では、位置符号化機構は、自己アテンションネットワークが順序依存でソース表現を学習するのに役立つ。 本研究では,トランスフォーマーベースのNMTに対して,このリオーダ情報を明示的にモデル化する新しいリオーダ手法を提案する。 WMT14, WAT ASPEC日本語訳, WMT17中国語訳の実証結果から, 提案手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2020-04-08T05:28:46Z)
• Learning Contextualized Sentence Representations for Document-Level Neural Machine Translation [59.191079800436114]
  文書レベルの機械翻訳は、文間の依存関係をソース文の翻訳に組み込む。 本稿では,ニューラルマシン翻訳(NMT)を訓練し,文のターゲット翻訳と周辺文の双方を予測することによって,文間の依存関係をモデル化するフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-30T03:38:01Z)
• Explicit Sentence Compression for Neural Machine Translation [110.98786673598016]
  State-of-the-the-art Transformer-based Neural Machine Translation (NMT)システムはまだ標準のエンコーダデコーダフレームワークに従っている。 バックボーン情報は 文のギストを表すもので 具体的には 焦点を絞っていません 提案手法は,NMTのソース文表現を強化するための明示的な文圧縮手法である。
  論文  参考訳（メタデータ） (2019-12-27T04:14:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。