論文の概要: CBSiMT: Mitigating Hallucination in Simultaneous Machine Translation with Weighted Prefix-to-Prefix Training

• arxiv url: http://arxiv.org/abs/2311.03672v1
• Date: Tue, 7 Nov 2023 02:44:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 17:17:53.760665
• Title: CBSiMT: Mitigating Hallucination in Simultaneous Machine Translation with Weighted Prefix-to-Prefix Training
• Title（参考訳）: cbsimt: 重み付きプレフィックストレーニングによる同時機械翻訳における幻覚緩和
• Authors: Mengge Liu, Wen Zhang, Xiang Li, Yanzhi Tian, Yuhang Guo, Jian Luan, Bin Wang, Shuoying Chen
• Abstract要約: 同時機械翻訳(SiMT)は、全文が利用可能になる前に翻訳を開始することを必要とする課題である。 Prefix-to-フレームワークはSiMTに適用されることが多く、部分的なソースプレフィックスのみを使用してターゲットトークンを予測することを学ぶ。 本稿では,モデル信頼を利用して幻覚トークンを知覚する信頼に基づく同時機械翻訳フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 13.462260072313894
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Simultaneous machine translation (SiMT) is a challenging task that requires starting translation before the full source sentence is available. Prefix-to-prefix framework is often applied to SiMT, which learns to predict target tokens using only a partial source prefix. However, due to the word order difference between languages, misaligned prefix pairs would make SiMT models suffer from serious hallucination problems, i.e. target outputs that are unfaithful to source inputs. Such problems can not only produce target tokens that are not supported by the source prefix, but also hinder generating the correct translation by receiving more source words. In this work, we propose a Confidence-Based Simultaneous Machine Translation (CBSiMT) framework, which uses model confidence to perceive hallucination tokens and mitigates their negative impact with weighted prefix-to-prefix training. Specifically, token-level and sentence-level weights are calculated based on model confidence and acted on the loss function. We explicitly quantify the faithfulness of the generated target tokens using the token-level weight, and employ the sentence-level weight to alleviate the disturbance of sentence pairs with serious word order differences on the model. Experimental results on MuST-C English-to-Chinese and WMT15 German-to-English SiMT tasks demonstrate that our method can consistently improve translation quality at most latency regimes, with up to 2 BLEU scores improvement at low latency.
• Abstract（参考訳）: 同時機械翻訳(SiMT)は、全文が利用可能になる前に翻訳を開始する必要がある課題である。 Prefix-to-prefixフレームワークは、部分的なソースプレフィックスのみを使用してターゲットトークンを予測するSiMTに適用されることが多い。 しかし、言語間の単語の順序の違いにより、不整合プレフィックスペアはSiMTモデルを深刻な幻覚的問題、すなわちソース入力に不満足なターゲット出力に悩まさせる。 このような問題は、ソースプレフィックスがサポートしていないターゲットトークンを生成するだけでなく、より多くのソース単語を受信することで正しい翻訳を生成するのを妨げる。 本研究では,モデル信頼度を用いて幻覚トークンを知覚し,その負の影響を重み付きプレフィックストレーニングで軽減する信頼性ベース同時機械翻訳(CBSiMT)フレームワークを提案する。 具体的には、モデル信頼度に基づいてトークンレベルおよび文レベルの重みを算出し、損失関数に作用する。 トークンレベルの重みを用いて生成された目標トークンの忠実度を明示的に定量化し、文レベルの重みをモデル上で重大な単語順の差異を伴う文対の乱れを緩和する。 MuST-C English-to- Chinese および WMT15 German-to- English SiMT task の実験結果から,我々の手法は,ほとんどの待ち時間における翻訳品質を継続的に向上し,最大2 BLEU は低レイテンシで改善できることが示された。

関連論文リスト

• Language Model is a Branch Predictor for Simultaneous Machine Translation [73.82754138171587]
  翻訳遅延を低減するため,SiMTタスクに分岐予測手法を組み込むことを提案する。 言語モデルを分岐予測器として利用し,潜在的な分岐方向を予測する。 実際のソース語が予測されたソース語から逸脱すると、実際のソース語を使用して出力を復号し、予測された出力を置き換える。
  論文  参考訳（メタデータ） (2023-12-22T07:32:47Z)
• Glancing Future for Simultaneous Machine Translation [35.46823126036308]
  本稿では,プレフィックス2トレーニングとセq2seqトレーニングのギャップを埋める新しい手法を提案する。 我々は、利用可能なソース情報を、そのレイテンシに対応するセンテンス全体からプレフィックスに徐々に削減する。 提案手法は多種多様なSiMT法に適用可能であり, 実験により本手法が強いベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-12T12:46:20Z)
• Towards Reliable Neural Machine Translation with Consistency-Aware Meta-Learning [24.64700139151659]
  現在のニューラル機械翻訳(NMT)システムは信頼性の欠如に悩まされている。 本稿では,モデルに依存しないメタラーニング(MAML)アルゴリズムをベースとした,一貫性を考慮したメタラーニング(CAML)フレームワークを提案する。 我々は、NIST中国語から英語へのタスク、3つのWMT翻訳タスク、TED M2Oタスクについて実験を行った。
  論文  参考訳（メタデータ） (2023-03-20T09:41:28Z)
• Competency-Aware Neural Machine Translation: Can Machine Translation Know its Own Translation Quality? [61.866103154161884]
  ニューラルマシン翻訳(NMT)は、意識せずに起こる失敗に対してしばしば批判される。 本稿では,従来のNMTを自己推定器で拡張することで,新たな能力認識型NMTを提案する。 提案手法は品質評価において優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2022-11-25T02:39:41Z)
• Understanding and Improving Sequence-to-Sequence Pretraining for Neural Machine Translation [48.50842995206353]
  本研究は,Seq2Seqプレトレーニングと従来のエンコーダによるNMTの事前トレーニングとの主な違いである,共同事前学習デコーダの影響について検討する。 我々は、ドメインと目的の相違を緩和するために、ドメイン内の事前訓練と入力適応という、シンプルで効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-16T07:36:28Z)
• Anticipation-free Training for Simultaneous Translation [70.85761141178597]
  同時翻訳(SimulMT)は、原文が完全に利用可能になる前に翻訳を開始することで翻訳プロセスを高速化する。 既存の手法は遅延を増大させるか、SimulMTモデルに適応的な読み書きポリシーを導入し、局所的なリオーダーを処理し、翻訳品質を改善する。 本稿では,翻訳過程をモノトニック翻訳ステップと並べ替えステップに分解する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:29:37Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• It's Easier to Translate out of English than into it: Measuring Neural Translation Difficulty by Cross-Mutual Information [90.35685796083563]
  クロスミューチュアル情報(英: Cross-mutual information、XMI)は、機械翻訳の難易度に関する非対称情報理論の指標である。 XMIは、ほとんどのニューラルマシン翻訳モデルの確率的性質を利用する。 本稿では,現代ニューラル翻訳システムを用いた言語間翻訳の難易度に関する最初の体系的および制御的な研究について述べる。
  論文  参考訳（メタデータ） (2020-05-05T17:38:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。