論文の概要: Mitigating Hallucinations and Off-target Machine Translation with Source-Contrastive and Language-Contrastive Decoding

• arxiv url: http://arxiv.org/abs/2309.07098v1
• Date: Wed, 13 Sep 2023 17:15:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-14 13:19:39.216368
• Title: Mitigating Hallucinations and Off-target Machine Translation with Source-Contrastive and Language-Contrastive Decoding
• Title（参考訳）: ソース・コントラストおよび言語・コントラスト・デコーディングによる幻覚とオフターゲット機械翻訳の緩和
• Authors: Rico Sennrich and Jannis Vamvas and Alireza Mohammadshahi
• Abstract要約: 幻覚と非目標翻訳は、機械翻訳において未解決の問題である。 修正された復号化目的により、両方の障害ケースを緩和する手法を導入する。 これらの手法は幻覚や標的外翻訳を効果的に抑制する。
• 参考スコア（独自算出の注目度）: 53.84948040596055
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hallucinations and off-target translation remain unsolved problems in machine translation, especially for low-resource languages and massively multilingual models. In this paper, we introduce methods to mitigate both failure cases with a modified decoding objective, without requiring retraining or external models. In source-contrastive decoding, we search for a translation that is probable given the correct input, but improbable given a random input segment, hypothesising that hallucinations will be similarly probable given either. In language-contrastive decoding, we search for a translation that is probable, but improbable given the wrong language indicator token. In experiments on M2M-100 (418M) and SMaLL-100, we find that these methods effectively suppress hallucinations and off-target translations, improving chrF2 by 1.7 and 1.4 points on average across 57 tested translation directions. In a proof of concept on English--German, we also show that we can suppress off-target translations with the Llama 2 chat models, demonstrating the applicability of the method to machine translation with LLMs. We release our source code at https://github.com/ZurichNLP/ContraDecode.
• Abstract（参考訳）: 幻覚やオフターゲット翻訳は、特に低リソース言語や多言語モデルにおいて、機械翻訳において未解決の問題である。 本稿では,再学習や外部モデルを必要とせず,デコード目的の修正による障害ケースの緩和手法を提案する。 ソース・コントラスト復号法では、正しい入力が与えられたとしても、ランダムな入力セグメントが与えられない翻訳を探索し、幻覚も同様の確率で与えられると仮定する。 言語結合型デコードでは、間違った言語指示トークンを考えると、あり得るが、あり得ない翻訳を探索する。 M2M-100 (418M) と SMaLL-100 の実験では,これらの手法は幻覚や標的外翻訳を効果的に抑制し,57 の検定翻訳方向において,chrF2 を平均 1.7 および 1.4 ポイント改善する。 また,英語-ドイツ語における概念実証において,llama 2チャットモデルを用いて目標外の翻訳を抑制できることを示し,llmsを用いた機械翻訳への適用性を示した。 ソースコードはhttps://github.com/ZurichNLP/ContraDecode.comで公開しています。

関連論文リスト

• Language-Informed Beam Search Decoding for Multilingual Machine Translation [24.044315362087687]
  言語インフォームドビームサーチ(Language-informed Beam Search, LiBS)は、市販の言語識別(LiD)モデルをビームサーチデコードに組み込んだ汎用デコードアルゴリズムである。 その結果、提案したLiBSアルゴリズムは平均で+1.1 BLEUと+0.9 BLEUをWMTおよびOPUSデータセットで改善し、ターゲット外レートを22.9%から7.7%、65.8%から25.3%に削減した。
  論文  参考訳（メタデータ） (2024-08-11T09:57:46Z)
• Paying More Attention to Source Context: Mitigating Unfaithful Translations from Large Language Model [28.288949710191158]
  大規模言語モデル(LLM)は、印象的な多言語機械翻訳能力を示した。 エンコーダ-デコーダスタイルのモデルとは異なり、デコーダのみのLLMはソースとターゲットのコンテキストの間に明確なアライメントを欠いている。 我々はLLMに対して、ソースとターゲットの両方の観点から、ソースコンテキストにもっと注意を払うよう推奨する。
  論文  参考訳（メタデータ） (2024-06-11T07:49:04Z)
• Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation [79.96416609433724]
  Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。 推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。 近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
  論文  参考訳（メタデータ） (2023-09-28T17:02:36Z)
• On the Copying Problem of Unsupervised NMT: A Training Schedule with a Language Discriminator Loss [120.19360680963152]
  unsupervised neural machine translation (UNMT)は多くの言語で成功している。 コピー問題、すなわち、入力文の一部を翻訳として直接コピーする問題は、遠い言語対に共通している。 本稿では,言語識別器の損失を取り入れた,シンプルだが効果的な訓練スケジュールを提案する。
  論文  参考訳（メタデータ） (2023-05-26T18:14:23Z)
• On the Off-Target Problem of Zero-Shot Multilingual Neural Machine Translation [104.85258654917297]
  識別対象言語信号の符号化に失敗すると、オフターゲットとなり、語彙距離が近くなることが判明した。 多言語語彙構築のための言語認識語彙共有(LAVS)を提案する。 我々は11言語で多言語機械翻訳ベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2023-05-18T12:43:31Z)
• Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
  大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
  論文  参考訳（メタデータ） (2023-05-11T05:19:47Z)
• Hallucinations in Large Multilingual Translation Models [70.10455226752015]
  大規模多言語機械翻訳システムでは、多数の言語間で直接翻訳できることが顕著に示されている。 野生に配備されると、これらのモデルが幻覚翻訳を生成し、ユーザーの信頼を著しく損なう可能性があり、安全性の懸念が高まる。 幻覚に関する既存の研究は、主に高ソース言語で訓練された小さなバイリンガルモデルに焦点を当てている。
  論文  参考訳（メタデータ） (2023-03-28T16:17:59Z)
• Improving Zero-Shot Translation by Disentangling Positional Information [24.02434897109097]
  言語固有の表現を引き起こす主な要因は、入力トークンに対する位置対応であることを示す。 指示方向の品質を維持しながら、ゼロショット翻訳で最大18.5 BLEUポイントを得る。
  論文  参考訳（メタデータ） (2020-12-30T12:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。