論文の概要: Optimal Transport for Unsupervised Hallucination Detection in Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2212.09631v2
• Date: Fri, 19 May 2023 16:36:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-22 19:25:04.584553
• Title: Optimal Transport for Unsupervised Hallucination Detection in Neural Machine Translation
• Title（参考訳）: ニューラルマシン翻訳における教師なし幻覚検出のための最適輸送法
• Authors: Nuno M. Guerreiro, Pierre Colombo, Pablo Piantanida, Andr\'e F. T. Martins
• Abstract要約: ニューラルネットワーク翻訳(NMT)は、現実世界の機械翻訳アプリケーションにおいてデファクトスタンダードとなっている。 NMTモデルは、ユーザーの信頼を著しく損なう幻覚として知られる深刻な病的翻訳を予測不能に生成することができる。 我々は、注意に基づくNMTモデルで使用可能な、完全に教師なしのプラグイン検出器を提案する。
• 参考スコア（独自算出の注目度）: 34.8089664250053
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural machine translation (NMT) has become the de-facto standard in real-world machine translation applications. However, NMT models can unpredictably produce severely pathological translations, known as hallucinations, that seriously undermine user trust. It becomes thus crucial to implement effective preventive strategies to guarantee their proper functioning. In this paper, we address the problem of hallucination detection in NMT by following a simple intuition: as hallucinations are detached from the source content, they exhibit encoder-decoder attention patterns that are statistically different from those of good quality translations. We frame this problem with an optimal transport formulation and propose a fully unsupervised, plug-in detector that can be used with any attention-based NMT model. Experimental results show that our detector not only outperforms all previous model-based detectors, but is also competitive with detectors that employ large models trained on millions of samples.
• Abstract（参考訳）: neural machine translation (nmt) は現実世界の機械翻訳アプリケーションにおいてデファクトスタンダードとなっている。 しかし、NMTモデルは、幻覚として知られる深刻な病的翻訳を予測不能に生成し、ユーザーの信頼を著しく損なう。 したがって、適切な機能を保証する効果的な予防戦略を実施することが不可欠となる。 本稿では,NMTにおける幻覚検出の問題点を,簡単な直感によって解決する:幻覚をソースコンテンツから切り離すと,高品質翻訳と統計的に異なるエンコーダ・デコーダの注意パターンを示す。 我々は,この問題を最適輸送定式化で構成し,注意に基づくNMTモデルで使用可能な,完全に教師なしのプラグイン検出器を提案する。 実験の結果,我々の検出器は,従来のモデルに基づく検出器よりも優れており,また,何百万ものサンプルで訓練された大規模モデルを用いる検出器と競合することがわかった。

関連論文リスト

• OTTAWA: Optimal TransporT Adaptive Word Aligner for Hallucination and Omission Translation Errors Detection [36.59354124910338]
  オタワ(Ottawa)は、機械翻訳システムにおける幻覚や失語の検出を強化するために特別に設計された単語整合器である。 提案手法は,HalOmiベンチマークを用いた18言語対の最先端手法と比較して,競争力のある結果が得られる。
  論文  参考訳（メタデータ） (2024-06-04T03:00:55Z)
• TransFool: An Adversarial Attack against Neural Machine Translation Models [49.50163349643615]
  敵攻撃に対するニューラルネットワーク翻訳(NMT)モデルの脆弱性を調査し,TransFoolと呼ばれる新たな攻撃アルゴリズムを提案する。 クリーンなサンプルと高いレベルのセマンティックな類似性を保ったソースコード言語で、流動的な逆の例を生成する。 自動的および人的評価に基づいて、TransFoolは、既存の攻撃と比較して成功率、意味的類似性、流布率の改善につながる。
  論文  参考訳（メタデータ） (2023-02-02T08:35:34Z)
• Reducing Hallucinations in Neural Machine Translation with Feature Attribution [54.46113444757899]
  本研究は,NMTにおける幻覚の軽減を目的としたモデル理解と正規化に着目したケーススタディである。 まず,幻覚を発生させるNMTモデルの振る舞いを研究するために,特徴帰属法を用いる。 次に、これらの手法を利用して、幻覚の低減に大きく貢献し、ゼロからモデルを再訓練する必要のない新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2022-11-17T20:33:56Z)
• Looking for a Needle in a Haystack: A Comprehensive Study of Hallucinations in Neural Machine Translation [17.102338932907294]
  我々はNMT幻覚研究の基礎を設定した。 テスト時に幻覚を緩和する簡単な方法であるDeHallucinatorを提案する。
  論文  参考訳（メタデータ） (2022-08-10T12:44:13Z)
• SALTED: A Framework for SAlient Long-Tail Translation Error Detection [17.914521288548844]
  本稿では,機械翻訳モデルの動作テストのための仕様ベースのフレームワークであるSALTEDを紹介する。 私たちのアプローチの核となるのは、ソース文とシステム出力の間のエラーをフラグする高精度検出器の開発です。 これらの検出器は,MTシステムにおける有意な長テール誤差の同定だけでなく,トレーニングデータの高精細フィルタリングにも有効であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T06:45:07Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
  出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。 また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
  論文  参考訳（メタデータ） (2020-11-05T00:18:53Z)
• Cross-lingual Supervision Improves Unsupervised Neural Machine Translation [97.84871088440102]
  我々は,高リソース言語対からゼロリソース翻訳方向への弱教師付き信号を活用するために,多言語非教師付きNMTフレームワークを導入する。 6つのベンチマークの教師なし翻訳方向において,BLEUスコアが3以上あることにより,翻訳品質が大幅に向上する。
  論文  参考訳（メタデータ） (2020-04-07T05:46:49Z)
• Robust Unsupervised Neural Machine Translation with Adversarial Denoising Training [66.39561682517741]
  unsupervised neural machine translation (UNMT) は機械翻訳コミュニティに大きな関心を集めている。 UNMTの主な利点は、必要な大規模な訓練用テキストの簡単な収集にある。 本稿では,UNMT ベースのシステムのロバスト性を改善するため,まずノイズを考慮に入れた。
  論文  参考訳（メタデータ） (2020-02-28T05:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。