論文の概要: OTTAWA: Optimal TransporT Adaptive Word Aligner for Hallucination and Omission Translation Errors Detection

• arxiv url: http://arxiv.org/abs/2406.01919v1
• Date: Tue, 4 Jun 2024 03:00:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 20:13:20.287908
• Title: OTTAWA: Optimal TransporT Adaptive Word Aligner for Hallucination and Omission Translation Errors Detection
• Title（参考訳）: OTTAWA:Halucination と Omission Translation Errors 検出のための最適な TransporT Adaptive Word Aligner
• Authors: Chenyang Huang, Abbas Ghaddar, Ivan Kobyzev, Mehdi Rezagholizadeh, Osmar R. Zaiane, Boxing Chen,
• Abstract要約: オタワ(Ottawa)は、機械翻訳システムにおける幻覚や失語の検出を強化するために特別に設計された単語整合器である。 提案手法は,HalOmiベンチマークを用いた18言語対の最先端手法と比較して,競争力のある結果が得られる。
• 参考スコア（独自算出の注目度）: 36.59354124910338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, there has been considerable attention on detecting hallucinations and omissions in Machine Translation (MT) systems. The two dominant approaches to tackle this task involve analyzing the MT system's internal states or relying on the output of external tools, such as sentence similarity or MT quality estimators. In this work, we introduce OTTAWA, a novel Optimal Transport (OT)-based word aligner specifically designed to enhance the detection of hallucinations and omissions in MT systems. Our approach explicitly models the missing alignments by introducing a "null" vector, for which we propose a novel one-side constrained OT setting to allow an adaptive null alignment. Our approach yields competitive results compared to state-of-the-art methods across 18 language pairs on the HalOmi benchmark. In addition, it shows promising features, such as the ability to distinguish between both error types and perform word-level detection without accessing the MT system's internal states.
• Abstract（参考訳）: 近年,機械翻訳(MT)システムにおける幻覚や失語の検出に注目が集まっている。 この課題に取り組むための2つの主要なアプローチは、MTシステムの内部状態の分析や、文の類似性やMT品質推定器といった外部ツールの出力に依存することである。 本研究は,MTシステムにおける幻覚や排便の検出を促進すべく,OT(Optimal Transport)ベースの単語整合器OTTAWAについて紹介する。 提案手法は「ヌル」ベクトルを導入し、適応的なヌルアライメントを可能にする新しい一方的な制約付きOT設定を提案することで、そのアライメントを明示的にモデル化する。 提案手法は,HalOmiベンチマークを用いた18言語対の最先端手法と比較して,競争力のある結果が得られる。 さらに、MTシステムの内部状態にアクセスすることなく、エラータイプを区別し、ワードレベルの検出を行うなど、有望な機能を示す。

関連論文リスト

• Understanding and Addressing the Under-Translation Problem from the Perspective of Decoding Objective [72.83966378613238]
  最新のニューラル・マシン・トランスレーション(NMT)システムでは、アンダー・トランスレーションとオーバー・トランスレーションの2つの課題が残っている。 我々は,NMTにおけるアンダートランスレーションの根本原因を詳細に分析し,デコード目的の観点から解説する。 本研究は,低翻訳の検知器としてEOS(End Of Sentence)予測の信頼性を活用し,低翻訳のリスクが高い候補を罰する信頼性に基づくペナルティを強化することを提案する。
  論文  参考訳（メタデータ） (2024-05-29T09:25:49Z)
• Word Alignment as Preference for Machine Translation [26.034259118390132]
  機械翻訳における長年の問題である幻覚と省略は、大規模な言語モデル(LLM)がMTで使用されるとより顕著になる。 本研究では,LLMに基づくMTモデルにおいて,より優れた単語アライメントを導くことによって問題を緩和する。 幻覚と排便の緩和には期待できるが,言語方向のMTの全体的な性能は相変わらず混合している。
  論文  参考訳（メタデータ） (2024-05-15T10:04:19Z)
• Towards Effective Disambiguation for Machine Translation with Large Language Models [65.80775710657672]
  我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。 実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2023-09-20T22:22:52Z)
• Perturbation-based QE: An Explainable, Unsupervised Word-level Quality Estimation Method for Blackbox Machine Translation [12.376309678270275]
  摂動に基づくQEは、単に摂動入力元文上で出力されるMTシステムを分析することで機能する。 我々のアプローチは、教師付きQEよりも、翻訳における性別バイアスや単語センスの曖昧さの誤りを検出するのに優れている。
  論文  参考訳（メタデータ） (2023-05-12T13:10:57Z)
• Optimal Transport for Unsupervised Hallucination Detection in Neural Machine Translation [34.8089664250053]
  ニューラルネットワーク翻訳(NMT)は、現実世界の機械翻訳アプリケーションにおいてデファクトスタンダードとなっている。 NMTモデルは、ユーザーの信頼を著しく損なう幻覚として知られる深刻な病的翻訳を予測不能に生成することができる。 我々は、注意に基づくNMTモデルで使用可能な、完全に教師なしのプラグイン検出器を提案する。
  論文  参考訳（メタデータ） (2022-12-19T17:06:58Z)
• SALTED: A Framework for SAlient Long-Tail Translation Error Detection [17.914521288548844]
  本稿では,機械翻訳モデルの動作テストのための仕様ベースのフレームワークであるSALTEDを紹介する。 私たちのアプローチの核となるのは、ソース文とシステム出力の間のエラーをフラグする高精度検出器の開発です。 これらの検出器は,MTシステムにおける有意な長テール誤差の同定だけでなく,トレーニングデータの高精細フィルタリングにも有効であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T06:45:07Z)
• Supervised Visual Attention for Simultaneous Multimodal Machine Translation [47.18251159303909]
  本稿では,トランスフォーマーを用いた最初の同時機械翻訳(MMT)アーキテクチャを提案する。 我々は、ラベル付きフレーズ領域アライメントを用いて視覚的注意機構を誘導する補助的な監視信号を用いて、このモデルを拡張する。 その結果,教師付き視覚的注意はMTモデルの翻訳品質を常に向上させることがわかった。
  論文  参考訳（メタデータ） (2022-01-23T17:25:57Z)
• When Does Translation Require Context? A Data-driven, Multilingual Exploration [71.43817945875433]
  談話の適切な処理は機械翻訳(MT)の品質に大きく貢献する 文脈認識型MTにおける最近の研究は、評価中に少量の談話現象を標的にしようとしている。 談話現象のモデル性能を識別・評価するタグの集合である,多言語談話認識ベンチマークを開発した。
  論文  参考訳（メタデータ） (2021-09-15T17:29:30Z)
• Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
  出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。 また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
  論文  参考訳（メタデータ） (2020-11-05T00:18:53Z)
• On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
  クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。 本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。 事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。 参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
  論文  参考訳（メタデータ） (2020-05-03T22:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。