論文の概要: Cyber Risks of Machine Translation Critical Errors : Arabic Mental Health Tweets as a Case Study

• arxiv url: http://arxiv.org/abs/2405.11668v1
• Date: Sun, 19 May 2024 20:24:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 14:53:04.974389
• Title: Cyber Risks of Machine Translation Critical Errors : Arabic Mental Health Tweets as a Case Study
• Title（参考訳）: 機械翻訳クリティカルエラーのサイバーリスク : アラビア人のメンタルヘルスツイートを事例として
• Authors: Hadeel Saadany, Ashraf Tantawy, Constantin Orasan,
• Abstract要約: 本稿では,MTの共通利用に関わる倫理的・安全性上の問題に言及するために,機械翻訳クリティカルエラーの真正データセットを提案する。 このデータセットは、重要なエラータイプを手動で注釈付けしたアラビアのメンタルヘルスポストの誤訳を含む。 また、一般的に使われている品質指標が重大なエラーをペナルティにしないことを示すとともに、研究者のさらなる注意を喚起する重要な問題として強調する。
• 参考スコア（独自算出の注目度）: 3.8779763612314637
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the advent of Neural Machine Translation (NMT) systems, the MT output has reached unprecedented accuracy levels which resulted in the ubiquity of MT tools on almost all online platforms with multilingual content. However, NMT systems, like other state-of-the-art AI generative systems, are prone to errors that are deemed machine hallucinations. The problem with NMT hallucinations is that they are remarkably \textit{fluent} hallucinations. Since they are trained to produce grammatically correct utterances, NMT systems are capable of producing mistranslations that are too fluent to be recognised by both users of the MT tool, as well as by automatic quality metrics that are used to gauge their performance. In this paper, we introduce an authentic dataset of machine translation critical errors to point to the ethical and safety issues involved in the common use of MT. The dataset comprises mistranslations of Arabic mental health postings manually annotated with critical error types. We also show how the commonly used quality metrics do not penalise critical errors and highlight this as a critical issue that merits further attention from researchers.
• Abstract（参考訳）: ニューラルネットワーク翻訳(NMT)システムの出現により、MT出力は前例のない精度に達し、多言語コンテンツを持つほぼ全てのオンラインプラットフォーム上でMTツールが多用された。 しかし、NMTシステムは、他の最先端のAI生成システムと同様に、機械の幻覚と見なされるエラーを起こしやすい。 NMT幻覚の問題は、それらが驚くほど textit{fluent} 幻覚であることである。 文法的に正しい発話を生成するように訓練されているため、NTTシステムでは、MTツールの双方の利用者が認識できないような誤訳や、その性能を測定するために使用される自動品質指標を生成できる。 本稿では,MTの共通使用に関わる倫理的・安全性上の問題に言及するために,機械翻訳クリティカルエラーの真正データセットを導入する。このデータセットは,クリティカルエラータイプを手動で注釈付けしたアラビアのメンタルヘルスポストの誤訳を含む。 また、一般的に使われている品質指標が重大なエラーをペナルティにしないことを示すとともに、研究者のさらなる注意を喚起する重要な問題として強調する。

関連論文リスト

• An approach for mistranslation removal from popular dataset for Indic MT Task [5.4755933832880865]
  トレーニングコーパスから誤訳を除去し,その性能と効率を評価するアルゴリズムを提案する。 実験には2つのIndic言語(IL)、すなわちHindi(HIN)とOdia(ODI)が選択される。 実験における翻訳の質は,BLEU, METEOR, RIBESなどの標準指標を用いて評価する。
  論文  参考訳（メタデータ） (2024-01-12T06:37:19Z)
• Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
  文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。 我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。 実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-20T14:39:58Z)
• Competency-Aware Neural Machine Translation: Can Machine Translation Know its Own Translation Quality? [61.866103154161884]
  ニューラルマシン翻訳(NMT)は、意識せずに起こる失敗に対してしばしば批判される。 本稿では,従来のNMTを自己推定器で拡張することで,新たな能力認識型NMTを提案する。 提案手法は品質評価において優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2022-11-25T02:39:41Z)
• Reducing Hallucinations in Neural Machine Translation with Feature Attribution [54.46113444757899]
  本研究は,NMTにおける幻覚の軽減を目的としたモデル理解と正規化に着目したケーススタディである。 まず,幻覚を発生させるNMTモデルの振る舞いを研究するために,特徴帰属法を用いる。 次に、これらの手法を利用して、幻覚の低減に大きく貢献し、ゼロからモデルを再訓練する必要のない新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2022-11-17T20:33:56Z)
• SALTED: A Framework for SAlient Long-Tail Translation Error Detection [17.914521288548844]
  本稿では,機械翻訳モデルの動作テストのための仕様ベースのフレームワークであるSALTEDを紹介する。 私たちのアプローチの核となるのは、ソース文とシステム出力の間のエラーをフラグする高精度検出器の開発です。 これらの検出器は,MTシステムにおける有意な長テール誤差の同定だけでなく,トレーニングデータの高精細フィルタリングにも有効であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T06:45:07Z)
• BLEU, METEOR, BERTScore: Evaluation of Metrics Performance in Assessing Critical Translation Errors in Sentiment-oriented Text [1.4213973379473654]
  オンラインコンテンツの機械翻訳(MT)は、複数の言語で書かれた投稿の処理に一般的に使用される。 本稿では,機械翻訳の致命的誤りを検出するための自動品質指標の有効性を評価する。 我々は、感情クリティカルなエラーの検出をより堅牢にするために、自動メトリクスの微調整が必要であると結論付けている。
  論文  参考訳（メタデータ） (2021-09-29T07:51:17Z)
• Difficulty-Aware Machine Translation Evaluation [19.973201669851626]
  本稿では,新しい難易度対応機械翻訳評価指標を提案する。 ほとんどのMTシステムで予測できない翻訳は難解なものとして扱われ、最終的なスコア関数に大きな重みが割り当てられる。 提案手法は,MTシステムすべてが非常に競争力がある場合でも良好に機能する。
  論文  参考訳（メタデータ） (2021-07-30T02:45:36Z)
• As Easy as 1, 2, 3: Behavioural Testing of NMT Systems for Numerical Translation [51.20569527047729]
  誤訳された数字は、金銭的損失や医療的誤報などの深刻な影響を引き起こす可能性がある。 本研究では,ニューラルネットワーク翻訳システムの動作テストによる数値テキストへの堅牢性に関する総合的な評価法を開発した。
  論文  参考訳（メタデータ） (2021-07-18T04:09:47Z)
• Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
  出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。 また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
  論文  参考訳（メタデータ） (2020-11-05T00:18:53Z)
• PheMT: A Phenomenon-wise Dataset for Machine Translation Robustness on User-Generated Contents [40.25277134147149]
  日本語翻訳における特定の言語現象に対するMTシステムの堅牢性を評価するための新しいデータセットであるPheMTを提案する。 作成したデータセットを用いて行った実験では、社内モデルだけでなく、市販のシステムでも、特定の現象の存在によって大きく混乱していることが明らかになりました。
  論文  参考訳（メタデータ） (2020-11-04T04:44:47Z)
• It's Easier to Translate out of English than into it: Measuring Neural Translation Difficulty by Cross-Mutual Information [90.35685796083563]
  クロスミューチュアル情報(英: Cross-mutual information、XMI)は、機械翻訳の難易度に関する非対称情報理論の指標である。 XMIは、ほとんどのニューラルマシン翻訳モデルの確率的性質を利用する。 本稿では,現代ニューラル翻訳システムを用いた言語間翻訳の難易度に関する最初の体系的および制御的な研究について述べる。
  論文  参考訳（メタデータ） (2020-05-05T17:38:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。