論文の概要: Machine Translation Hallucination Detection for Low and High Resource Languages using Large Language Models

• arxiv url: http://arxiv.org/abs/2407.16470v1
• Date: Tue, 23 Jul 2024 13:40:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 17:06:21.173694
• Title: Machine Translation Hallucination Detection for Low and High Resource Languages using Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた低・高資源言語に対する機械翻訳幻覚検出
• Authors: Kenza Benkirane, Laura Gongas, Shahar Pelles, Naomi Fuchs, Joshua Darmon, Pontus Stenetorp, David Ifeoluwa Adelani, Eduardo Sanchez,
• Abstract要約: 本稿では,Large Language Models (LLM) を用いた幻覚検出手法と多言語埋め込みにおける意味的類似性について述べる。 LLMは、いかなる機械翻訳タスクに対しても明示的に訓練されていないにもかかわらず、以前提案されたモデルと同等またはそれ以上の性能を達成することができる。
• 参考スコア（独自算出の注目度）: 12.447489454369636
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent advancements in massively multilingual machine translation systems have significantly enhanced translation accuracy; however, even the best performing systems still generate hallucinations, severely impacting user trust. Detecting hallucinations in Machine Translation (MT) remains a critical challenge, particularly since existing methods excel with High-Resource Languages (HRLs) but exhibit substantial limitations when applied to Low-Resource Languages (LRLs). This paper evaluates hallucination detection approaches using Large Language Models (LLMs) and semantic similarity within massively multilingual embeddings. Our study spans 16 language directions, covering HRLs, LRLs, with diverse scripts. We find that the choice of model is essential for performance. On average, for HRLs, Llama3-70B outperforms the previous state of the art by as much as 0.16 MCC (Matthews Correlation Coefficient). However, for LRLs we observe that Claude Sonnet outperforms other LLMs on average by 0.03 MCC. The key takeaway from our study is that LLMs can achieve performance comparable or even better than previously proposed models, despite not being explicitly trained for any machine translation task. However, their advantage is less significant for LRLs.
• Abstract（参考訳）: 近年の多言語機械翻訳システムの進歩は翻訳精度を大幅に向上させたが、優れた演奏システムでさえも幻覚を発生させ、ユーザの信頼を著しく損なう。 機械翻訳(MT)における幻覚の検出は、特に高リソース言語(HRL)が優れているが、低リソース言語(LRL)に適用した場合、かなりの制限があるため、依然として重要な課題である。 本稿では,Large Language Models (LLM) を用いた幻覚検出手法と多言語埋め込みにおける意味的類似性について述べる。 本研究は、HRL、LRL、多種多様なスクリプトを含む16の言語方向を対象としている。 モデルの選択がパフォーマンスに不可欠であることに気付きました。 HRLでは、Llama3-70Bは前回の最先端を0.16 MCC(マシューズ相関係数)で上回る。 しかし、LRLでは、Claude Sonnet は平均 0.03 MCC で他の LLM よりも優れていた。 我々の研究から得られた重要な点は、LLMは、いかなる機械翻訳タスクに対しても明示的に訓練されていないにもかかわらず、以前提案されたモデルと同等またはそれ以上の性能を達成できるということです。 しかし、LRLにとってその優位性はそれほど大きくない。

関連論文リスト

• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Enhancing Multilingual Capabilities of Large Language Models through Self-Distillation from Resource-Rich Languages [60.162717568496355]
  大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。 彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
  論文  参考訳（メタデータ） (2024-02-19T15:07:32Z)
• Lost in the Source Language: How Large Language Models Evaluate the Quality of Machine Translation [64.5862977630713]
  本研究では,機械翻訳評価タスクにおいて,Large Language Models (LLM) がソースデータと参照データをどのように活用するかを検討する。 参照情報が評価精度を大幅に向上させるのに対して,意外なことに,ソース情報は時として非生産的である。
  論文  参考訳（メタデータ） (2024-01-12T13:23:21Z)
• Adapting Large Language Models for Document-Level Machine Translation [46.370862171452444]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを大幅に進歩させた。 近年の研究では、中程度のLLMはタスク固有の微調整後、より大きなLLMよりも優れていることが示されている。 本研究では,特定の言語対に対する文書レベルの機械翻訳(DocMT)にLLMを適用することに焦点を当てた。
  論文  参考訳（メタデータ） (2024-01-12T09:29:13Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• ChatGPT MT: Competitive for High- (but not Low-) Resource Languages [62.178282377729566]
  大規模言語モデル(LLM)は、機械翻訳(MT)を含む様々な言語タスクの実行を暗黙的に学習する。 MTコスト分析とともに,204言語を拡張した最初の実験的な証拠を提示する。 分析の結果,ChatGPTの相対的翻訳能力を決定する上で,言語リソースレベルが最も重要な特徴であることが判明した。
  論文  参考訳（メタデータ） (2023-09-14T04:36:00Z)
• When your Cousin has the Right Connections: Unsupervised Bilingual Lexicon Induction for Related Data-Imbalanced Languages [29.346191691508125]
  非教師付きバイリンガルレキシコン誘導は、大規模なデータセットが利用できない低リソース言語にとって最も有用である。 文献における最先端のBLI手法は,データ不均衡な言語ペアに対してほぼゼロに近い性能を示す。 本稿では,関連するLRLとHRLの間には,HRLのマスキング言語モデルに対してのみ推論を必要とする,教師なしBLIの新たな手法を提案する。
  論文  参考訳（メタデータ） (2023-05-23T12:49:21Z)
• Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
  大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
  論文  参考訳（メタデータ） (2023-05-11T05:19:47Z)
• CharSpan: Utilizing Lexical Similarity to Enable Zero-Shot Machine Translation for Extremely Low-resource Languages [22.51558549091902]
  我々は,超低リソース言語 (ELRL) から英語への機械翻訳 (MT) の課題を,「近縁」な高リソース言語 (HRL) からの言語間移動を活用して解決する。 多くのERRLは、いくつかのHRLと語彙的類似性を共有しており、新しいモデリングの機会を提供する。 既存のサブワードベースのニューラルMTモデルは、HRLとELRLの埋め込み空間を暗黙的に調整するだけであるため、この語彙的類似性を明示的に利用しない。 HRLのトレーニングデータに「文字スパンノイズ増強」に基づく新しいCharSpanアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-09T07:23:01Z)
• Letz Translate: Low-Resource Machine Translation for Luxembourgish [4.860100893494234]
  我々は、ドイツ語に基づく資源効率の高いモデルを構築し、多言語No Languageleft Behindモデルから知識を蒸留し、擬似翻訳を行う。 我々の効率的なモデルは、最先端のNLLBモデルと比較して30%以上高速で、4%以下でしか動作しないことがわかった。
  論文  参考訳（メタデータ） (2023-03-02T15:26:46Z)
• Overlap-based Vocabulary Generation Improves Cross-lingual Transfer Among Related Languages [18.862296065737347]
  語彙重なりの次元に沿った言語族における言語間の関連性は、LRLのコーパス制限を克服するために活用される可能性がある。 そこで我々は,BPE語彙生成アルゴリズムを改良したOverlap BPEを提案する。
  論文  参考訳（メタデータ） (2022-03-03T19:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。