論文の概要: HalOmi: A Manually Annotated Benchmark for Multilingual Hallucination and Omission Detection in Machine Translation

• arxiv url: http://arxiv.org/abs/2305.11746v2
• Date: Wed, 6 Dec 2023 02:02:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 19:12:43.539780
• Title: HalOmi: A Manually Annotated Benchmark for Multilingual Hallucination and Omission Detection in Machine Translation
• Title（参考訳）: HalOmi: 機械翻訳における多言語幻覚と排便検出のためのマニュアル注釈ベンチマーク
• Authors: David Dale, Elena Voita, Janice Lam, Prangthip Hansanti, Christophe Ropers, Elahe Kalbassi, Cynthia Gao, Lo\"ic Barrault, Marta R. Costa-juss\`a
• Abstract要約: 機械翻訳における幻覚は、入力とは無関係な情報を含む翻訳である。 我々のデータセットは、文中および単語レベルでの欠落だけでなく、部分的および完全幻覚の異なるレベルをカバーする。 幻覚と排便検出の従来の手法を再検討し,単一言語対に基づく結論は大規模評価には不十分であることを示す。
• 参考スコア（独自算出の注目度）: 9.851411271178964
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Hallucinations in machine translation are translations that contain information completely unrelated to the input. Omissions are translations that do not include some of the input information. While both cases tend to be catastrophic errors undermining user trust, annotated data with these types of pathologies is extremely scarce and is limited to a few high-resource languages. In this work, we release an annotated dataset for the hallucination and omission phenomena covering 18 translation directions with varying resource levels and scripts. Our annotation covers different levels of partial and full hallucinations as well as omissions both at the sentence and at the word level. Additionally, we revisit previous methods for hallucination and omission detection, show that conclusions made based on a single language pair largely do not hold for a large-scale evaluation, and establish new solid baselines.
• Abstract（参考訳）: 機械翻訳における幻覚は、入力とは無関係な情報を含む翻訳である。 省略は、入力情報の一部を含まない翻訳である。 どちらのケースも、ユーザの信頼を損なう破滅的なエラーの傾向があるが、こうしたタイプの病理に関する注釈付きデータは極めて少なく、いくつかの高リソース言語に限定されている。 本研究では,リソースレベルやスクリプトの異なる18の翻訳方向をカバーする幻覚現象と脱落現象の注釈付きデータセットをリリースする。 注記は,部分的および完全な幻覚のレベルと,文と単語レベルでの省略レベルの両方をカバーしている。 さらに,幻覚と排便検出の従来の手法を再検討し,単一言語対に基づく結論が大規模評価に大きく寄与しないことを示すとともに,新たなソリッドベースラインを確立する。

関連論文リスト

• Multilingual Fine-Grained News Headline Hallucination Detection [40.62136051552646]
  複数言語できめ細かなニュース見出しの幻覚検出データセットについて紹介する。 このデータセットには5つの言語で1万以上のペアが含まれており、それぞれに専門家による詳細な幻覚タイプが注釈付けされている。 本稿では,言語に依存した実演選択と粗粒化プロンプトという2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-22T18:37:53Z)
• Comparing Hallucination Detection Metrics for Multilingual Generation [62.97224994631494]
  本稿では,各言語にまたがって生成した伝記要約における幻覚を,様々な事実の幻覚検出指標がいかによく識別するかを評価する。 自動測度が相互にどのように相関するか, 事実判断に一致しているかを比較検討した。 我々の分析によると、語彙指標は非効率であるが、NLIベースのメトリクスはよく機能し、多くの設定における人間のアノテーションと相関し、しばしば教師付きモデルよりも優れている。
  論文  参考訳（メタデータ） (2024-02-16T08:10:34Z)
• Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
  大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。 我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。 本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
  論文  参考訳（メタデータ） (2024-01-12T19:02:48Z)
• Mitigating Hallucinations and Off-target Machine Translation with Source-Contrastive and Language-Contrastive Decoding [53.84948040596055]
  修正された復号化目標を用いて、障害ケースを緩和する2つの関連手法を提案する。 大規模多言語モデルM2M-100 (418M) とSMaLL-100の実験は、これらの手法が幻覚やターゲット外の翻訳を抑制することを示した。
  論文  参考訳（メタデータ） (2023-09-13T17:15:27Z)
• Detecting and Mitigating Hallucinations in Multilingual Summarisation [40.5267502712576]
  幻覚は抽象的な要約のためのニューラルネットワークの信頼性に重大な課題をもたらす。 我々は、非英語要約の忠実度を評価する新しい計量mFACTを開発した。 そこで我々は,言語間移動による幻覚を減らすための,シンプルだが効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-23T02:59:25Z)
• Large language models effectively leverage document-level context for literary translation, but critical errors persist [32.54546652197316]
  大規模言語モデル(LLM)は、幅広い文レベルの翻訳データセット上での最先端技術と競合する。 我々は,Gpt-3.5 (text-davinci-003) LLM) を用いて文節全体を翻訳し,高品質な翻訳を行うという厳密な評価を通して示す。
  論文  参考訳（メタデータ） (2023-04-06T17:27:45Z)
• Hallucinations in Large Multilingual Translation Models [70.10455226752015]
  大規模多言語機械翻訳システムでは、多数の言語間で直接翻訳できることが顕著に示されている。 野生に配備されると、これらのモデルが幻覚翻訳を生成し、ユーザーの信頼を著しく損なう可能性があり、安全性の懸念が高まる。 幻覚に関する既存の研究は、主に高ソース言語で訓練された小さなバイリンガルモデルに焦点を当てている。
  論文  参考訳（メタデータ） (2023-03-28T16:17:59Z)
• VALHALLA: Visual Hallucination for Machine Translation [64.86515924691899]
  VALHALLAと呼ばれる視覚幻覚フレームワークを導入する。 推論時にのみソース文を必要とし、代わりにマルチモーダル機械翻訳に幻覚的視覚表現を使用する。 特に、ソース文が与えられた場合、入力テキストから離散的な視覚表現を予測するために自己回帰幻覚変換器が使用される。
  論文  参考訳（メタデータ） (2022-05-31T20:25:15Z)
• Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
  出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。 また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
  論文  参考訳（メタデータ） (2020-11-05T00:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。