論文の概要: Detecting and Mitigating Hallucinations in Multilingual Summarisation

• arxiv url: http://arxiv.org/abs/2305.13632v1
• Date: Tue, 23 May 2023 02:59:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 19:34:19.307411
• Title: Detecting and Mitigating Hallucinations in Multilingual Summarisation
• Title（参考訳）: 多言語要約における幻覚の検出と緩和
• Authors: Yifu Qiu, Yftah Ziser, Anna Korhonen, Edoardo M. Ponti, Shay B. Cohen
• Abstract要約: 幻覚は抽象的な要約のためのニューラルネットワークの信頼性に重大な課題をもたらす。 我々は、非英語要約の忠実度を評価する新しい計量mFACTを開発した。 そこで我々は,言語間移動による幻覚を減らすための,シンプルだが効果的な方法を提案する。
• 参考スコア（独自算出の注目度）: 39.20569099920427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucinations pose a significant challenge to the reliability of neural models for abstractive summarisation. While automatically generated summaries may be fluent, they often lack faithfulness to the original document. This issue becomes even more pronounced in low-resource settings, such as cross-lingual transfer. With the existing faithful metrics focusing on English, even measuring the extent of this phenomenon in cross-lingual settings is hard. To address this, we first develop a novel metric, mFACT, evaluating the faithfulness of non-English summaries, leveraging translation-based transfer from multiple English faithfulness metrics. We then propose a simple but effective method to reduce hallucinations with a cross-lingual transfer, which weighs the loss of each training example by its faithfulness score. Through extensive experiments in multiple languages, we demonstrate that mFACT is the metric that is most suited to detect hallucinations. Moreover, we find that our proposed loss weighting method drastically increases both performance and faithfulness according to both automatic and human evaluation when compared to strong baselines for cross-lingual transfer such as MAD-X. Our code and dataset are available at https://github.com/yfqiu-nlp/mfact-summ.
• Abstract（参考訳）: 幻覚は抽象的要約のための神経モデルの信頼性にとって重要な課題となる。 自動生成された要約は流麗であるが、しばしば元の文書に対する忠実さを欠いている。 この問題は、言語間転送のような低リソース設定でさらに顕著になる。 英語に焦点を当てた既存の忠実なメトリクスでは、この現象の程度を言語間設定で測定することさえ難しい。 そこで我々はまず,英語以外の要約の忠実度を評価するための新しい尺度mFACTを開発し,複数の英語の忠実度指標からの翻訳に基づく移動を利用した。 次に,言語間移動による幻覚の簡易かつ効果的な低減法を提案し,その忠実度スコアによる各トレーニング例の損失を重み付けする。 複数の言語の広範な実験を通して、mFACTは幻覚を検出するのに最も適した計量であることを示す。 さらに,提案手法はMAD-Xのような多言語間移動の強いベースラインと比較して,自動評価と人的評価の両方で性能と忠実度を大幅に向上させることがわかった。 私たちのコードとデータセットはhttps://github.com/yfqiu-nlp/mfact-summで利用可能です。

関連論文リスト

• Mitigating Multilingual Hallucination in Large Vision-Language Models [35.75851356840673]
  大規模視覚言語モデル(LVLM)のための2段階多言語幻覚除去(MHR)フレームワークを提案する。 多言語リソースの複雑な手動アノテーションに頼る代わりに,新しい言語間アライメント手法を提案する。 当社のフレームワークは,13言語で平均19.0%の精度向上を実現しています。
  論文  参考訳（メタデータ） (2024-08-01T13:34:35Z)
• ANHALTEN: Cross-Lingual Transfer for German Token-Level Reference-Free Hallucination Detection [3.1269598124014264]
  本稿では、英語の幻覚検出データセットをドイツ語に拡張するデータセットであるANHALTENを紹介する。 これはトークンレベルの参照なし幻覚検出のための言語間移動を探求する最初の研究である。 サンプル効率の低い小ショット転送は,ほとんどの設定において最も効果的な手法であることを示す。
  論文  参考訳（メタデータ） (2024-07-18T17:01:38Z)
• Comparing Hallucination Detection Metrics for Multilingual Generation [62.97224994631494]
  本稿では,各言語にまたがって生成した伝記要約における幻覚を,様々な事実の幻覚検出指標がいかによく識別するかを評価する。 自動測度が相互にどのように相関するか, 事実判断に一致しているかを比較検討した。 我々の分析によると、語彙指標は非効率であるが、NLIベースのメトリクスはよく機能し、多くの設定における人間のアノテーションと相関し、しばしば教師付きモデルよりも優れている。
  論文  参考訳（メタデータ） (2024-02-16T08:10:34Z)
• Mitigating Hallucinations and Off-target Machine Translation with Source-Contrastive and Language-Contrastive Decoding [53.84948040596055]
  修正された復号化目標を用いて、障害ケースを緩和する2つの関連手法を提案する。 大規模多言語モデルM2M-100 (418M) とSMaLL-100の実験は、これらの手法が幻覚やターゲット外の翻訳を抑制することを示した。
  論文  参考訳（メタデータ） (2023-09-13T17:15:27Z)
• mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
  抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。 有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。 事実整合性評価モデルを利用して、多言語要約を改善する。
  論文  参考訳（メタデータ） (2022-12-20T19:52:41Z)
• Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders [85.80950708769923]
  本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
  論文  参考訳（メタデータ） (2022-04-30T13:23:16Z)
• Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of Code-Mixed Clinical Texts [56.72488923420374]
  事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。 脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
  論文  参考訳（メタデータ） (2022-04-10T21:46:52Z)
• Oolong: Investigating What Makes Transfer Learning Hard with Controlled Studies [21.350999136803843]
  GLUEベンチマークの言語を体系的に変換し、言語間変動の1軸を一度に変更する。 モデルが構文的変化から大きく回復することはできるが,語彙的誤りから回復することは不可能である。 我々の実験は、言語移行シナリオを設計する際に研究者が最も注目すべき言語間移動の要因に関する洞察を提供する。
  論文  参考訳（メタデータ） (2022-02-24T19:00:39Z)
• Analyzing Zero-shot Cross-lingual Transfer in Supervised NLP Tasks [6.7155846430379285]
  ゼロショット言語間転送では、ある言語のコーパスでトレーニングされた教師付きnlpタスクが、追加のトレーニングなしで他の言語に直接適用されます。 最近導入されたクロス言語言語モデル(XLM)プリトレーニングは、トランスフォーマースタイルのネットワークでニューラルパラメータの共有をもたらす。 本稿では,XLM事前学習により生じる仮説上強い言語間移動特性を検証することを目的とする。
  論文  参考訳（メタデータ） (2021-01-26T09:21:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。