論文の概要: German also Hallucinates! Inconsistency Detection in News Summaries with the Absinth Dataset

• arxiv url: http://arxiv.org/abs/2403.03750v1
• Date: Wed, 6 Mar 2024 14:37:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 14:44:11.929219
• Title: German also Hallucinates! Inconsistency Detection in News Summaries with the Absinth Dataset
• Title（参考訳）: ドイツも幻覚! absinthデータセットを用いたニュース要約における不整合検出
• Authors: Laura Mascarell, Ribin Chalumattu, Annette Rios
• Abstract要約: この研究は、ドイツのニュース要約における幻覚検出のための手動注釈付きデータセットであるabsinthを提示する。 我々は,ドイツ語における幻覚検出のさらなる研究を促進するために,アブシンスデータセットをオープンソース化し,公開する。
• 参考スコア（独自算出の注目度）: 3.956885368689816
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The advent of Large Language Models (LLMs) has led to remarkable progress on a wide range of natural language processing tasks. Despite the advances, these large-sized models still suffer from hallucinating information in their output, which poses a major issue in automatic text summarization, as we must guarantee that the generated summary is consistent with the content of the source document. Previous research addresses the challenging task of detecting hallucinations in the output (i.e. inconsistency detection) in order to evaluate the faithfulness of the generated summaries. However, these works primarily focus on English and recent multilingual approaches lack German data. This work presents absinth, a manually annotated dataset for hallucination detection in German news summarization and explores the capabilities of novel open-source LLMs on this task in both fine-tuning and in-context learning settings. We open-source and release the absinth dataset to foster further research on hallucination detection in German.
• Abstract（参考訳）: 大規模言語モデル(LLM)の出現は、幅広い自然言語処理タスクにおいて顕著な進歩をもたらした。 しかし、これらの大規模モデルは出力の幻覚的な情報に悩まされているため、生成した要約がソース文書の内容と一致していることを保証する必要があるため、自動テキスト要約において大きな問題となる。 これまでの研究では,生成した要約の忠実性を評価するために,出力中の幻覚(すなわち不一致検出)を検出するという難題に対処している。 しかし、これらの研究は主に英語に焦点を当てており、最近の多言語アプローチにはドイツ語のデータがない。 この研究は、ドイツのニュース要約における幻覚検出のための手動注釈付きデータセットであるabsinthを提示し、微調整と文脈内学習の両方において、このタスクにおける新しいオープンソースLLMの機能を探究する。 我々は,ドイツ語における幻覚検出のさらなる研究を促進するために,アブシンスデータセットをオープンソース化し,公開する。

関連論文リスト

• Mitigating Hallucinations in Large Vision-Language Models via Summary-Guided Decoding [14.701135083174918]
  LVLM(Large Vision-Language Models)は、視覚入力から詳細でコヒーレントな応答を生成する。 言語に対する依存度が高すぎるため、幻覚を起こす傾向にある。 我々は,SGD(Session-Guided Decoding)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-17T08:24:27Z)
• Multilingual Fine-Grained News Headline Hallucination Detection [40.62136051552646]
  複数言語できめ細かなニュース見出しの幻覚検出データセットについて紹介する。 このデータセットには5つの言語で1万以上のペアが含まれており、それぞれに専門家による詳細な幻覚タイプが注釈付けされている。 本稿では,言語に依存した実演選択と粗粒化プロンプトという2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-22T18:37:53Z)
• Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs [70.15262704746378]
  我々は,5つの公開データセットと自然言語ユーザフィードバックのためのコヒーレントな要約からなる,体系的に作成された人間アノテーションデータセットを提案する。 Falcon-40BとLlama-2-13Bによる予備的な実験では、コヒーレントなサマリーを生成するという点で大幅な性能向上(10%ルージュ-L)が見られた。
  論文  参考訳（メタデータ） (2024-07-05T20:25:04Z)
• SEMQA: Semi-Extractive Multi-Source Question Answering [94.04430035121136]
  本稿では,複数ソースを半抽出的に要約することで,複数の質問に答える新しいQAタスクを提案する。 この種の最初のデータセットであるQuoteSumを作成し、自然および生成された質問に対する人間による半抽出的な回答を提示する。
  論文  参考訳（メタデータ） (2023-11-08T18:46:32Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)
• Hallucination Reduction in Long Input Text Summarization [2.6745438139282283]
  テキスト要約における幻覚は、生成された要約の正確さと信頼性に重大な障害をもたらす。 我々は、Longformer-Decoder(LED)モデルの微調整に、データフィルタリングとジョイントエンティティと要約生成(JAENS)の技法を取り入れた。 実験の結果, 微調整LEDモデルでは, 紙の抽象的な生成が良好であることがわかった。
  論文  参考訳（メタデータ） (2023-09-28T18:22:16Z)
• mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
  抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。 有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。 事実整合性評価モデルを利用して、多言語要約を改善する。
  論文  参考訳（メタデータ） (2022-12-20T19:52:41Z)
• Survey of Hallucination in Natural Language Generation [69.9926849848132]
  近年,シーケンス間深層学習技術の発展により,自然言語生成(NLG)は指数関数的に向上している。 深層学習に基づく生成は意図しないテキストを幻覚させる傾向があるため、システム性能は低下する。 この調査は、NLGにおける幻覚テキストの課題に取り組む研究者の協力活動を促進するのに役立つ。
  論文  参考訳（メタデータ） (2022-02-08T03:55:01Z)
• Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
  出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。 また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
  論文  参考訳（メタデータ） (2020-11-05T00:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。