論文の概要: "Why is this misleading?": Detecting News Headline Hallucinations with
Explanations
- arxiv url: http://arxiv.org/abs/2302.05852v1
- Date: Sun, 12 Feb 2023 04:21:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-14 18:05:49.516809
- Title: "Why is this misleading?": Detecting News Headline Hallucinations with
Explanations
- Title（参考訳）: 「なぜこの誤解を招くのか?」:解説によるニュース見出しの幻覚の検出
- Authors: Jiaming Shen, Jialu Liu, Dan Finnie, Negar Rahmati, Michael Bendersky,
Marc Najork
- Abstract要約: 幻覚検出に対処するため,ExHalderという新しいフレームワークを提案する。
ExHalderは、パブリック自然言語推論データセットからの知識をニュースドメインに適応させる。
幻覚検出結果を説明するために、自然言語文を生成することを学ぶ。
- 参考スコア（独自算出の注目度）: 30.52506534164537
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic headline generation enables users to comprehend ongoing news events
promptly and has recently become an important task in web mining and natural
language processing. With the growing need for news headline generation, we
argue that the hallucination issue, namely the generated headlines being not
supported by the original news stories, is a critical challenge for the
deployment of this feature in web-scale systems Meanwhile, due to the
infrequency of hallucination cases and the requirement of careful reading for
raters to reach the correct consensus, it is difficult to acquire a large
dataset for training a model to detect such hallucinations through human
curation. In this work, we present a new framework named ExHalder to address
this challenge for headline hallucination detection. ExHalder adapts the
knowledge from public natural language inference datasets into the news domain
and learns to generate natural language sentences to explain the hallucination
detection results. To evaluate the model performance, we carefully collect a
dataset with more than six thousand labeled <article, headline> pairs.
Extensive experiments on this dataset and another six public ones demonstrate
that ExHalder can identify hallucinated headlines accurately and justifies its
predictions with human-readable natural language explanations.
- Abstract（参考訳）: 自動見出し生成は,現在進行中のニュースイベントを素早く理解し,Webマイニングや自然言語処理において重要なタスクとなっている。
With the growing need for news headline generation, we argue that the hallucination issue, namely the generated headlines being not supported by the original news stories, is a critical challenge for the deployment of this feature in web-scale systems Meanwhile, due to the infrequency of hallucination cases and the requirement of careful reading for raters to reach the correct consensus, it is difficult to acquire a large dataset for training a model to detect such hallucinations through human curation.
本稿では,ヘッドライン幻覚検出の課題に対処するため,ExHalderという新しいフレームワークを提案する。
ExHalderは、公開自然言語推論データセットからの知識をニュースドメインに適応させ、幻覚検出結果を説明するために自然言語文を生成することを学ぶ。
モデル性能を評価するために,6万以上のラベル付き<article,headline>ペアのデータセットを注意深く収集する。
このデータセットと他の6つの公開実験は、ExHalderが幻覚した見出しを正確に識別し、その予測を人間が読める自然言語の説明で正当化できることを示しています。
関連論文リスト
- Pre-Training Multimodal Hallucination Detectors with Corrupted Grounding Data [4.636499986218049]
マルチモーダル言語モデルは、その出力に幻覚を示し、信頼性を制限できる。
本稿では, 崩壊した地盤データを作成することにより, これらのモデルのサンプル効率を向上させる手法を提案する。
論文 参考訳（メタデータ） (2024-08-30T20:11:00Z) - Multilingual Fine-Grained News Headline Hallucination Detection [40.62136051552646]
複数言語できめ細かなニュース見出しの幻覚検出データセットについて紹介する。
このデータセットには5つの言語で1万以上のペアが含まれており、それぞれに専門家による詳細な幻覚タイプが注釈付けされている。
本稿では,言語に依存した実演選択と粗粒化プロンプトという2つの新しい手法を提案する。
論文 参考訳（メタデータ） (2024-07-22T18:37:53Z) - ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models [65.12177400764506]
大規模言語モデル (LLM) は、様々な領域や広範囲のアプリケーションにまたがる、長い形式の質問応答タスクにおいて幻覚を示す。
現在の幻覚検出と緩和データセットはドメインやサイズによって制限されている。
本稿では,幻覚アノテーションデータセットを同時に,段階的にスケールアップする反復的自己学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-05T17:56:38Z) - Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [48.065569871444275]
我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。
プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。
そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
論文 参考訳（メタデータ） (2024-04-22T14:46:10Z) - German also Hallucinates! Inconsistency Detection in News Summaries with the Absinth Dataset [3.5206745486062636]
この研究は、ドイツのニュース要約における幻覚検出のための手動注釈付きデータセットであるabsinthを提示する。
我々は,ドイツ語における幻覚検出のさらなる研究を促進するために,アブシンスデータセットをオープンソース化し,公開する。
論文 参考訳（メタデータ） (2024-03-06T14:37:30Z) - Quantity Matters: Towards Assessing and Mitigating Number Hallucination in Large Vision-Language Models [57.42800112251644]
本研究では,画像中の特定の物体の数を誤って識別するモデルを参照しながら,特定の種類の幻覚数幻覚に焦点を当てた。
そこで,本研究では,数幻覚を減らすための一貫性向上を目的としたトレーニング手法を考案し,直接微調整法よりも8%の性能向上を図った。
論文 参考訳（メタデータ） (2024-03-03T02:31:11Z) - MALTO at SemEval-2024 Task 6: Leveraging Synthetic Data for LLM
Hallucination Detection [3.049887057143419]
自然言語生成(NLG)では、現代のLarge Language Models(LLM)がいくつかの課題に直面している。
これはしばしば「幻覚」を示すニューラルネットワークにつながる
SHROOMチャレンジは、生成されたテキストでこれらの幻覚を自動的に識別することに焦点を当てている。
論文 参考訳（メタデータ） (2024-03-01T20:31:10Z) - HALO: An Ontology for Representing and Categorizing Hallucinations in Large Language Models [2.9312156642007294]
Hallucination Ontology (HALO) はOWLで書かれており、大きな言語モデル(LLM)で見られる6種類の幻覚をサポートしている。
我々は,複数の独立したWebソースに対して帰納的に収集した幻覚を含むデータセットを公開し,このデータセットをモデル化し,有能な質問に答えるためにHALOをうまく利用できることを示す。
論文 参考訳（メタデータ） (2023-12-08T17:57:20Z) - AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。
また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文 参考訳（メタデータ） (2023-09-30T05:20:02Z) - Survey of Hallucination in Natural Language Generation [69.9926849848132]
近年,シーケンス間深層学習技術の発展により,自然言語生成(NLG)は指数関数的に向上している。
深層学習に基づく生成は意図しないテキストを幻覚させる傾向があるため、システム性能は低下する。
この調査は、NLGにおける幻覚テキストの課題に取り組む研究者の協力活動を促進するのに役立つ。
論文 参考訳（メタデータ） (2022-02-08T03:55:01Z) - Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。
また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
論文 参考訳（メタデータ） (2020-11-05T00:18:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。