論文の概要: "Why is this misleading?": Detecting News Headline Hallucinations with
Explanations
- arxiv url: http://arxiv.org/abs/2302.05852v1
- Date: Sun, 12 Feb 2023 04:21:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-14 18:05:49.516809
- Title: "Why is this misleading?": Detecting News Headline Hallucinations with
Explanations
- Title(参考訳): 「なぜこの誤解を招くのか?」:解説によるニュース見出しの幻覚の検出
- Authors: Jiaming Shen, Jialu Liu, Dan Finnie, Negar Rahmati, Michael Bendersky,
Marc Najork
- Abstract要約: 幻覚検出に対処するため,ExHalderという新しいフレームワークを提案する。
ExHalderは、パブリック自然言語推論データセットからの知識をニュースドメインに適応させる。
幻覚検出結果を説明するために、自然言語文を生成することを学ぶ。
- 参考スコア(独自算出の注目度): 30.52506534164537
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic headline generation enables users to comprehend ongoing news events
promptly and has recently become an important task in web mining and natural
language processing. With the growing need for news headline generation, we
argue that the hallucination issue, namely the generated headlines being not
supported by the original news stories, is a critical challenge for the
deployment of this feature in web-scale systems Meanwhile, due to the
infrequency of hallucination cases and the requirement of careful reading for
raters to reach the correct consensus, it is difficult to acquire a large
dataset for training a model to detect such hallucinations through human
curation. In this work, we present a new framework named ExHalder to address
this challenge for headline hallucination detection. ExHalder adapts the
knowledge from public natural language inference datasets into the news domain
and learns to generate natural language sentences to explain the hallucination
detection results. To evaluate the model performance, we carefully collect a
dataset with more than six thousand labeled <article, headline> pairs.
Extensive experiments on this dataset and another six public ones demonstrate
that ExHalder can identify hallucinated headlines accurately and justifies its
predictions with human-readable natural language explanations.
- Abstract(参考訳): 自動見出し生成は,現在進行中のニュースイベントを素早く理解し,Webマイニングや自然言語処理において重要なタスクとなっている。
With the growing need for news headline generation, we argue that the hallucination issue, namely the generated headlines being not supported by the original news stories, is a critical challenge for the deployment of this feature in web-scale systems Meanwhile, due to the infrequency of hallucination cases and the requirement of careful reading for raters to reach the correct consensus, it is difficult to acquire a large dataset for training a model to detect such hallucinations through human curation.
本稿では,ヘッドライン幻覚検出の課題に対処するため,ExHalderという新しいフレームワークを提案する。
ExHalderは、公開自然言語推論データセットからの知識をニュースドメインに適応させ、幻覚検出結果を説明するために自然言語文を生成することを学ぶ。
モデル性能を評価するために,6万以上のラベル付き<article,headline>ペアのデータセットを注意深く収集する。
このデータセットと他の6つの公開実験は、ExHalderが幻覚した見出しを正確に識別し、その予測を人間が読める自然言語の説明で正当化できることを示しています。
関連論文リスト
- German also Hallucinates! Inconsistency Detection in News Summaries with the Absinth Dataset [3.5206745486062636]
この研究は、ドイツのニュース要約における幻覚検出のための手動注釈付きデータセットであるabsinthを提示する。
我々は,ドイツ語における幻覚検出のさらなる研究を促進するために,アブシンスデータセットをオープンソース化し,公開する。
論文 参考訳(メタデータ) (2024-03-06T14:37:30Z) - MALTO at SemEval-2024 Task 6: Leveraging Synthetic Data for LLM
Hallucination Detection [3.049887057143419]
自然言語生成(NLG)では、現代のLarge Language Models(LLM)がいくつかの課題に直面している。
これはしばしば「幻覚」を示すニューラルネットワークにつながる
SHROOMチャレンジは、生成されたテキストでこれらの幻覚を自動的に識別することに焦点を当てている。
論文 参考訳(メタデータ) (2024-03-01T20:31:10Z) - Do Androids Know They're Only Dreaming of Electric Sheep? [49.72015518385204]
いくつかのタスクで有機および合成幻覚のスパンアノテートデータセットを作成します。
合成幻覚の強制復号化状態で訓練されたプローブは、一般に有機幻覚検出において生態的に無効であることがわかった。
論文 参考訳(メタデータ) (2023-12-28T18:59:50Z) - HALO: An Ontology for Representing Hallucinations in Generative Models [3.4628430044380965]
Hallucination Ontology (HALO) はOWLで書かれており、大きな言語モデル(LLM)で見られる6種類の幻覚をサポートしている。
我々は,複数の独立したWebソースに対して帰納的に収集した幻覚を含むデータセットを公開し,このデータセットをモデル化し,有能な質問に答えるためにHALOをうまく利用できることを示す。
論文 参考訳(メタデータ) (2023-12-08T17:57:20Z) - AutoHall: Automated Hallucination Dataset Generation for Large Language
Models [63.973142426228016]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。
また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文 参考訳(メタデータ) (2023-09-30T05:20:02Z) - Probing Causes of Hallucinations in Neural Machine Translations [51.418245676894465]
本稿では,モデルアーキテクチャの観点から幻覚の原因を探索する手法を提案する。
幻覚には、しばしば欠陥のあるエンコーダ、特に埋め込み、脆弱なクロスアテンションが伴う。
論文 参考訳(メタデータ) (2022-06-25T01:57:22Z) - Survey of Hallucination in Natural Language Generation [71.70363756667832]
近年,シーケンス間深層学習技術の発展により,自然言語生成(NLG)は指数関数的に向上している。
深層学習に基づく生成は意図しないテキストを幻覚させる傾向があるため、システム性能は低下する。
この調査は、NLGにおける幻覚テキストの課題に取り組む研究者の協力活動を促進するのに役立つ。
論文 参考訳(メタデータ) (2022-02-08T03:55:01Z) - On Hallucination and Predictive Uncertainty in Conditional Language
Generation [76.18783678114325]
高い予測の不確実性は幻覚の確率が高い。
認識的不確実性は、アレエータ的あるいは全体的不確実性よりも幻覚の指標である。
提案したビームサーチ変種との幻覚を抑えるため、標準メートル法で取引性能のより良い結果を得るのに役立ちます。
論文 参考訳(メタデータ) (2021-03-28T00:32:27Z) - Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。
また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
論文 参考訳(メタデータ) (2020-11-05T00:18:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。