Fugu-MT 論文翻訳(概要): Inspecting the Factuality of Hallucinated Entities in Abstractive Summarization

論文の概要: Inspecting the Factuality of Hallucinated Entities in Abstractive Summarization

arxiv url: http://arxiv.org/abs/2109.09784v1
Date: Mon, 30 Aug 2021 15:40:52 GMT
ステータス: 処理完了
システム内更新日: 2021-10-03 10:37:18.981372
Title: Inspecting the Factuality of Hallucinated Entities in Abstractive Summarization
Title（参考訳）: 抽象要約における幻覚的実体の事実性の検討
Authors: Meng Cao, Yue Dong and Jackie Chi Kit Cheung
Abstract要約: State-of-the-art abstractive summarization system(最先端の抽象的な要約システム)は、しばしば、源文から直接推測できない内容(Emphhallucination)を生成する。本研究では,実体の非現実的幻覚から事実を分離する新たな検出手法を提案する。
参考スコア（独自算出の注目度）: 36.052622624166894
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: State-of-the-art abstractive summarization systems often generate \emph{hallucinations}; i.e., content that is not directly inferable from the source text. Despite being assumed incorrect, many of the hallucinated contents are consistent with world knowledge (factual hallucinations). Including these factual hallucinations into a summary can be beneficial in providing additional background information. In this work, we propose a novel detection approach that separates factual from non-factual hallucinations of entities. Our method is based on an entity's prior and posterior probabilities according to pre-trained and finetuned masked language models, respectively. Empirical results suggest that our method vastly outperforms three strong baselines in both accuracy and F1 scores and has a strong correlation with human judgments on factuality classification tasks. Furthermore, our approach can provide insight into whether a particular hallucination is caused by the summarizer's pre-training or fine-tuning step.
Abstract（参考訳）: 最先端の抽象的要約システムは、しばしば 'emph{hallucinations}; すなわち、ソーステキストから直接推論できないコンテンツを生成する。誤認識されているにもかかわらず、幻覚の内容の多くは世界知識(事実幻覚)と一致している。これらの事実幻覚を要約に含めることは、追加の背景情報を提供するのに有用である。本研究では,実体の非事実幻覚から事実を分離する新たな検出手法を提案する。本手法は,事前に訓練されたマスク付き言語モデルと微調整されたマスク付き言語モデルに基づいて,先行確率と後続確率を推定する。実験結果から,本手法は精度とF1スコアの両方において3つの強い基準線を著しく上回り,事実性分類タスクにおける人間の判断と強い相関関係があることが示唆された。さらに,このアプローチは,特定の幻覚が要約者の事前学習や微調整のステップによって引き起こされるかを知ることができる。

関連論文リスト

Unified Triplet-Level Hallucination Evaluation for Large Vision-Language Models [22.996176483599868]
我々は,LVLM(Large Vision-Language Models)における対象と関係の幻覚を同時に測定するための統一的なフレームワークを設計する。本稿では,トリプルトレベルの幻覚評価ベンチマークTri-HEを紹介する。
論文参考訳（メタデータ） (2024-10-30T15:25:06Z)
Reefknot: A Comprehensive Benchmark for Relation Hallucination Evaluation, Analysis and Mitigation in Multimodal Large Language Models [13.48296910438554]
現在のマルチモーダル大言語モデル(MLLM)に悩まされる幻覚実世界のシナリオから得られた20,000以上のサンプルからなる関係幻覚を対象とするベンチマークであるReefknotを紹介する。 3つの異なるタスクに対する比較評価の結果、関係幻覚を緩和する現在のMLLMの能力に重大な欠点があることが判明した。
論文参考訳（メタデータ） (2024-08-18T10:07:02Z)
Knowledge Overshadowing Causes Amalgamated Hallucination in Large Language Models [65.32990889402927]
「我々はこの現象を知識の誇張として造る。」その結果, 幻覚率の増大は, 不均衡比と支配的条件記述の長さに左右されることがわかった。本稿では,その発生前に幻覚をキャッチするための信号として,オーバーシェーディング条件を用いることを提案する。
論文参考訳（メタデータ） (2024-07-10T20:37:42Z)
On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。正しい解答知識を持つLLMの現象を推論力学の観点から検討する。我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
論文参考訳（メタデータ） (2024-03-29T06:48:30Z)
In-Context Sharpness as Alerts: An Inner Representation Perspective for Hallucination Mitigation [36.31646727970656]
大規模言語モデル(LLM)は、しばしば幻覚を起こし、事実の誤りを引き起こす。正しい世代は、不正な世代に比べて、コンテキスト内のトークンの隠された状態において、よりシャープなコンテキストアクティベーションを持つ傾向がある。本研究では,テキスト内隠れ状態のシャープネス'を定量化し,デコード処理に組み込むエントロピーに基づく計量法を提案する。
論文参考訳（メタデータ） (2024-03-03T15:53:41Z)
Hal-Eval: A Universal and Fine-grained Hallucination Evaluation Framework for Large Vision Language Models [35.45859414670449]
我々は,新しいカテゴリーであるイベント幻覚(Event Hallucination)を特徴とする,幻覚の洗練された分類を導入した。次に,多種多様な幻覚からなる微粒な幻覚データの生成とフィルタリングに高度LLMを利用する。提案するベンチマークでは,広帯域の幻覚に対処するLVLMの能力を顕著に評価している。
論文参考訳（メタデータ） (2024-02-24T05:14:52Z)
Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
論文参考訳（メタデータ） (2024-01-12T19:02:48Z)
HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
機械生成データに固有の幻覚は未発見のままである。本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
論文参考訳（メタデータ） (2023-11-22T04:52:58Z)
Correction with Backtracking Reduces Hallucination in Summarization [29.093092115901694]
抽象要約は、重要な要素を保存しながら簡潔なソースドキュメントの自然言語要約を生成することを目的としている。近年の進歩にもかかわらず、神経文の要約モデルは幻覚に感受性があることが知られている。本稿では,抽象的な要約における幻覚を低減するため,シンプルだが効率的な手法であるCoBaを紹介する。
論文参考訳（メタデータ） (2023-10-24T20:48:11Z)
Don't Say What You Don't Know: Improving the Consistency of Abstractive Summarization by Constraining Beam Search [54.286450484332505]
本研究は,幻覚とトレーニングデータの関連性を解析し,学習対象の要約を学習した結果,モデルが幻覚を呈する証拠を見出した。本稿では,ビーム探索を制約して幻覚を回避し,変換器をベースとした抽象要約器の整合性を向上させる新しい復号法であるPINOCCHIOを提案する。
論文参考訳（メタデータ） (2022-03-16T07:13:52Z)
On Hallucination and Predictive Uncertainty in Conditional Language Generation [76.18783678114325]
高い予測の不確実性は幻覚の確率が高い。認識的不確実性は、アレエータ的あるいは全体的不確実性よりも幻覚の指標である。提案したビームサーチ変種との幻覚を抑えるため、標準メートル法で取引性能のより良い結果を得るのに役立ちます。
論文参考訳（メタデータ） (2021-03-28T00:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。