論文の概要: Improved Beam Search for Hallucination Mitigation in Abstractive
Summarization
- arxiv url: http://arxiv.org/abs/2212.02712v1
- Date: Tue, 6 Dec 2022 02:33:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 15:30:53.596903
- Title: Improved Beam Search for Hallucination Mitigation in Abstractive
Summarization
- Title(参考訳): 抽象要約における幻覚緩和のためのビーム探索の改善
- Authors: Arvind Krishna Sridhar, Erik Visser
- Abstract要約: 本稿では,要約生成における幻覚の検出と防止を目的とした自然言語推論(NLI)の指標について検討する。
本研究では,入力コンテキストと要約モデル生成ビーム間の包含確率スコアを計算し,NLIを用いたビーム再ランク付け機構を提案する。
提案アルゴリズムは,XSumおよびCNN/DMデータセット上でバニラビームデコーディングを著しく上回っている。
- 参考スコア(独自算出の注目度): 0.2538209532048867
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Advancement in large pretrained language models has significantly improved
their performance for conditional language generation tasks including
summarization albeit with hallucinations. To reduce hallucinations,
conventional methods proposed improving beam search or using a fact checker as
a postprocessing step. In this paper, we investigate the use of the Natural
Language Inference (NLI) entailment metric to detect and prevent hallucinations
in summary generation. We propose an NLI-assisted beam re-ranking mechanism by
computing entailment probability scores between the input context and
summarization model-generated beams during saliency-enhanced greedy decoding.
Moreover, a diversity metric is introduced to compare its effectiveness against
vanilla beam search. Our proposed algorithm significantly outperforms vanilla
beam decoding on XSum and CNN/DM datasets.
- Abstract(参考訳): 大きな事前訓練された言語モデルの進歩は、幻覚を伴う要約を含む条件付き言語生成タスクのパフォーマンスを著しく改善した。
幻覚を低減するため、ビーム探索の改善やファクトチェッカーを後処理ステップとして用いる方法が提案されている。
本稿では,要約生成における幻覚の検出と防止を目的とした自然言語推論(NLI)の指標について検討する。
本研究では, 入力コンテキストと要約モデル生成ビーム間の包含確率スコアを算定し, NLIを用いたビーム再分類機構を提案する。
さらに,バニラビームサーチの有効性を比較するために,多様性指標を導入した。
提案アルゴリズムは,XSumおよびCNN/DMデータセット上でバニラビームデコーディングを著しく上回っている。
関連論文リスト
- Boosting Disfluency Detection with Large Language Model as Disfluency
Generator [9.653665778500454]
本稿では,拡散検出のための軽量なデータ拡張手法を提案する。
拡張データとして,大言語モデル(LLM)を用いて不自由な文を生成する。
文の質を向上させるために不確実性を考慮したデータフィルタリング手法を適用する。
論文 参考訳(メタデータ) (2024-03-13T04:14:33Z) - IBD: Alleviating Hallucinations in Large Vision-Language Models via
Image-Biased Decoding [37.16880672402059]
言語的先行性への過度な依存は幻覚に繋がる重要な要因として認識されている。
本稿では,新しい画像バイアスデコーディング手法を導入することにより,この問題を軽減することを提案する。
提案手法は,従来のLVLMと画像バイアスLVLMの予測を対比することにより,次の確率分布を導出する。
論文 参考訳(メタデータ) (2024-02-28T16:57:22Z) - Alleviating Hallucinations of Large Language Models through Induced
Hallucinations [67.35512483340837]
大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。
幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
論文 参考訳(メタデータ) (2023-12-25T12:32:49Z) - AutoHall: Automated Hallucination Dataset Generation for Large Language
Models [63.973142426228016]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。
また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文 参考訳(メタデータ) (2023-09-30T05:20:02Z) - Mutual Information Alleviates Hallucinations in Abstractive
Summarization [73.48162198041884]
モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。
この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。
そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
論文 参考訳(メタデータ) (2022-10-24T13:30:54Z) - A Call for Clarity in Beam Search: How It Works and When It Stops [125.55175954381991]
我々は、このビーム復号化実装の簡単な修正である忍耐係数を導入し、停止基準を一般化し、探索深度に柔軟性を提供する。
実験結果から,この忍耐率の調整は,ニューステキスト要約および多言語対における機械翻訳において,強い事前学習されたモデルの復号性能を向上させることが示された。
論文 参考訳(メタデータ) (2022-04-11T22:03:44Z) - Don't Say What You Don't Know: Improving the Consistency of Abstractive
Summarization by Constraining Beam Search [54.286450484332505]
本研究は,幻覚とトレーニングデータの関連性を解析し,学習対象の要約を学習した結果,モデルが幻覚を呈する証拠を見出した。
本稿では,ビーム探索を制約して幻覚を回避し,変換器をベースとした抽象要約器の整合性を向上させる新しい復号法であるPINOCCHIOを提案する。
論文 参考訳(メタデータ) (2022-03-16T07:13:52Z) - Efficient Sequence Training of Attention Models using Approximative
Recombination [44.501712281337205]
逐次識別訓練は,音声認識システムの性能向上に有効である。
しかし、実際には計算が困難である全ての可能な単語列に対して和を必要とする。
本研究は,ビームサーチにおける仮説の(近似的な)組換えを提案する。
論文 参考訳(メタデータ) (2021-10-18T12:47:53Z) - Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。
また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
論文 参考訳(メタデータ) (2020-11-05T00:18:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。