論文の概要: Investigating Hallucinations in Pruned Large Language Models for
Abstractive Summarization
- arxiv url: http://arxiv.org/abs/2311.09335v2
- Date: Mon, 29 Jan 2024 17:59:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 21:08:15.316714
- Title: Investigating Hallucinations in Pruned Large Language Models for
Abstractive Summarization
- Title(参考訳): 抽象要約のための大規模言語モデルにおける幻覚の探索
- Authors: George Chrysostomou, Zhixue Zhao, Miles Williams, Nikolaos Aletras
- Abstract要約: プルーニング(Pruning)は、余分な重みを取り除くことによってモデルサイズを減らす手法であり、より効率的なスパース推論を可能にする。
本稿では,5つの要約データセット,2つの最先端プルーニング手法,および5つの命令調整LDMに関する実証的研究を行う。
驚いたことに、刈り取られたLLMの幻覚はオリジナルのモデルよりもあまり多くない。
- 参考スコア(独自算出の注目度): 41.02676611256742
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the remarkable performance of generative large language models (LLMs)
on abstractive summarization, they face two significant challenges: their
considerable size and tendency to hallucinate. Hallucinations are concerning
because they erode reliability and raise safety issues. Pruning is a technique
that reduces model size by removing redundant weights, enabling more efficient
sparse inference. Pruned models yield downstream task performance comparable to
the original, making them ideal alternatives when operating on a limited
budget. However, the effect that pruning has upon hallucinations in abstractive
summarization with LLMs has yet to be explored. In this paper, we provide an
extensive empirical study across five summarization datasets, two
state-of-the-art pruning methods, and five instruction-tuned LLMs.
Surprisingly, we find that hallucinations from pruned LLMs are less prevalent
than the original models. Our analysis suggests that pruned models tend to
depend more on the source document for summary generation. This leads to a
higher lexical overlap between the generated summary and the source document,
which could be a reason for the reduction in hallucination risk.
- Abstract(参考訳): 抽象的な要約における生成的大言語モデル(LLM)の顕著な性能にもかかわらず、それらは2つの大きな課題に直面している。
幻覚は信頼性を損ね、安全性の問題を提起するためである。
プルーニング(pruning)は、冗長な重みを取り除いてモデルサイズを削減し、より効率的なスパース推論を可能にするテクニックである。
プルーニングされたモデルは、オリジナルのものと同等のダウンストリームタスクパフォーマンスをもたらし、限られた予算で運用する場合に理想的な代替手段となる。
しかし, 刈り取りがLLMの抽象的要約における幻覚に及ぼす影響については, まだ検討されていない。
本稿では,5つの要約データセット,2つの最先端プルーニング手法,および5つの命令調整LDMに関する広範な実証的研究を行う。
驚いたことに、刈り取られたLLMの幻覚はオリジナルのモデルよりもあまり多くない。
解析の結果,刈り取られたモデルはソース文書に依存する傾向が示唆された。
これにより、生成された要約とソースドキュメントの間の語彙の重なりが高まり、幻覚のリスクが低下する原因となる可能性がある。
関連論文リスト
- Alleviating Hallucinations of Large Language Models through Induced
Hallucinations [67.35512483340837]
大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。
幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
論文 参考訳(メタデータ) (2023-12-25T12:32:49Z) - Correction with Backtracking Reduces Hallucination in Summarization [30.827500697135118]
本稿では,抽象的な要約における幻覚を低減するため,シンプルだが効率的な手法であるCoBaを紹介する。
アプローチは幻覚検出と緩和という2つのステップに基づいている。
その結果,CoBaは幻覚の低減に有効かつ効率的であり,適応性と柔軟性に優れていた。
論文 参考訳(メタデータ) (2023-10-24T20:48:11Z) - AutoHall: Automated Hallucination Dataset Generation for Large Language
Models [63.973142426228016]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。
また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文 参考訳(メタデータ) (2023-09-30T05:20:02Z) - Hallucination Reduction in Long Input Text Summarization [2.6745438139282283]
テキスト要約における幻覚は、生成された要約の正確さと信頼性に重大な障害をもたらす。
我々は、Longformer-Decoder(LED)モデルの微調整に、データフィルタリングとジョイントエンティティと要約生成(JAENS)の技法を取り入れた。
実験の結果, 微調整LEDモデルでは, 紙の抽象的な生成が良好であることがわかった。
論文 参考訳(メタデータ) (2023-09-28T18:22:16Z) - Summarization is (Almost) Dead [49.360752383801305]
我々は,大規模言語モデル(LLM)のゼロショット生成能力を評価するため,新しいデータセットを開発し,人間による評価実験を行う。
本研究は, 微調整モデルにより生成した要約や要約よりも, LLM生成要約に対する人間の評価において, 明らかな優位性を示した。
論文 参考訳(メタデータ) (2023-09-18T08:13:01Z) - Detecting and Preventing Hallucinations in Large Vision Language Models [4.7264116948935975]
M-HalDetectは、詳細な画像記述のための最初のマルチモーダル幻覚検出データセットである。
InstructBLIPから細粒度マルチモーダル報酬モデルを訓練し,その有効性を評価する。
LLaVAとmPLUG-OWLの幻覚をそれぞれ15%と57%低減する。
論文 参考訳(メタデータ) (2023-08-11T21:35:20Z) - Mutual Information Alleviates Hallucinations in Abstractive
Summarization [73.48162198041884]
モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。
この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。
そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
論文 参考訳(メタデータ) (2022-10-24T13:30:54Z) - Don't Say What You Don't Know: Improving the Consistency of Abstractive
Summarization by Constraining Beam Search [54.286450484332505]
本研究は,幻覚とトレーニングデータの関連性を解析し,学習対象の要約を学習した結果,モデルが幻覚を呈する証拠を見出した。
本稿では,ビーム探索を制約して幻覚を回避し,変換器をベースとした抽象要約器の整合性を向上させる新しい復号法であるPINOCCHIOを提案する。
論文 参考訳(メタデータ) (2022-03-16T07:13:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。