論文の概要: Lighter, yet More Faithful: Investigating Hallucinations in Pruned Large
Language Models for Abstractive Summarization
- arxiv url: http://arxiv.org/abs/2311.09335v1
- Date: Wed, 15 Nov 2023 19:49:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 17:56:00.131349
- Title: Lighter, yet More Faithful: Investigating Hallucinations in Pruned Large
Language Models for Abstractive Summarization
- Title(参考訳): より軽い、しかしより忠実な:抽象的要約のための大言語モデルにおける幻覚の研究
- Authors: George Chrysostomou, Zhixue Zhao, Miles Williams, Nikolaos Aletras
- Abstract要約: 本研究では,大言語モデルを用いた抽象的な要約において,プルーニングが幻覚に与える影響について検討する。
驚いたことに、刈り取ったLLMはフルサイズのLLMに比べて幻覚が小さい。
- 参考スコア(独自算出の注目度): 41.02676611256742
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite their remarkable performance on abstractive summarization, large
language models (LLMs) face two significant challenges: their considerable size
and tendency to hallucinate. Hallucinations are concerning because they erode
the reliability of LLMs and raise safety issues. Pruning is a technique that
reduces model size by removing redundant weights to create sparse models that
enable more efficient inference. Pruned models yield comparable performance to
their counterpart full-sized models, making them ideal alternatives when
operating on a limited budget. However, the effect that pruning has upon
hallucinations in abstractive summarization with LLMs has yet to be explored.
In this paper, we provide an extensive empirical study on the hallucinations
produced by pruned models across three standard summarization tasks, two
pruning approaches, three instruction-tuned LLMs, and three hallucination
evaluation metrics. Surprisingly, we find that pruned LLMs hallucinate less
compared to their full-sized counterparts. Our follow-up analysis suggests that
pruned models tend to depend more on the source input and less on their
parametric knowledge from pre-training for generation. This greater dependency
on the source input leads to a higher lexical overlap between generated content
and the source input, which can be a reason for the reduction in
hallucinations.
- Abstract(参考訳): 抽象的な要約における顕著なパフォーマンスにもかかわらず、大きな言語モデル(LLM)は2つの大きな課題に直面している。
幻覚は、LSMの信頼性を損ね、安全性の問題を引き起こすためである。
プルーニング(Pruning)は、余分な重みを取り除き、より効率的な推論を可能にするスパースモデルを作成することによって、モデルサイズを減らすテクニックである。
プルーンドモデルは、対応するフルサイズのモデルに匹敵する性能を保ち、限られた予算で運用する場合に理想的な代替品となる。
しかし, 刈り取りがLLMの抽象的要約における幻覚に及ぼす影響については, まだ検討されていない。
本稿では,3つの標準要約タスク,2つのプルーニングアプローチ,3つの命令調整LDM,および3つの幻覚評価指標にまたがるプルーニングモデルによる幻覚に関する広範な実証的研究を行う。
驚いたことに、pruned llmはフルサイズのllmに比べて幻覚を少なくする。
我々の追跡分析によると、刈り取られたモデルは、ソース入力に依存する傾向が強く、生成のための事前学習からのパラメトリックな知識がより少ない。
ソース入力への依存度が高くなると、生成されたコンテンツとソース入力の語彙的な重なり合いが高くなるため、幻覚の減少の原因となる可能性がある。
関連論文リスト
- Alleviating Hallucinations of Large Language Models through Induced
Hallucinations [67.35512483340837]
大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。
幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
論文 参考訳(メタデータ) (2023-12-25T12:32:49Z) - Correction with Backtracking Reduces Hallucination in Summarization [30.827500697135118]
本稿では,抽象的な要約における幻覚を低減するため,シンプルだが効率的な手法であるCoBaを紹介する。
アプローチは幻覚検出と緩和という2つのステップに基づいている。
その結果,CoBaは幻覚の低減に有効かつ効率的であり,適応性と柔軟性に優れていた。
論文 参考訳(メタデータ) (2023-10-24T20:48:11Z) - AutoHall: Automated Hallucination Dataset Generation for Large Language
Models [63.973142426228016]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。
また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文 参考訳(メタデータ) (2023-09-30T05:20:02Z) - Hallucination Reduction in Long Input Text Summarization [2.6745438139282283]
テキスト要約における幻覚は、生成された要約の正確さと信頼性に重大な障害をもたらす。
我々は、Longformer-Decoder(LED)モデルの微調整に、データフィルタリングとジョイントエンティティと要約生成(JAENS)の技法を取り入れた。
実験の結果, 微調整LEDモデルでは, 紙の抽象的な生成が良好であることがわかった。
論文 参考訳(メタデータ) (2023-09-28T18:22:16Z) - Summarization is (Almost) Dead [49.360752383801305]
我々は,大規模言語モデル(LLM)のゼロショット生成能力を評価するため,新しいデータセットを開発し,人間による評価実験を行う。
本研究は, 微調整モデルにより生成した要約や要約よりも, LLM生成要約に対する人間の評価において, 明らかな優位性を示した。
論文 参考訳(メタデータ) (2023-09-18T08:13:01Z) - Detecting and Preventing Hallucinations in Large Vision Language Models [4.7264116948935975]
M-HalDetectは、詳細な画像記述のための最初のマルチモーダル幻覚検出データセットである。
InstructBLIPから細粒度マルチモーダル報酬モデルを訓練し,その有効性を評価する。
LLaVAとmPLUG-OWLの幻覚をそれぞれ15%と57%低減する。
論文 参考訳(メタデータ) (2023-08-11T21:35:20Z) - Mutual Information Alleviates Hallucinations in Abstractive
Summarization [73.48162198041884]
モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。
この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。
そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
論文 参考訳(メタデータ) (2022-10-24T13:30:54Z) - Don't Say What You Don't Know: Improving the Consistency of Abstractive
Summarization by Constraining Beam Search [54.286450484332505]
本研究は,幻覚とトレーニングデータの関連性を解析し,学習対象の要約を学習した結果,モデルが幻覚を呈する証拠を見出した。
本稿では,ビーム探索を制約して幻覚を回避し,変換器をベースとした抽象要約器の整合性を向上させる新しい復号法であるPINOCCHIOを提案する。
論文 参考訳(メタデータ) (2022-03-16T07:13:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。