論文の概要: Lighter, yet More Faithful: Investigating Hallucinations in Pruned Large
Language Models for Abstractive Summarization
- arxiv url: http://arxiv.org/abs/2311.09335v1
- Date: Wed, 15 Nov 2023 19:49:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 17:56:00.131349
- Title: Lighter, yet More Faithful: Investigating Hallucinations in Pruned Large
Language Models for Abstractive Summarization
- Title（参考訳）: より軽い、しかしより忠実な:抽象的要約のための大言語モデルにおける幻覚の研究
- Authors: George Chrysostomou, Zhixue Zhao, Miles Williams, Nikolaos Aletras
- Abstract要約: 本研究では,大言語モデルを用いた抽象的な要約において,プルーニングが幻覚に与える影響について検討する。
驚いたことに、刈り取ったLLMはフルサイズのLLMに比べて幻覚が小さい。
- 参考スコア（独自算出の注目度）: 41.02676611256742
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite their remarkable performance on abstractive summarization, large
language models (LLMs) face two significant challenges: their considerable size
and tendency to hallucinate. Hallucinations are concerning because they erode
the reliability of LLMs and raise safety issues. Pruning is a technique that
reduces model size by removing redundant weights to create sparse models that
enable more efficient inference. Pruned models yield comparable performance to
their counterpart full-sized models, making them ideal alternatives when
operating on a limited budget. However, the effect that pruning has upon
hallucinations in abstractive summarization with LLMs has yet to be explored.
In this paper, we provide an extensive empirical study on the hallucinations
produced by pruned models across three standard summarization tasks, two
pruning approaches, three instruction-tuned LLMs, and three hallucination
evaluation metrics. Surprisingly, we find that pruned LLMs hallucinate less
compared to their full-sized counterparts. Our follow-up analysis suggests that
pruned models tend to depend more on the source input and less on their
parametric knowledge from pre-training for generation. This greater dependency
on the source input leads to a higher lexical overlap between generated content
and the source input, which can be a reason for the reduction in
hallucinations.
- Abstract（参考訳）: 抽象的な要約における顕著なパフォーマンスにもかかわらず、大きな言語モデル(LLM)は2つの大きな課題に直面している。
幻覚は、LSMの信頼性を損ね、安全性の問題を引き起こすためである。
プルーニング(Pruning)は、余分な重みを取り除き、より効率的な推論を可能にするスパースモデルを作成することによって、モデルサイズを減らすテクニックである。
プルーンドモデルは、対応するフルサイズのモデルに匹敵する性能を保ち、限られた予算で運用する場合に理想的な代替品となる。
しかし, 刈り取りがLLMの抽象的要約における幻覚に及ぼす影響については, まだ検討されていない。
本稿では,3つの標準要約タスク,2つのプルーニングアプローチ,3つの命令調整LDM,および3つの幻覚評価指標にまたがるプルーニングモデルによる幻覚に関する広範な実証的研究を行う。
驚いたことに、pruned llmはフルサイズのllmに比べて幻覚を少なくする。
我々の追跡分析によると、刈り取られたモデルは、ソース入力に依存する傾向が強く、生成のための事前学習からのパラメトリックな知識がより少ない。
ソース入力への依存度が高くなると、生成されたコンテンツとソース入力の語彙的な重なり合いが高くなるため、幻覚の減少の原因となる可能性がある。
関連論文リスト
- A Novel Approach to Eliminating Hallucinations in Large Language Model-Assisted Causal Discovery [21.2023350773338]
因果発見に大型言語モデル(LLM)を用いる場合,幻覚の存在が示唆された。
本稿では,品質データが利用可能な場合の幻覚を低減するために,検索拡張生成(RAG)を提案する。
論文 参考訳（メタデータ） (2024-11-16T03:06:39Z) - From Single to Multi: How LLMs Hallucinate in Multi-Document Summarization [6.37435726278524]
複数の文書からトピック特化情報を要約する際に,大規模言語モデル (LLM) において幻覚がどのように現れるかを検討する。
平均して、LLM生成サマリーの最大75%は幻覚化され、要約の終わりに幻覚が生じる可能性が高い。
これらの幻覚の特徴を理解するために、手動で700以上の洞察を評価し、ほとんどのエラーは指示に従わなかったり、過度に総合的な洞察が得られなかったりする。
論文 参考訳（メタデータ） (2024-10-17T18:38:53Z) - Iter-AHMCL: Alleviate Hallucination for Large Language Model via Iterative Model-level Contrastive Learning [16.883679810267342]
幻覚に対処するための反復モデルレベルのコントラスト学習(Iter-AHMCL)
本稿では,幻覚に対処するイテレーティブモデルレベルのコントラスト学習(Iter-AHMCL)を提案する。
論文 参考訳（メタデータ） (2024-10-16T00:15:40Z) - ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models [65.12177400764506]
大規模言語モデル (LLM) は、様々な領域や広範囲のアプリケーションにまたがる、長い形式の質問応答タスクにおいて幻覚を示す。
現在の幻覚検出と緩和データセットはドメインやサイズによって制限されている。
本稿では,幻覚アノテーションデータセットを同時に,段階的にスケールアップする反復的自己学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-05T17:56:38Z) - Unfamiliar Finetuning Examples Control How Language Models Hallucinate [75.03210107477157]
大規模な言語モデルは、馴染みのないクエリに直面した時に幻覚化することが知られている。
モデルの微調整データの見慣れない例は、これらのエラーを形作るのに不可欠である。
本研究は,RLファインタニング戦略をさらに研究し,長大なモデル生成の現実性を改善することを目的とする。
論文 参考訳（メタデータ） (2024-03-08T18:28:13Z) - Alleviating Hallucinations of Large Language Models through Induced
Hallucinations [67.35512483340837]
大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。
幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
論文 参考訳（メタデータ） (2023-12-25T12:32:49Z) - Hallucination Augmented Contrastive Learning for Multimodal Large
Language Model [53.65682783591723]
マルチモーダル大規模言語モデル(MLLM)は、自然言語と視覚情報を効率的に統合し、マルチモーダルタスクを処理できることが示されている。
しかし、MLLMは幻覚の基本的な限界に直面しており、誤った情報や偽情報を生成する傾向がある。
本稿では,MLLMにおける幻覚を表現学習の新たな視点から論じる。
論文 参考訳（メタデータ） (2023-12-12T04:05:15Z) - Hallucination Reduction in Long Input Text Summarization [2.6745438139282283]
テキスト要約における幻覚は、生成された要約の正確さと信頼性に重大な障害をもたらす。
我々は、Longformer-Decoder(LED)モデルの微調整に、データフィルタリングとジョイントエンティティと要約生成(JAENS)の技法を取り入れた。
実験の結果, 微調整LEDモデルでは, 紙の抽象的な生成が良好であることがわかった。
論文 参考訳（メタデータ） (2023-09-28T18:22:16Z) - Detecting and Preventing Hallucinations in Large Vision Language Models [4.7264116948935975]
M-HalDetectは、詳細な画像記述のための最初のマルチモーダル幻覚検出データセットである。
InstructBLIPから細粒度マルチモーダル報酬モデルを訓練し,その有効性を評価する。
LLaVAとmPLUG-OWLの幻覚をそれぞれ15%と57%低減する。
論文 参考訳（メタデータ） (2023-08-11T21:35:20Z) - Don't Say What You Don't Know: Improving the Consistency of Abstractive
Summarization by Constraining Beam Search [54.286450484332505]
本研究は,幻覚とトレーニングデータの関連性を解析し,学習対象の要約を学習した結果,モデルが幻覚を呈する証拠を見出した。
本稿では,ビーム探索を制約して幻覚を回避し,変換器をベースとした抽象要約器の整合性を向上させる新しい復号法であるPINOCCHIOを提案する。
論文 参考訳（メタデータ） (2022-03-16T07:13:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。