論文の概要: Mutual Information Alleviates Hallucinations in Abstractive
Summarization
- arxiv url: http://arxiv.org/abs/2210.13210v1
- Date: Mon, 24 Oct 2022 13:30:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 16:52:44.040653
- Title: Mutual Information Alleviates Hallucinations in Abstractive
Summarization
- Title(参考訳): 相互情報による抽象要約における幻覚の軽減
- Authors: Liam van der Poel, Ryan Cotterell, Clara Meister
- Abstract要約: モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。
この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。
そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
- 参考スコア(独自算出の注目度): 73.48162198041884
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite significant progress in the quality of language generated from
abstractive summarization models, these models still exhibit the tendency to
hallucinate, i.e., output content not supported by the source document. A
number of works have tried to fix--or at least uncover the source of--the
problem with limited success. In this paper, we identify a simple criterion
under which models are significantly more likely to assign more probability to
hallucinated content during generation: high model uncertainty. This finding
offers a potential explanation for hallucinations: models default to favoring
text with high marginal probability, i.e., high-frequency occurrences in the
training set, when uncertain about a continuation. It also motivates possible
routes for real-time intervention during decoding to prevent such
hallucinations. We propose a decoding strategy that switches to optimizing for
pointwise mutual information of the source and target token--rather than purely
the probability of the target token--when the model exhibits uncertainty.
Experiments on the XSum dataset show that our method decreases the probability
of hallucinated tokens while maintaining the Rouge and BertS scores of
top-performing decoding strategies.
- Abstract(参考訳): 抽象要約モデルから生成された言語品質の大幅な向上にもかかわらず、これらのモデルは依然として、ソース文書でサポートされていない出力コンテンツを幻覚的に示す傾向を示している。
多くの作品が、問題の原因を修正、または少なくとも解明しようと試みており、成功は限られている。
本稿では、モデルが生成時に幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高い単純な基準、すなわちモデルの不確実性を特定する。
この発見は幻覚の潜在的な説明を与えている: モデルは継続について不確定な場合、高い限界確率のテキスト、すなわちトレーニングセットにおける高周波発生を好む。
また、このような幻覚を防ぐためにデコード中のリアルタイム介入の可能なルートを動機付けている。
モデルが不確実性を示すとき、対象トークンの確率ではなく、ソースとターゲットトークンのポイント毎の相互情報に対する最適化に切り替える復号戦略を提案する。
XSumデータセットを用いた実験により,トップパフォーマンスデコード戦略のルージュとバートSスコアを維持しながら,ハロゲン化トークンの確率を低下させることが示された。
関連論文リスト
- Mitigating Large Language Model Hallucination with Faithful Finetuning [46.33663932554782]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。
彼らは「幻覚」として知られる、流動的で不合理な反応を生み出す傾向にある
論文 参考訳(メタデータ) (2024-06-17T07:16:07Z) - Zero-Shot Multi-task Hallucination Detection [8.539639901976594]
幻覚は、生成したテキストがソースへの忠実さを欠いているモデルにおいて、創発的な状態である。
幻覚を正式に定義し,ゼロショット設定における定量的検出のための枠組みを提案する。
幻覚検出では, モデル認識設定では0.78, モデル認識設定では0.61の精度が得られた。
論文 参考訳(メタデータ) (2024-03-18T20:50:26Z) - IBD: Alleviating Hallucinations in Large Vision-Language Models via
Image-Biased Decoding [37.16880672402059]
言語的先行性への過度な依存は幻覚に繋がる重要な要因として認識されている。
本稿では,新しい画像バイアスデコーディング手法を導入することにより,この問題を軽減することを提案する。
提案手法は,従来のLVLMと画像バイアスLVLMの予測を対比することにより,次の確率分布を導出する。
論文 参考訳(メタデータ) (2024-02-28T16:57:22Z) - ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。
我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文 参考訳(メタデータ) (2023-04-07T15:17:48Z) - On the probability-quality paradox in language generation [76.69397802617064]
我々は情報理論レンズを用いて言語生成を分析する。
人間の言語は自然文字列上の分布のエントロピーに近い量の情報を含むべきであると仮定する。
論文 参考訳(メタデータ) (2022-03-31T17:43:53Z) - Don't Say What You Don't Know: Improving the Consistency of Abstractive
Summarization by Constraining Beam Search [54.286450484332505]
本研究は,幻覚とトレーニングデータの関連性を解析し,学習対象の要約を学習した結果,モデルが幻覚を呈する証拠を見出した。
本稿では,ビーム探索を制約して幻覚を回避し,変換器をベースとした抽象要約器の整合性を向上させる新しい復号法であるPINOCCHIOを提案する。
論文 参考訳(メタデータ) (2022-03-16T07:13:52Z) - Improving Faithfulness in Abstractive Summarization with Contrast
Candidate Generation and Selection [54.38512834521367]
モデル非依存後処理技術としてのコントラスト候補生成と選択について検討する。
代替候補要約を生成して判別補正モデルを学習する。
このモデルを使用して、最終的な出力サマリーとして最適な候補を選択する。
論文 参考訳(メタデータ) (2021-04-19T05:39:24Z) - Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。
また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
論文 参考訳(メタデータ) (2020-11-05T00:18:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。