論文の概要: Mutual Information Alleviates Hallucinations in Abstractive Summarization

• arxiv url: http://arxiv.org/abs/2210.13210v1
• Date: Mon, 24 Oct 2022 13:30:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 16:52:44.040653
• Title: Mutual Information Alleviates Hallucinations in Abstractive Summarization
• Title（参考訳）: 相互情報による抽象要約における幻覚の軽減
• Authors: Liam van der Poel, Ryan Cotterell, Clara Meister
• Abstract要約: モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。 この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。 そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
• 参考スコア（独自算出の注目度）: 73.48162198041884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite significant progress in the quality of language generated from abstractive summarization models, these models still exhibit the tendency to hallucinate, i.e., output content not supported by the source document. A number of works have tried to fix--or at least uncover the source of--the problem with limited success. In this paper, we identify a simple criterion under which models are significantly more likely to assign more probability to hallucinated content during generation: high model uncertainty. This finding offers a potential explanation for hallucinations: models default to favoring text with high marginal probability, i.e., high-frequency occurrences in the training set, when uncertain about a continuation. It also motivates possible routes for real-time intervention during decoding to prevent such hallucinations. We propose a decoding strategy that switches to optimizing for pointwise mutual information of the source and target token--rather than purely the probability of the target token--when the model exhibits uncertainty. Experiments on the XSum dataset show that our method decreases the probability of hallucinated tokens while maintaining the Rouge and BertS scores of top-performing decoding strategies.
• Abstract（参考訳）: 抽象要約モデルから生成された言語品質の大幅な向上にもかかわらず、これらのモデルは依然として、ソース文書でサポートされていない出力コンテンツを幻覚的に示す傾向を示している。 多くの作品が、問題の原因を修正、または少なくとも解明しようと試みており、成功は限られている。 本稿では、モデルが生成時に幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高い単純な基準、すなわちモデルの不確実性を特定する。 この発見は幻覚の潜在的な説明を与えている: モデルは継続について不確定な場合、高い限界確率のテキスト、すなわちトレーニングセットにおける高周波発生を好む。 また、このような幻覚を防ぐためにデコード中のリアルタイム介入の可能なルートを動機付けている。 モデルが不確実性を示すとき、対象トークンの確率ではなく、ソースとターゲットトークンのポイント毎の相互情報に対する最適化に切り替える復号戦略を提案する。 XSumデータセットを用いた実験により,トップパフォーマンスデコード戦略のルージュとバートSスコアを維持しながら,ハロゲン化トークンの確率を低下させることが示された。

関連論文リスト

• Maintaining Informative Coherence: Migrating Hallucinations in Large Language Models via Absorbing Markov Chains [6.920249042435973]
  大規模言語モデル(LLM)は、テキスト生成、翻訳、要約のための強力なツールである。 LLMは、文脈情報の忠実さとコヒーレンスを維持するのに失敗する幻覚症状に悩まされることが多い。 本稿では,マルコフ連鎖を吸収し,文脈情報の重要性を定量化する新しい復号手法を提案する。
  論文  参考訳（メタデータ） (2024-10-27T04:51:18Z)
• Lower Layer Matters: Alleviating Hallucination via Multi-Layer Fusion Contrastive Decoding with Truthfulness Refocused [44.37155553647802]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて例外的な性能を示している。 時に、期待された出力と事実的に不正確な、あるいは不一致なコンテンツを生成する。 近年の研究では,幻覚誘発モデルとアマチュアモデルとの対比的復号化について検討している。 LOL(Lower Layer Matters)と呼ばれる新しいコントラストデコーディングフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-08-16T14:23:59Z)
• IBD: Alleviating Hallucinations in Large Vision-Language Models via Image-Biased Decoding [37.16880672402059]
  言語的先行性への過度な依存は幻覚に繋がる重要な要因として認識されている。 本稿では,新しい画像バイアスデコーディング手法を導入することにより,この問題を軽減することを提案する。 提案手法は,従来のLVLMと画像バイアスLVLMの予測を対比することにより,次の確率分布を導出する。
  論文  参考訳（メタデータ） (2024-02-28T16:57:22Z)
• ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
  チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。 我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
  論文  参考訳（メタデータ） (2023-04-07T15:17:48Z)
• On the probability-quality paradox in language generation [76.69397802617064]
  我々は情報理論レンズを用いて言語生成を分析する。 人間の言語は自然文字列上の分布のエントロピーに近い量の情報を含むべきであると仮定する。
  論文  参考訳（メタデータ） (2022-03-31T17:43:53Z)
• Don't Say What You Don't Know: Improving the Consistency of Abstractive Summarization by Constraining Beam Search [54.286450484332505]
  本研究は,幻覚とトレーニングデータの関連性を解析し,学習対象の要約を学習した結果,モデルが幻覚を呈する証拠を見出した。 本稿では,ビーム探索を制約して幻覚を回避し,変換器をベースとした抽象要約器の整合性を向上させる新しい復号法であるPINOCCHIOを提案する。
  論文  参考訳（メタデータ） (2022-03-16T07:13:52Z)
• Improving Faithfulness in Abstractive Summarization with Contrast Candidate Generation and Selection [54.38512834521367]
  モデル非依存後処理技術としてのコントラスト候補生成と選択について検討する。 代替候補要約を生成して判別補正モデルを学習する。 このモデルを使用して、最終的な出力サマリーとして最適な候補を選択する。
  論文  参考訳（メタデータ） (2021-04-19T05:39:24Z)
• Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
  出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。 また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
  論文  参考訳（メタデータ） (2020-11-05T00:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。