論文の概要: Mitigating Hallucination in Abstractive Summarization with Domain-Conditional Mutual Information

• arxiv url: http://arxiv.org/abs/2404.09480v1
• Date: Mon, 15 Apr 2024 06:06:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 13:19:30.751717
• Title: Mitigating Hallucination in Abstractive Summarization with Domain-Conditional Mutual Information
• Title（参考訳）: ドメイン間相互情報を用いた抽象要約における幻覚の緩和
• Authors: Kyubyung Chae, Jaepill Choi, Yohan Jo, Taesup Kim,
• Abstract要約: ドメイン条件のポイントワイド相互情報に基づく復号戦略を導入する。 この戦略は、各トークンの生成確率を、ソーステキストの領域内のトークンの限界確率と比較することによって調整する。 XSUMデータセットの評価により,本手法は忠実度とソース関連性の観点から改善を示す。
• 参考スコア（独自算出の注目度）: 5.834962492170697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A primary challenge in abstractive summarization is hallucination -- the phenomenon where a model generates plausible text that is absent in the source text. We hypothesize that the domain (or topic) of the source text triggers the model to generate text that is highly probable in the domain, neglecting the details of the source text. To alleviate this model bias, we introduce a decoding strategy based on domain-conditional pointwise mutual information. This strategy adjusts the generation probability of each token by comparing it with the token's marginal probability within the domain of the source text. According to evaluation on the XSUM dataset, our method demonstrates improvement in terms of faithfulness and source relevance. The code is publicly available at \url{https://github.com/qqplot/dcpmi}.
• Abstract（参考訳）: 抽象的な要約の第一の課題は幻覚であり、モデルが原文に欠落した可塑性テキストを生成する現象である。 我々は、ソーステキストのドメイン(またはトピック)がモデルにトリガーを与え、ドメイン内で高い確率のテキストを生成し、ソーステキストの詳細を無視する仮説を立てる。 このモデルバイアスを軽減するために、ドメイン条件のポイントワイド相互情報に基づくデコード戦略を導入する。 この戦略は、各トークンの生成確率を、ソーステキストの領域内のトークンの限界確率と比較することによって調整する。 XSUMデータセットの評価により,本手法は忠実度とソース関連性の観点から改善を示す。 コードは \url{https://github.com/qqplot/dcpmi} で公開されている。

関連論文リスト

• Source Identification in Abstractive Summarization [0.8883733362171033]
  生成された要約文に必須情報を含む入力文を$textitsource文として定義し、ソース文を解析して抽象的な要約がどのように作られるかを研究する。 我々は,複数の手法を比較し,タスクの強いベースラインを確立するために,自動ソース文検出を定式化する。 実験結果から, パープレキシティに基づく手法は, 比較的抽象的条件下では良好に動作し, 類似性に基づく手法は比較的抽出的条件下では頑健であることがわかった。
  論文  参考訳（メタデータ） (2024-02-07T09:09:09Z)
• RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
  可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-10-16T16:42:01Z)
• Inducing Causal Structure for Abstractive Text Summarization [76.1000380429553]
  要約データの因果構造を誘導する構造因果モデル(SCM)を導入する。 本稿では因果的要因を模倣できる因果的表現を学習するための因果性インスピレーション付き系列列列モデル(CI-Seq2Seq)を提案する。 2つの広く使われているテキスト要約データセットの実験結果は、我々のアプローチの利点を示している。
  論文  参考訳（メタデータ） (2023-08-24T16:06:36Z)
• High-Fidelity Guided Image Synthesis with Latent Diffusion Models [50.39294302741698]
  提案手法は, ユーザ満足度スコアを85.32%以上上回り, 従来の最先端技術よりも優れていた。 人的ユーザ調査の結果、提案手法は、全体のユーザ満足度スコアにおいて、従来の最先端技術よりも85.32%以上優れていたことが示されている。
  論文  参考訳（メタデータ） (2022-11-30T15:43:20Z)
• Self-consistent Reasoning For Solving Math Word Problems [27.584325149744444]
  数学語問題(英: Math word problem、MWP)は、テキスト中の数学問題から解表現を自動的に導き出すタスクである。 これまでの研究では、入力テキストと出力表現の間に急激な相関関係があった。 本稿では,出力分布シフトの補正にプルーニング戦略を採用するSCRという自己整合推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-27T12:34:31Z)
• Mutual Information Alleviates Hallucinations in Abstractive Summarization [73.48162198041884]
  モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。 この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。 そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:30:54Z)
• Enriching and Controlling Global Semantics for Text Summarization [11.037667460077813]
  トランスフォーマーに基づくモデルは、流動的で情報的な要約を作成することで抽象的な要約タスクに有効であることが証明されている。 文書のグローバルな意味を捉えるために,正規化フローを付与したニューラルトピックモデルを導入し,それを要約モデルに統合する。 本手法は,5つの共通テキスト要約データセットにおいて,最先端の要約モデルより優れる。
  論文  参考訳（メタデータ） (2021-09-22T09:31:50Z)
• Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
  Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。 我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。 実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
  論文  参考訳（メタデータ） (2020-10-06T02:51:02Z)
• Mirostat: A Neural Text Decoding Algorithm that Directly Controls Perplexity [22.15683400807154]
  我々は、トップk、トップp、温度サンプリングにおけるパープレキシティの理論解析を用いて、フィードバックに基づく適応的なトップkテキスト復号アルゴリズムであるミロスタットを設計する。 実験により、トップkおよびトップpサンプリングにおけるkとpの低い値に対して、パープレキシティは生成したテキストの長さとともに著しく低下することが示された。 k と p の大きな値の場合、テキスト長の生成とともにパープレキシティが増加し、テキストの不整合と相関する。
  論文  参考訳（メタデータ） (2020-07-29T17:22:26Z)
• Extractive Summarization as Text Matching [123.09816729675838]
  本稿では,ニューラル抽出要約システムの構築方法に関するパラダイムシフトを作成する。 抽出した要約タスクを意味テキストマッチング問題として定式化する。 我々はCNN/DailyMailの最先端抽出結果を新しいレベル(ROUGE-1の44.41)に推し進めた。
  論文  参考訳（メタデータ） (2020-04-19T08:27:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。