論文の概要: MoFE: Mixture of Factual Experts for Controlling Hallucinations in
Abstractive Summarization
- arxiv url: http://arxiv.org/abs/2110.07166v1
- Date: Thu, 14 Oct 2021 06:02:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-16 04:51:04.672393
- Title: MoFE: Mixture of Factual Experts for Controlling Hallucinations in
Abstractive Summarization
- Title(参考訳): MoFE:抽象要約における幻覚制御の専門家の混在
- Authors: Prafulla Kumar Choubey, Jesse Vig, Wenhao Liu, Nazneen Fatema Rajani
- Abstract要約: MoFE(Mixture of Factual Experts)モデルは、特定のタイプのエラーをターゲットとする複数の要約専門家を組み合わせたモデルである。
BARTモデルの実験では、MoFEはエンティティの重複と依存性の弧の包含の両方に応じてパフォーマンスを改善する。
- 参考スコア(独自算出の注目度): 18.464765966462135
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural abstractive summarization models are susceptible to generating
factually inconsistent content, a phenomenon known as hallucination. This
limits the usability and adoption of these systems in real-world applications.
To reduce the presence of hallucination, we propose the Mixture of Factual
Experts (MoFE) model, which combines multiple summarization experts that each
target a specific type of error. We train our experts using reinforcement
learning (RL) to minimize the error defined by two factual consistency metrics:
entity overlap and dependency arc entailment. We construct MoFE by combining
the experts using two ensembling strategies (weights and logits) and evaluate
them on two summarization datasets (XSUM and CNN/DM). Our experiments on BART
models show that the MoFE improves performance according to both entity overlap
and dependency arc entailment, without a significant performance drop on
standard ROUGE metrics. The performance improvement also transfers to unseen
factual consistency metrics, such as question answer-based factuality
evaluation metric and BERTScore precision with respect to the source document.
- Abstract(参考訳): 神経抽象的要約モデルは、幻覚として知られる現象である事実的に一貫性のないコンテンツを生成する傾向がある。
これにより、現実世界のアプリケーションにおけるこれらのシステムのユーザビリティと採用が制限される。
幻覚の出現を減らすために,複数の要約専門家を組み合わせ,それぞれが特定の種類のエラーをターゲットとするMixture of Factual Experts (MoFE)モデルを提案する。
我々は、強化学習(RL)を使用して専門家を訓練し、2つの事実整合性メトリクス、すなわちエンティティの重複と依存性のアークの誤差を最小限にする。
筆者らは,二つのアンサンブル戦略(ウェイトとロジット)を併用してMoFEを構築し,それらを2つの要約データセット(XSUMとCNN/DM)で評価する。
BARTモデルを用いた実験により,MoFEは標準的なROUGE測定値に顕著な性能低下を伴わずに,エンティティオーバーラップと依存性のアーク包含の両方に応じて性能を向上することが示された。
パフォーマンス改善はまた、ソースドキュメントに関する質問応答に基づく事実性評価メトリックやbertscore精度など、未認識の事実整合性メトリクスに転送される。
関連論文リスト
- FENICE: Factuality Evaluation of summarization based on Natural language
Inference and Claim Extraction [92.2477303232719]
自然言語推論とクレーム抽出(FENICE)に基づく要約のファクチュアリティ評価を提案する。
FENICEは、ソース文書内の情報と、要約から抽出されたクレームと呼ばれる一連の原子的事実との間のNLIベースのアライメントを利用する。
我々の測定基準は、事実性評価のためのデファクトベンチマークであるAGGREFACTに関する新しい技術状況を設定する。
論文 参考訳(メタデータ) (2024-03-04T17:57:18Z) - FuseMoE: Mixture-of-Experts Transformers for Fleximodal Fusion [31.252384334117792]
FuseMoEは、革新的なゲーティング機能を備えた、エキスパートの混成フレームワークである。
多様なモダリティを統合するために設計されたFuseMoEは、欠落したモダリティと不規則にサンプリングされたデータトラジェクトリのシナリオを管理するのに効果的である。
実世界でのFuseMoEの実用性は、臨床リスク予測タスクの挑戦的なセットによって検証される。
論文 参考訳(メタデータ) (2024-02-05T17:37:46Z) - AMRFact: Enhancing Summarization Factuality Evaluation with AMR-driven
Training Data Generation [63.18211192998151]
本稿では,現実的に一貫性のない要約を生成する新しいフレームワークであるAMRFactを提案する。
提案手法は, 現実的に正しい要約をAMRグラフに解析し, 否定的な例を生成するために制御された事実矛盾を注入する。
提案手法は,AggreFact-SOTAデータセットにおいて,従来のシステムよりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2023-11-16T02:56:29Z) - Divide, Conquer, and Combine: Mixture of Semantic-Independent Experts
for Zero-Shot Dialogue State Tracking [83.40120598637665]
対話状態追跡(DST)のためのゼロショット転送学習は、ドメイン内のデータを収集するコストを伴わずに、様々なタスク指向の対話ドメインを扱うのに役立つ。
既存の研究は主に一般化を強化するために、一般的なデータまたはモデルレベルの拡張方法を研究する。
我々は、見られているデータのセマンティクスを明示的に切り離す、単純で効果的な「分割、征服、結合」ソリューションを提案する。
論文 参考訳(メタデータ) (2023-06-01T08:21:20Z) - Uncertain Facial Expression Recognition via Multi-task Assisted
Correction [43.02119884581332]
MTACと呼ばれる不確実な表情認識に対処するためのマルチタスク支援補正法を提案する。
具体的には、信頼度推定ブロックと重み付け正則化モジュールを用いて、固体試料をハイライトし、バッチ毎に不確かさサンプルを抑圧する。
RAF-DB、AffectNet、AffWild2データセットの実験は、MTACが合成および実際の不確実性に直面した際のベースラインよりも大幅に改善されていることを示した。
論文 参考訳(メタデータ) (2022-12-14T10:28:08Z) - Evaluating and Improving Factuality in Multimodal Abstractive
Summarization [91.46015013816083]
そこで我々は,CLIPBERTScoreを提案する。
ゼロショットにおけるこの2つの指標の単純な組み合わせは、文書要約のための既存の事実度指標よりも高い相関性が得られることを示す。
本分析は,CLIPBERTScoreとそのコンポーネントの信頼性と高い相関性を示す。
論文 参考訳(メタデータ) (2022-11-04T16:50:40Z) - Boosting Factorization Machines via Saliency-Guided Mixup [125.15872106335692]
我々は、MixupにインスパイアされたMixFMを紹介し、ファクトリゼーションマシン(FM)を強化するための補助的なトレーニングデータを生成する。
また、Saliency-Guided Mixup(SMFM)を利用した新しいファクトリゼーションマシンも提案した。
論文 参考訳(メタデータ) (2022-06-17T09:49:00Z) - Holistic Deep Learning [3.718942345103135]
本稿では、入力摂動、過度なパラメータ化、性能不安定といった脆弱性の課題に対処する、新しい総合的なディープラーニングフレームワークを提案する。
提案したフレームワークは、標準的なディープラーニングモデルよりも正確性、堅牢性、疎性、安定性を全面的に改善する。
論文 参考訳(メタデータ) (2021-10-29T14:46:32Z) - CLIFF: Contrastive Learning for Improving Faithfulness and Factuality in
Abstractive Summarization [6.017006996402699]
我々は、与えられた記事に忠実で事実に整合した抽象的な要約を生成することを研究する。
参照要約を正のトレーニングデータとして活用し、誤要約を負のトレーニングデータとして自動生成し、両者を区別し易い要約システムを訓練する、新しいコントラスト学習定式化を提案する。
論文 参考訳(メタデータ) (2021-09-19T20:05:21Z) - Understanding Factuality in Abstractive Summarization with FRANK: A
Benchmark for Factuality Metrics [17.677637487977208]
現代の要約モデルは、高度に流れるが、実際には信頼できない出力を生成する。
一般的なベンチマークがないため、自動生成したサマリーの事実性を測定するためのメトリクスを比較することはできない。
我々は,事実誤りの類型を考案し,それを用いて,最先端の要約システムから生成された要約の人間のアノテーションを収集する。
論文 参考訳(メタデータ) (2021-04-27T17:28:07Z) - Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。
我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。
実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
論文 参考訳(メタデータ) (2020-10-06T02:51:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。