論文の概要: Towards Coherent and Consistent Use of Entities in Narrative Generation
- arxiv url: http://arxiv.org/abs/2202.01709v1
- Date: Thu, 3 Feb 2022 17:19:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-04 14:16:42.505723
- Title: Towards Coherent and Consistent Use of Entities in Narrative Generation
- Title(参考訳): 物語生成におけるエンティティの一貫性と一貫性
- Authors: Pinelopi Papalampidi, Kris Cao, Tomas Kocisky
- Abstract要約: 物語生成の最終課題に焦点をあて、生成した物語における長距離エンティティの一貫性と一貫性を分析する。
本稿では,エンティティ使用量の観点からモデル性能を測定するための,一連の自動測定指標を提案する。
次に,学習済みのLMを動的エンティティメモリでエンドツーエンドに拡張する手法を提案する。
- 参考スコア(独自算出の注目度): 5.715103211247915
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Large pre-trained language models (LMs) have demonstrated impressive
capabilities in generating long, fluent text; however, there is little to no
analysis on their ability to maintain entity coherence and consistency. In this
work, we focus on the end task of narrative generation and systematically
analyse the long-range entity coherence and consistency in generated stories.
First, we propose a set of automatic metrics for measuring model performance in
terms of entity usage. Given these metrics, we quantify the limitations of
current LMs. Next, we propose augmenting a pre-trained LM with a dynamic entity
memory in an end-to-end manner by using an auxiliary entity-related loss for
guiding the reads and writes to the memory. We demonstrate that the dynamic
entity memory increases entity coherence according to both automatic and human
judgment and helps preserving entity-related information especially in settings
with a limited context window. Finally, we also validate that our automatic
metrics are correlated with human ratings and serve as a good indicator of the
quality of generated stories.
- Abstract(参考訳): 大規模な事前学習された言語モデル(lms)は、長く、流動的なテキストを生成する素晴らしい能力を示しているが、エンティティの一貫性と一貫性を維持する能力に関する分析はほとんどない。
本研究では,物語生成の最終課題に着目し,生成した物語における長距離エンティティの一貫性と一貫性を体系的に解析する。
まず、エンティティ使用量の観点からモデル性能を測定するための自動メトリクスセットを提案する。
これらの指標から、現在のLMの限界を定量化する。
次に,メモリへの読み込みと書き込みを誘導する補助エンティティ関連損失を用いて,動的エンティティメモリで事前学習したlmをエンドツーエンドで拡張することを提案する。
動的エンティティメモリは、自動判定と人的判定の両方に応じてエンティティコヒーレンスを増大させ、特に限られたコンテキストウィンドウの設定においてエンティティ関連情報の保存を支援する。
最後に、自動メトリクスが人間の評価と相関していることを検証するとともに、生成されたストーリーの品質の指標として役立ちます。
関連論文リスト
- Unlocking Structure Measuring: Introducing PDD, an Automatic Metric for
Positional Discourse Coherence [42.67608830386934]
本稿では,2つの長文間の談話の相違を定量化する手法を提案する。
ヒトの嗜好やGPT-4のコヒーレンス評価とより密接に一致し,既存の評価方法よりも優れていた。
論文 参考訳(メタデータ) (2024-02-15T18:23:39Z) - Exploiting Contextual Target Attributes for Target Sentiment
Classification [53.30511968323911]
TSCの既存のPTLMベースモデルは、1)PTLMをコンテキストエンコーダとして採用した微調整ベースモデル、2)テキスト/単語生成タスクに分類タスクを転送するプロンプトベースモデル、の2つのグループに分類される。
我々は,PTLM を TSC に活用する新たな視点として,言語モデリングと文脈的ターゲット属性による明示的ターゲットコンテキスト相互作用の利点を同時に活用する。
論文 参考訳(メタデータ) (2023-12-21T11:45:28Z) - Evaluation Metrics of Language Generation Models for Synthetic Traffic
Generation Tasks [22.629816738693254]
BLEUのような一般的なNLGメトリクスは、合成トラフィック生成(STG)の評価には適していないことを示す。
生成したトラフィックと実際のユーザテキストの分布を比較するために設計されたいくつかの指標を提案し,評価する。
論文 参考訳(メタデータ) (2023-11-21T11:26:26Z) - Coherent Entity Disambiguation via Modeling Topic and Categorical
Dependency [87.16283281290053]
従来のエンティティ曖昧化(ED)メソッドは、参照コンテキストと候補エンティティの一致するスコアに基づいて予測を行う、識別パラダイムを採用している。
本稿では,エンティティ予測のコヒーレンス向上を目的とした新しいデザインを備えたEDシステムであるCoherentedを提案する。
我々は、人気EDベンチマークにおいて、平均1.3F1ポイントの改善により、最先端の新たな結果を得る。
論文 参考訳(メタデータ) (2023-11-06T16:40:13Z) - Evaluation of Faithfulness Using the Longest Supported Subsequence [52.27522262537075]
本稿では,文脈によって支持される請求項の最長不連続性を計算し,機械生成テキストの忠実さを評価する新しい手法を提案する。
新しい人間アノテーション付きデータセットを使用して、モデルを微調整してLongest Supported Subsequence(LSS)を生成する。
提案手法は,我々のデータセットの忠実度に対する最先端のメトリクスよりも18%向上していることを示す。
論文 参考訳(メタデータ) (2023-08-23T14:18:44Z) - NLG Evaluation Metrics Beyond Correlation Analysis: An Empirical Metric
Preference Checklist [20.448405494617397]
Perplexity、BLEU、BERTScoreといったタスクに依存しないメトリクスは費用対効果が高く、多様なNLGタスクに適応できる。
ヒューマンアライメントメトリクス(CTC、CtrlEval、UniEval)は、望ましい人間的な品質をトレーニング目的として取り入れることで、相関レベルを改善する。
テキスト要約および制御生成タスクにおいて,システムレベルの性能を識別する上で,自動メトリクスが人間よりも優れたガイダンスを提供することを示す。
論文 参考訳(メタデータ) (2023-05-15T11:51:55Z) - Towards Interpretable and Efficient Automatic Reference-Based
Summarization Evaluation [160.07938471250048]
解釈可能性と効率性は、ニューラル自動メトリクスを採用する上で重要な2つの考慮事項である。
我々は,参照ベース要約評価のための高性能自動メトリクスを開発する。
論文 参考訳(メタデータ) (2023-03-07T02:49:50Z) - Evaluation of Latent Space Disentanglement in the Presence of
Interdependent Attributes [78.8942067357231]
深層生成モデルによる制御可能な音楽生成は, ゆがみ学習技術にますます依存している。
セマンティック属性間の固有関係を考慮に入れたMIGのドロップイン代替として,依存性を考慮した情報メトリクスを提案する。
論文 参考訳(メタデータ) (2021-10-11T20:01:14Z) - AutoTriggER: Label-Efficient and Robust Named Entity Recognition with
Auxiliary Trigger Extraction [54.20039200180071]
我々は,エンティティトリガの自動生成と活用によるNER性能向上のための新しいフレームワークを提案する。
筆者らのフレームワークは,ポストホックな説明を活用して合理的な知識を生成し,埋め込み手法を用いてモデルの事前知識を強化する。
AutoTriggERは強力なラベル効率を示し、目に見えないエンティティを一般化し、RoBERTa-CRFベースラインを平均0.5F1ポイント上回る性能を持つ。
論文 参考訳(メタデータ) (2021-09-10T08:11:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。