論文の概要: Towards Coherent and Consistent Use of Entities in Narrative Generation
- arxiv url: http://arxiv.org/abs/2202.01709v1
- Date: Thu, 3 Feb 2022 17:19:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-04 14:16:42.505723
- Title: Towards Coherent and Consistent Use of Entities in Narrative Generation
- Title（参考訳）: 物語生成におけるエンティティの一貫性と一貫性
- Authors: Pinelopi Papalampidi, Kris Cao, Tomas Kocisky
- Abstract要約: 物語生成の最終課題に焦点をあて、生成した物語における長距離エンティティの一貫性と一貫性を分析する。
本稿では,エンティティ使用量の観点からモデル性能を測定するための,一連の自動測定指標を提案する。
次に,学習済みのLMを動的エンティティメモリでエンドツーエンドに拡張する手法を提案する。
- 参考スコア（独自算出の注目度）: 5.715103211247915
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Large pre-trained language models (LMs) have demonstrated impressive
capabilities in generating long, fluent text; however, there is little to no
analysis on their ability to maintain entity coherence and consistency. In this
work, we focus on the end task of narrative generation and systematically
analyse the long-range entity coherence and consistency in generated stories.
First, we propose a set of automatic metrics for measuring model performance in
terms of entity usage. Given these metrics, we quantify the limitations of
current LMs. Next, we propose augmenting a pre-trained LM with a dynamic entity
memory in an end-to-end manner by using an auxiliary entity-related loss for
guiding the reads and writes to the memory. We demonstrate that the dynamic
entity memory increases entity coherence according to both automatic and human
judgment and helps preserving entity-related information especially in settings
with a limited context window. Finally, we also validate that our automatic
metrics are correlated with human ratings and serve as a good indicator of the
quality of generated stories.
- Abstract（参考訳）: 大規模な事前学習された言語モデル(lms)は、長く、流動的なテキストを生成する素晴らしい能力を示しているが、エンティティの一貫性と一貫性を維持する能力に関する分析はほとんどない。
本研究では,物語生成の最終課題に着目し,生成した物語における長距離エンティティの一貫性と一貫性を体系的に解析する。
まず、エンティティ使用量の観点からモデル性能を測定するための自動メトリクスセットを提案する。
これらの指標から、現在のLMの限界を定量化する。
次に,メモリへの読み込みと書き込みを誘導する補助エンティティ関連損失を用いて,動的エンティティメモリで事前学習したlmをエンドツーエンドで拡張することを提案する。
動的エンティティメモリは、自動判定と人的判定の両方に応じてエンティティコヒーレンスを増大させ、特に限られたコンテキストウィンドウの設定においてエンティティ関連情報の保存を支援する。
最後に、自動メトリクスが人間の評価と相関していることを検証するとともに、生成されたストーリーの品質の指標として役立ちます。
関連論文リスト
- BENCHAGENTS: Automated Benchmark Creation with Agent Interaction [16.4783894348333]
BENCHAGENTSは,大規模言語モデル(LLM)を体系的に活用し,複雑な機能のためのベンチマーク作成を自動化するフレームワークである。
我々は、BENCHAGENTSを用いて、テキスト生成時の計画と制約満足度に関連する機能を評価するベンチマークを作成する。
次に、これらのベンチマークを使用して、7つの最先端モデルを調査し、共通の障害モードとモデルの違いに関する新たな洞察を抽出する。
論文 参考訳（メタデータ） (2024-10-29T22:56:18Z) - Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。
我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
論文 参考訳（メタデータ） (2024-05-31T20:15:10Z) - Unleashing the Potential of Text-attributed Graphs: Automatic Relation Decomposition via Large Language Models [31.443478448031886]
RoSE (Relation-oriented Semantic Edge-Decomposition) は、生のテキスト属性を分析してグラフ構造を分解する新しいフレームワークである。
我々のフレームワークは、さまざまなデータセットのノード分類性能を大幅に向上させ、ウィスコンシンデータセットでは最大16%の改善を実現した。
論文 参考訳（メタデータ） (2024-05-28T20:54:47Z) - Unlocking Structure Measuring: Introducing PDD, an Automatic Metric for Positional Discourse Coherence [39.065349875944634]
本稿では,2つの長文間の談話の相違を定量化する手法を提案する。
ヒトの嗜好やGPT-4のコヒーレンス評価とより密接に一致し,既存の評価方法よりも優れていた。
論文 参考訳（メタデータ） (2024-02-15T18:23:39Z) - Learning to Extract Structured Entities Using Language Models [52.281701191329]
機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。
タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。
我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
論文 参考訳（メタデータ） (2024-02-06T22:15:09Z) - Coherent Entity Disambiguation via Modeling Topic and Categorical
Dependency [87.16283281290053]
従来のエンティティ曖昧化(ED)メソッドは、参照コンテキストと候補エンティティの一致するスコアに基づいて予測を行う、識別パラダイムを採用している。
本稿では,エンティティ予測のコヒーレンス向上を目的とした新しいデザインを備えたEDシステムであるCoherentedを提案する。
我々は、人気EDベンチマークにおいて、平均1.3F1ポイントの改善により、最先端の新たな結果を得る。
論文 参考訳（メタデータ） (2023-11-06T16:40:13Z) - Evaluation of Faithfulness Using the Longest Supported Subsequence [52.27522262537075]
本稿では,文脈によって支持される請求項の最長不連続性を計算し,機械生成テキストの忠実さを評価する新しい手法を提案する。
新しい人間アノテーション付きデータセットを使用して、モデルを微調整してLongest Supported Subsequence(LSS)を生成する。
提案手法は,我々のデータセットの忠実度に対する最先端のメトリクスよりも18%向上していることを示す。
論文 参考訳（メタデータ） (2023-08-23T14:18:44Z) - NLG Evaluation Metrics Beyond Correlation Analysis: An Empirical Metric
Preference Checklist [20.448405494617397]
Perplexity、BLEU、BERTScoreといったタスクに依存しないメトリクスは費用対効果が高く、多様なNLGタスクに適応できる。
ヒューマンアライメントメトリクス(CTC、CtrlEval、UniEval)は、望ましい人間的な品質をトレーニング目的として取り入れることで、相関レベルを改善する。
テキスト要約および制御生成タスクにおいて,システムレベルの性能を識別する上で,自動メトリクスが人間よりも優れたガイダンスを提供することを示す。
論文 参考訳（メタデータ） (2023-05-15T11:51:55Z) - Towards Interpretable and Efficient Automatic Reference-Based
Summarization Evaluation [160.07938471250048]
解釈可能性と効率性は、ニューラル自動メトリクスを採用する上で重要な2つの考慮事項である。
我々は,参照ベース要約評価のための高性能自動メトリクスを開発する。
論文 参考訳（メタデータ） (2023-03-07T02:49:50Z) - Evaluation of Latent Space Disentanglement in the Presence of
Interdependent Attributes [78.8942067357231]
深層生成モデルによる制御可能な音楽生成は, ゆがみ学習技術にますます依存している。
セマンティック属性間の固有関係を考慮に入れたMIGのドロップイン代替として,依存性を考慮した情報メトリクスを提案する。
論文 参考訳（メタデータ） (2021-10-11T20:01:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。