論文の概要: Fabula Entropy Indexing: Objective Measures of Story Coherence
- arxiv url: http://arxiv.org/abs/2104.07472v2
- Date: Tue, 26 Oct 2021 16:40:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-07 01:47:13.580782
- Title: Fabula Entropy Indexing: Objective Measures of Story Coherence
- Title(参考訳): Fabula Entropy Indexing: ストーリーコヒーレンスの客観的尺度
- Authors: Louis Castricato, Spencer Frazier, Jonathan Balloch, Mark Riedl
- Abstract要約: 本稿では,ストーリーコヒーレンスを評価するための評価手法であるFabula Entropy Indexing(FEI)を提案する。
FEIは、ストーリーに関する真偽の質問に答えるときに、人間の参加者が互いに同意する度合いを測定します。
エントロピー指標がストーリーコヒーレンスを信頼できる客観的尺度を提供することを示す。
- 参考スコア(独自算出の注目度): 7.293053431456775
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated story generation remains a difficult area of research because it
lacks strong objective measures. Generated stories may be linguistically sound,
but in many cases suffer poor narrative coherence required for a compelling,
logically-sound story. To address this, we present Fabula Entropy Indexing
(FEI), an evaluation method to assess story coherence by measuring the degree
to which human participants agree with each other when answering true/false
questions about stories. We devise two theoretically grounded measures of
reader question-answering entropy, the entropy of world coherence (EWC), and
the entropy of transitional coherence (ETC), focusing on global and local
coherence, respectively. We evaluate these metrics by testing them on
human-written stories and comparing against the same stories that have been
corrupted to introduce incoherencies. We show that in these controlled studies,
our entropy indices provide a reliable objective measure of story coherence.
- Abstract(参考訳): ストーリーの自動生成は、強力な客観的尺度が欠けているため、研究の難しい領域である。
生成したストーリーは言語的に健全であるが、多くの場合、説得力があり論理的に健全なストーリーに必要な物語の一貫性が不十分である。
そこで本研究では,物語に関する真偽の質問に答える際に,人間の同意度を測定し,ストーリーコヒーレンスを評価するための評価手法であるFabula Entropy Indexing(FEI)を提案する。
本研究では,読者の質問応答エントロピー,世界コヒーレンスエントロピー(ewc),遷移コヒーレンスエントロピー(etc)の2つの理論的根拠を,それぞれ大域コヒーレンスと局所コヒーレンスに焦点をあてて考案する。
我々は、これらの指標を人書きのストーリーでテストし、不整合を導入するために腐敗したストーリーと比較することで評価する。
これらの制御された研究において,私たちのエントロピー指標は,ストーリーコヒーレンスの信頼性の高い客観的尺度を提供することを示す。
関連論文リスト
- Graph Representation of Narrative Context: Coherence Dependency via
Retrospective Questions [52.639576570257404]
NARCOと呼ばれる物語にグラフを定式化し、コンテキスト全体のタスク非依存のコヒーレンス依存性を記述する。
本稿では,その実用性について3つの研究を行い,リキャップ識別によるエッジの有効性,プロット検索によるローカルコンテキスト拡張,長期文書QAで実証された広範囲なアプリケーションについて検討する。
論文 参考訳(メタデータ) (2024-02-21T06:14:04Z) - CoheSentia: A Novel Benchmark of Incremental versus Holistic Assessment
of Coherence in Generated Texts [15.866519123942457]
自動生成テキストの人間知覚コヒーレンスに関する新しいベンチマークである sc CoheSentia を紹介する。
我々のベンチマークには、自動生成および人称注釈付き500の段落が含まれており、それぞれが両方の方法で注釈付けされている。
解析の結果,インクリメンタルモードにおけるアノテータ間の合意は,総合的な代替よりも高いことがわかった。
論文 参考訳(メタデータ) (2023-10-25T03:21:20Z) - DeltaScore: Fine-Grained Story Evaluation with Perturbations [69.33536214124878]
DELTASCOREは,ニュアンスストーリーの側面の評価に摂動技術を用いた新しい手法である。
私たちの中心的な命題は、物語が特定の側面(例えば、流感)で興奮する程度は、特定の摂動に対するその感受性の大きさと相関している、と仮定している。
事前学習言語モデルを用いて,前摂動状態と後摂動状態の確率差を計算することにより,アスペクトの品質を測定する。
論文 参考訳(メタデータ) (2023-03-15T23:45:54Z) - SNaC: Coherence Error Detection for Narrative Summarization [73.48220043216087]
SNaCは長文の微粒化アノテーションに根ざした物語コヒーレンス評価フレームワークである。
本稿では,生成した物語要約におけるコヒーレンスエラーの分類法を開発し,150冊の本や映画の脚本要約にまたがる6.6k文のスパンレベルアノテーションを収集する。
我々の研究は、最先端の要約モデルによって生成されるコヒーレンスエラーの最初の特徴と、群衆アノテータからコヒーレンス判断を引き出すためのプロトコルを提供する。
論文 参考訳(メタデータ) (2022-05-19T16:01:47Z) - RoViST:Learning Robust Metrics for Visual Storytelling [2.7124743347047033]
良いストーリーでどの側面を探すかを分析する3つの評価指標セットを提案する。
我々は,機械ストーリーのサンプルを用いて,人間の判断スコアとの相関を解析し,測定値の信頼性を測定する。
論文 参考訳(メタデータ) (2022-05-08T03:51:22Z) - Factual Consistency Evaluation for Text Summarization via Counterfactual
Estimation [42.63902468258758]
本稿では,テキスト要約における事実整合性を評価するための新しい指標を提案する。
我々は3つの公開抽象テキスト要約データセットについて一連の実験を行った。
論文 参考訳(メタデータ) (2021-08-30T11:48:41Z) - Consistency and Coherency Enhanced Story Generation [35.08911595854691]
生成したストーリーの一貫性と一貫性を高めるための2段階生成フレームワークを提案する。
第1段は物語の筋書きや出来事を描いた物語の輪郭を整理し、第2段は完全な物語へと輪郭を広げることである。
さらに、コア参照監視信号は、コア参照エラーを低減し、コア参照一貫性を向上させるために組み込まれている。
論文 参考訳(メタデータ) (2020-10-17T16:40:37Z) - Paragraph-level Commonsense Transformers with Recurrent Memory [77.4133779538797]
物語からコヒーレントなコモンセンス推論を生成するために,段落レベルの情報を含む談話認識モデルを訓練する。
以上の結果から,PARA-COMETは文レベルのベースライン,特にコヒーレントかつ新規な推論に優れていた。
論文 参考訳(メタデータ) (2020-10-04T05:24:12Z) - UNION: An Unreferenced Metric for Evaluating Open-ended Story Generation [92.42032403795879]
UNIONは、オープンなストーリー生成を評価するための、学習可能な未参照メトリックである。
人書きストーリーとネガティブなサンプルを区別し、ネガティブなストーリーの摂動を回復するように訓練されている。
2つのストーリーデータセットの実験では、UNIONが生成されたストーリーの品質を評価するための信頼性の高い尺度であることが示されている。
論文 参考訳(メタデータ) (2020-09-16T11:01:46Z) - Narrative Interpolation for Generating and Understanding Stories [52.463747140762145]
そこで本研究では,ユーザが特定した目的語を含むコヒーレントな物語を生成するために,モデルをガイドできる物語・物語生成制御手法を提案する。
本手法の中核はGPT-2に基づく漸進的モデルであり,前文と次文を物語の中で条件付けし,そのギャップを埋める。
終末誘導世代は、与えられた終末ガイドに忠実で忠実であり、過去のアプローチよりも手作業の少ない物語を生み出すことを示す。
論文 参考訳(メタデータ) (2020-08-17T16:45:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。