論文の概要: Fabula Entropy Indexing: Objective Measures of Story Coherence
- arxiv url: http://arxiv.org/abs/2104.07472v2
- Date: Tue, 26 Oct 2021 16:40:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-07 01:47:13.580782
- Title: Fabula Entropy Indexing: Objective Measures of Story Coherence
- Title（参考訳）: Fabula Entropy Indexing: ストーリーコヒーレンスの客観的尺度
- Authors: Louis Castricato, Spencer Frazier, Jonathan Balloch, Mark Riedl
- Abstract要約: 本稿では,ストーリーコヒーレンスを評価するための評価手法であるFabula Entropy Indexing(FEI)を提案する。
FEIは、ストーリーに関する真偽の質問に答えるときに、人間の参加者が互いに同意する度合いを測定します。
エントロピー指標がストーリーコヒーレンスを信頼できる客観的尺度を提供することを示す。
- 参考スコア（独自算出の注目度）: 7.293053431456775
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated story generation remains a difficult area of research because it
lacks strong objective measures. Generated stories may be linguistically sound,
but in many cases suffer poor narrative coherence required for a compelling,
logically-sound story. To address this, we present Fabula Entropy Indexing
(FEI), an evaluation method to assess story coherence by measuring the degree
to which human participants agree with each other when answering true/false
questions about stories. We devise two theoretically grounded measures of
reader question-answering entropy, the entropy of world coherence (EWC), and
the entropy of transitional coherence (ETC), focusing on global and local
coherence, respectively. We evaluate these metrics by testing them on
human-written stories and comparing against the same stories that have been
corrupted to introduce incoherencies. We show that in these controlled studies,
our entropy indices provide a reliable objective measure of story coherence.
- Abstract（参考訳）: ストーリーの自動生成は、強力な客観的尺度が欠けているため、研究の難しい領域である。
生成したストーリーは言語的に健全であるが、多くの場合、説得力があり論理的に健全なストーリーに必要な物語の一貫性が不十分である。
そこで本研究では,物語に関する真偽の質問に答える際に,人間の同意度を測定し,ストーリーコヒーレンスを評価するための評価手法であるFabula Entropy Indexing(FEI)を提案する。
本研究では,読者の質問応答エントロピー,世界コヒーレンスエントロピー(ewc),遷移コヒーレンスエントロピー(etc)の2つの理論的根拠を,それぞれ大域コヒーレンスと局所コヒーレンスに焦点をあてて考案する。
我々は、これらの指標を人書きのストーリーでテストし、不整合を導入するために腐敗したストーリーと比較することで評価する。
これらの制御された研究において,私たちのエントロピー指標は,ストーリーコヒーレンスの信頼性の高い客観的尺度を提供することを示す。
関連論文リスト
- Causal Micro-Narratives [62.47217054314046]
テキストから因果マイクロナラティブを分類する新しい手法を提案する。
これらの物語は、対象対象の因果関係と/または効果の文レベルの説明である。
論文 参考訳（メタデータ） (2024-10-07T17:55:10Z) - What Makes a Good Story and How Can We Measure It? A Comprehensive Survey of Story Evaluation [57.550045763103334]
ストーリーを評価することは、他の世代の評価タスクよりも難しい場合があります。
まず、テキスト・トゥ・テキスト、ビジュアル・トゥ・テキスト、テキスト・トゥ・ビジュアルといった既存のストーリーテリングタスクを要約する。
本研究では,これまで開発されてきた,あるいはストーリー評価に応用可能な評価指標を整理する分類法を提案する。
論文 参考訳（メタデータ） (2024-08-26T20:35:42Z) - Measuring Psychological Depth in Language Models [50.48914935872879]
本稿では,文学理論に根ざした新たな枠組みである心理的深度尺度(PDS)を紹介する。
PDS(0.72 クリッペンドルフのα)に基づいて人間が一貫して物語を評価できることを示し、我々の枠組みを実証的に検証する。
驚いたことに、GPT-4のストーリーはRedditから入手した高評価の人文記事と統計的に区別できない。
論文 参考訳（メタデータ） (2024-06-18T14:51:54Z) - CoheSentia: A Novel Benchmark of Incremental versus Holistic Assessment
of Coherence in Generated Texts [15.866519123942457]
自動生成テキストの人間知覚コヒーレンスに関する新しいベンチマークである sc CoheSentia を紹介する。
我々のベンチマークには、自動生成および人称注釈付き500の段落が含まれており、それぞれが両方の方法で注釈付けされている。
解析の結果,インクリメンタルモードにおけるアノテータ間の合意は,総合的な代替よりも高いことがわかった。
論文 参考訳（メタデータ） (2023-10-25T03:21:20Z) - DeltaScore: Fine-Grained Story Evaluation with Perturbations [69.33536214124878]
DELTASCOREは,ニュアンスストーリーの側面の評価に摂動技術を用いた新しい手法である。
私たちの中心的な命題は、物語が特定の側面(例えば、流感)で興奮する程度は、特定の摂動に対するその感受性の大きさと相関している、と仮定している。
事前学習言語モデルを用いて,前摂動状態と後摂動状態の確率差を計算することにより,アスペクトの品質を測定する。
論文 参考訳（メタデータ） (2023-03-15T23:45:54Z) - Consistency and Coherency Enhanced Story Generation [35.08911595854691]
生成したストーリーの一貫性と一貫性を高めるための2段階生成フレームワークを提案する。
第1段は物語の筋書きや出来事を描いた物語の輪郭を整理し、第2段は完全な物語へと輪郭を広げることである。
さらに、コア参照監視信号は、コア参照エラーを低減し、コア参照一貫性を向上させるために組み込まれている。
論文 参考訳（メタデータ） (2020-10-17T16:40:37Z) - Paragraph-level Commonsense Transformers with Recurrent Memory [77.4133779538797]
物語からコヒーレントなコモンセンス推論を生成するために,段落レベルの情報を含む談話認識モデルを訓練する。
以上の結果から,PARA-COMETは文レベルのベースライン,特にコヒーレントかつ新規な推論に優れていた。
論文 参考訳（メタデータ） (2020-10-04T05:24:12Z) - UNION: An Unreferenced Metric for Evaluating Open-ended Story Generation [92.42032403795879]
UNIONは、オープンなストーリー生成を評価するための、学習可能な未参照メトリックである。
人書きストーリーとネガティブなサンプルを区別し、ネガティブなストーリーの摂動を回復するように訓練されている。
2つのストーリーデータセットの実験では、UNIONが生成されたストーリーの品質を評価するための信頼性の高い尺度であることが示されている。
論文 参考訳（メタデータ） (2020-09-16T11:01:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。