論文の概要: STORIUM: A Dataset and Evaluation Platform for Machine-in-the-Loop Story Generation

• arxiv url: http://arxiv.org/abs/2010.01717v1
• Date: Sun, 4 Oct 2020 23:26:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 03:58:59.088796
• Title: STORIUM: A Dataset and Evaluation Platform for Machine-in-the-Loop Story Generation
• Title（参考訳）: storium: ループ内マシン生成のためのデータセットと評価プラットフォーム
• Authors: Nader Akoury, Shufan Wang, Josh Whiting, Stephen Hood, Nanyun Peng, Mohit Iyyer
• Abstract要約: 我々は、オンラインのコラボレーティブなストーリーテリングコミュニティであるSTORiumから構築されたデータセットと評価プラットフォームを紹介した。 データセットには6Kの長編記事と、各物語に散在する詳細な自然言語アノテーションが含まれています。 我々は、STORiumにそれらを統合することで、データセット上で微調整された言語モデルを評価し、実際の著者は提案されたストーリーの継続をモデルに問い合わせ、編集することができる。
• 参考スコア（独自算出の注目度）: 48.56586847883825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Systems for story generation are asked to produce plausible and enjoyable stories given an input context. This task is underspecified, as a vast number of diverse stories can originate from a single input. The large output space makes it difficult to build and evaluate story generation models, as (1) existing datasets lack rich enough contexts to meaningfully guide models, and (2) existing evaluations (both crowdsourced and automatic) are unreliable for assessing long-form creative text. To address these issues, we introduce a dataset and evaluation platform built from STORIUM, an online collaborative storytelling community. Our author-generated dataset contains 6K lengthy stories (125M tokens) with fine-grained natural language annotations (e.g., character goals and attributes) interspersed throughout each narrative, forming a robust source for guiding models. We evaluate language models fine-tuned on our dataset by integrating them onto STORIUM, where real authors can query a model for suggested story continuations and then edit them. Automatic metrics computed over these edits correlate well with both user ratings of generated stories and qualitative feedback from semi-structured user interviews. We release both the STORIUM dataset and evaluation platform to spur more principled research into story generation.
• Abstract（参考訳）: ストーリー生成システムには、入力コンテキストが与えられた可塑性で楽しいストーリーを生成するよう求められる。 このタスクは、多数の多様なストーリーが単一のインプットから生まれうるため、不特定である。 大規模なアウトプット空間はストーリー生成モデルの構築と評価を困難にしており、(1)既存のデータセットには有意義なモデルを導くのに十分なコンテキストが欠けており、(2)既存の評価(クラウドソースと自動)は長期の創造的なテキストの評価には信頼できない。 これらの課題に対処するために、オンラインのコラボレーティブなストーリーテリングコミュニティであるSTORiumから構築されたデータセットと評価プラットフォームを導入する。 著者が作成したデータセットは6Kの長大なストーリー(125Mトークン)を含み、各物語全体にわたって微粒な自然言語アノテーション(例えば、キャラクタのゴールと属性)が散在し、モデルを導くための堅牢な情報源を形成しています。 我々は、STORiumにそれらを統合することで、データセット上で微調整された言語モデルを評価し、実際の著者は提案されたストーリーの継続をモデルに問い合わせ、編集することができる。 これらの編集で計算された自動メトリクスは、生成したストーリーのユーザ評価と、半構造化されたユーザーインタビューからの質的フィードバックの両方とよく相関する。 我々はSTORiumデータセットと評価プラットフォームを共にリリースし、ストーリー生成に関するより原則的な研究を促します。

関連論文リスト

• DataNarrative: Automated Data-Driven Storytelling with Visualizations and Texts [27.218934418961197]
  データストーリ生成のための新しいタスクと,さまざまなソースから1,449のストーリを含むベンチマークを導入する。 2つのLLMエージェントを用いたマルチエージェントフレームワークを提案する。 我々のエージェント・フレームワークは一般的にモデルベースと人的評価の両方において非エージェント・フレームワークよりも優れていますが、結果はデータ・ストーリー・ジェネレーションにおけるユニークな課題を明らかにします。
  論文  参考訳（メタデータ） (2024-08-09T21:31:33Z)
• Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
  大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。 我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
  論文  参考訳（メタデータ） (2024-05-31T20:15:10Z)
• Triples-to-isiXhosa (T2X): Addressing the Challenges of Low-Resource Agglutinative Data-to-Text Generation [9.80836683456026]
  我々は,低リソースかつ凝集性の高いisiXhosaのデータ・トゥ・テキストに取り組む。 我々はWebNLGのサブセットに基づいた新しいデータセットであるTriples-to-isiXhosa (T2X)を紹介する。 本研究では,T2X の評価フレームワークを開発し,データ記述の精度を計測する。
  論文  参考訳（メタデータ） (2024-03-12T11:53:27Z)
• Robust Preference Learning for Storytelling via Contrastive Reinforcement Learning [53.92465205531759]
  制御された自動ストーリ生成は、自然言語批判や嗜好から制約を満たす自然言語ストーリを生成することを目指している。 対照的なバイエンコーダモデルをトレーニングし、ストーリーを人間の批評と整合させ、汎用的な嗜好モデルを構築する。 我々はさらに、ストーリー生成の堅牢性を高めるために、プロンプトラーニング技術を用いて、対照的な報酬モデルを微調整する。
  論文  参考訳（メタデータ） (2022-10-14T13:21:33Z)
• Unsupervised Neural Stylistic Text Generation using Transfer learning and Adapters [66.17039929803933]
  応答生成のためのスタイル特化属性を学習するために,モデルパラメータの0.3%しか更新しない新しい転送学習フレームワークを提案する。 我々はPERSONALITY-CAPTIONSデータセットからスタイル固有の属性を学習する。
  論文  参考訳（メタデータ） (2022-10-07T00:09:22Z)
• SummScreen: A Dataset for Abstractive Screenplay Summarization [52.56760815805357]
  SummScreenは、テレビシリーズトランスクリプトと人間の書かれたリキャップのペアで構成されたデータセットです。 プロットの詳細はしばしば文字対話で間接的に表現され、書き起こしの全体にわたって散らばることがある。 キャラクタはテレビシリーズの基本であるため,2つのエンティティ中心評価指標も提案する。
  論文  参考訳（メタデータ） (2021-04-14T19:37:40Z)
• Outline to Story: Fine-grained Controllable Story Generation from Cascaded Events [39.577220559911055]
  長文のきめ細かい制御が可能な生成のためのテストベッドとして,"Outline to Story" (O2S) という新しいタスクを提案する。 次に、最新のキーワード抽出技術で構築された将来のベンチマーク用のデータセットを作成します。
  論文  参考訳（メタデータ） (2021-01-04T08:16:21Z)
• Cue Me In: Content-Inducing Approaches to Interactive Story Generation [74.09575609958743]
  本研究では,対話型物語生成の課題に焦点をあてる。 本稿では、この追加情報を効果的に活用するための2つのコンテンツ誘導手法を提案する。 自動評価と人的評価の両方による実験結果から,これらの手法がよりトポロジ的な一貫性とパーソナライズされたストーリーを生み出すことが示された。
  論文  参考訳（メタデータ） (2020-10-20T00:36:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。