論文の概要: GPT-4 Generated Narratives of Life Events using a Structured Narrative
Prompt: A Validation Study
- arxiv url: http://arxiv.org/abs/2402.05435v1
- Date: Thu, 8 Feb 2024 06:20:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 16:21:12.751174
- Title: GPT-4 Generated Narratives of Life Events using a Structured Narrative
Prompt: A Validation Study
- Title(参考訳): GPT-4 構造化ナラティブ・プロンプトを用いたライフイベントの物語生成:検証研究
- Authors: Christopher J. Lynch, Erik Jensen, Madison H. Munro, Virginia Zamponi,
Joseph Martinez, Kevin O'Brien, Brandon Feldhaus, Katherine Smith, Ann Marie
Reinhold, and Ross Gore
- Abstract要約: 我々は,OpenAIのGPT-4を用いて,ゼロショット構造化された物語プロンプトを用いて24,000の物語を生成する。
このデータセットから、2,880の物語を手動で分類し、出生、死亡、雇用、解雇の妥当性を評価する。
我々は分析を拡張し、残りの21,120の物語の分類を予測する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) play a pivotal role in generating vast arrays of
narratives, facilitating a systematic exploration of their effectiveness for
communicating life events in narrative form. In this study, we employ a
zero-shot structured narrative prompt to generate 24,000 narratives using
OpenAI's GPT-4. From this dataset, we manually classify 2,880 narratives and
evaluate their validity in conveying birth, death, hiring, and firing events.
Remarkably, 87.43% of the narratives sufficiently convey the intention of the
structured prompt. To automate the identification of valid and invalid
narratives, we train and validate nine Machine Learning models on the
classified datasets. Leveraging these models, we extend our analysis to predict
the classifications of the remaining 21,120 narratives. All the ML models
excelled at classifying valid narratives as valid, but experienced challenges
at simultaneously classifying invalid narratives as invalid. Our findings not
only advance the study of LLM capabilities, limitations, and validity but also
offer practical insights for narrative generation and natural language
processing applications.
- Abstract(参考訳): 大規模な言語モデル(llm)は、物語の膨大な配列を生成する上で重要な役割を果たす。
本研究では,openaiのgpt-4を用いて,ゼロショットの構造化物語プロンプトを用いて24,000の物語を生成する。
このデータセットから、2,880の物語を手動で分類し、出生、死亡、雇用、解雇の妥当性を評価する。
注目すべきは、物語の87.43%が構造化されたプロンプトの意図を十分に伝えることである。
有効かつ無効な物語の識別を自動化するため、分類データセット上で9つの機械学習モデルをトレーニングし、検証する。
これらのモデルを活用することで,21,120の物語の分類を予測できる。
全てのMLモデルは有効な物語を有効に分類するのに優れていたが、無効な物語を無効に分類すると同時に課題を経験した。
本研究は, LLMの能力, 限界, 妥当性の研究を前進させるだけでなく, 物語生成や自然言語処理の実用化にも有効である。
関連論文リスト
- Using large language models to study human memory for meaningful
narratives [0.0]
言語モデルは,人間の記憶を有意義な材料として研究するための科学的手段として利用できることを示す。
我々は,多数の参加者とともにオンライン記憶実験を行い,異なる長さの物語の認識・記憶データを収集した。
記憶における物語理解の役割を解明するために,提示された物語のスクランブル版を用いて,これらの実験を繰り返した。
論文 参考訳(メタデータ) (2023-11-08T15:11:57Z) - Enhancing Argument Structure Extraction with Efficient Leverage of
Contextual Information [79.06082391992545]
本稿では,コンテキスト情報を完全に活用する効率的なコンテキスト認識モデル(ECASE)を提案する。
文脈情報や議論情報を集約するために,シーケンスアテンションモジュールと距離重み付き類似度損失を導入する。
各種ドメインの5つのデータセットに対する実験により,我々のモデルが最先端の性能を達成することを示す。
論文 参考訳(メタデータ) (2023-10-08T08:47:10Z) - Prompt, Condition, and Generate: Classification of Unsupported Claims
with In-Context Learning [5.893124686141782]
我々は,詳細な議論に焦点をあて,可算な物語の集合を蒸留する新たな課題を定式化する。
本稿では,120k以上の議論,主張,異質な情報源からのコメントを含む12の論争的トピックをクラウドソースで収集し,それぞれに物語ラベルを付加した。
提案手法は,物語分類モデルの性能向上に有効であることを示す。
論文 参考訳(メタデータ) (2023-09-19T06:42:37Z) - Discovering collective narratives shifts in online discussions [3.6231158294409482]
本稿では,変化点検出,意味的役割ラベリング(SRL),物語の断片を物語ネットワークに自動集約することで,ギャップを埋める体系的な物語発見フレームワークを提案する。
我々は、新型コロナウイルスと2017年のフランス大統領選に関する2つのTwitterコーパスを合成および実証データで評価した。
以上の結果から,本手法は主要な出来事に対応する大きな物語シフトを回復できることが示された。
論文 参考訳(メタデータ) (2023-07-17T15:00:04Z) - Text Classification via Large Language Models [63.1874290788797]
テキスト分類に関わる複雑な言語現象に対処するために、Clue And Reasoning Prompting (CARP)を導入する。
注目すべきは、CARPが5つの広く使用されているテキスト分類ベンチマークのうち4つで新しいSOTAパフォーマンスを得ることだ。
さらに重要なのは、CARPが低リソースとドメイン適応のセットアップで素晴らしい能力を提供します。
論文 参考訳(メタデータ) (2023-05-15T06:24:45Z) - NarraSum: A Large-Scale Dataset for Abstractive Narrative Summarization [26.80378373420446]
NarraSumは大規模な物語要約データセットである。
これには122Kの物語文書が含まれており、様々なジャンルの映画やテレビドラマのプロット記述や、それに対応する抽象的な要約から集められている。
実験の結果,NarraSumにおける人間と最先端の要約モデルの間には大きなパフォーマンスギャップがあることが判明した。
論文 参考訳(メタデータ) (2022-12-02T22:51:51Z) - Robust Preference Learning for Storytelling via Contrastive
Reinforcement Learning [53.92465205531759]
制御された自動ストーリ生成は、自然言語批判や嗜好から制約を満たす自然言語ストーリを生成することを目指している。
対照的なバイエンコーダモデルをトレーニングし、ストーリーを人間の批評と整合させ、汎用的な嗜好モデルを構築する。
我々はさらに、ストーリー生成の堅牢性を高めるために、プロンプトラーニング技術を用いて、対照的な報酬モデルを微調整する。
論文 参考訳(メタデータ) (2022-10-14T13:21:33Z) - Paragraph-level Commonsense Transformers with Recurrent Memory [77.4133779538797]
物語からコヒーレントなコモンセンス推論を生成するために,段落レベルの情報を含む談話認識モデルを訓練する。
以上の結果から,PARA-COMETは文レベルのベースライン,特にコヒーレントかつ新規な推論に優れていた。
論文 参考訳(メタデータ) (2020-10-04T05:24:12Z) - Exploring aspects of similarity between spoken personal narratives by
disentangling them into narrative clause types [13.350982138577038]
本稿では,594本の映像から10,296の物語節を含む実世界の音声物語のコーパスを紹介する。
第2に,非ナラティブな専門家に,ラボフの社会言語的個人的物語モデルの下で,これらの節に注釈を付けるよう依頼する。
第3に、最上位の節に対して84.7%のFスコアに達する分類器を訓練する。
我々のアプローチは、個人の物語を研究または表現することを目的とした機械学習の手法を情報提供することを目的としている。
論文 参考訳(メタデータ) (2020-05-26T14:34:07Z) - PlotMachines: Outline-Conditioned Generation with Dynamic Plot State
Tracking [128.76063992147016]
PlotMachinesは、動的プロット状態を追跡することによってアウトラインをコヒーレントなストーリーに変換することを学習する、ニューラルな物語モデルである。
さらに,PlotMachinesを高レベルな談話構造で強化し,モデルが物語の異なる部分に対応する筆記スタイルを学習できるようにした。
論文 参考訳(メタデータ) (2020-04-30T17:16:31Z) - Temporal Embeddings and Transformer Models for Narrative Text
Understanding [72.88083067388155]
キャラクタ関係モデリングのための物語テキスト理解のための2つのアプローチを提案する。
これらの関係の時間的進化は動的単語埋め込みによって説明され、時間とともに意味的変化を学ぶように設計されている。
最新の変換器モデルBERTに基づく教師付き学習手法を用いて文字間の静的な関係を検出する。
論文 参考訳(メタデータ) (2020-03-19T14:23:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。