論文の概要: GPT-4 Generated Narratives of Life Events using a Structured Narrative Prompt: A Validation Study

• arxiv url: http://arxiv.org/abs/2402.05435v1
• Date: Thu, 8 Feb 2024 06:20:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 16:21:12.751174
• Title: GPT-4 Generated Narratives of Life Events using a Structured Narrative Prompt: A Validation Study
• Title（参考訳）: GPT-4 構造化ナラティブ・プロンプトを用いたライフイベントの物語生成:検証研究
• Authors: Christopher J. Lynch, Erik Jensen, Madison H. Munro, Virginia Zamponi, Joseph Martinez, Kevin O'Brien, Brandon Feldhaus, Katherine Smith, Ann Marie Reinhold, and Ross Gore
• Abstract要約: 我々は,OpenAIのGPT-4を用いて,ゼロショット構造化された物語プロンプトを用いて24,000の物語を生成する。 このデータセットから、2,880の物語を手動で分類し、出生、死亡、雇用、解雇の妥当性を評価する。 我々は分析を拡張し、残りの21,120の物語の分類を予測する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) play a pivotal role in generating vast arrays of narratives, facilitating a systematic exploration of their effectiveness for communicating life events in narrative form. In this study, we employ a zero-shot structured narrative prompt to generate 24,000 narratives using OpenAI's GPT-4. From this dataset, we manually classify 2,880 narratives and evaluate their validity in conveying birth, death, hiring, and firing events. Remarkably, 87.43% of the narratives sufficiently convey the intention of the structured prompt. To automate the identification of valid and invalid narratives, we train and validate nine Machine Learning models on the classified datasets. Leveraging these models, we extend our analysis to predict the classifications of the remaining 21,120 narratives. All the ML models excelled at classifying valid narratives as valid, but experienced challenges at simultaneously classifying invalid narratives as invalid. Our findings not only advance the study of LLM capabilities, limitations, and validity but also offer practical insights for narrative generation and natural language processing applications.
• Abstract（参考訳）: 大規模な言語モデル(llm)は、物語の膨大な配列を生成する上で重要な役割を果たす。 本研究では,openaiのgpt-4を用いて,ゼロショットの構造化物語プロンプトを用いて24,000の物語を生成する。 このデータセットから、2,880の物語を手動で分類し、出生、死亡、雇用、解雇の妥当性を評価する。 注目すべきは、物語の87.43%が構造化されたプロンプトの意図を十分に伝えることである。 有効かつ無効な物語の識別を自動化するため、分類データセット上で9つの機械学習モデルをトレーニングし、検証する。 これらのモデルを活用することで,21,120の物語の分類を予測できる。 全てのMLモデルは有効な物語を有効に分類するのに優れていたが、無効な物語を無効に分類すると同時に課題を経験した。 本研究は, LLMの能力, 限界, 妥当性の研究を前進させるだけでなく, 物語生成や自然言語処理の実用化にも有効である。

関連論文リスト

• Failure Modes of LLMs for Causal Reasoning on Narratives [51.19592551510628]
  本研究では,大言語モデル(LLM)の因果推論能力について,物語から因果関係を推定する代表的な問題から検討する。 最新の言語モデルでさえ、物語の提示とパラメトリック知識の両方において、信頼できないショートカットに依存していることがわかった。
  論文  参考訳（メタデータ） (2024-10-31T12:48:58Z)
• Causal Micro-Narratives [62.47217054314046]
  テキストから因果マイクロナラティブを分類する新しい手法を提案する。 これらの物語は、対象対象の因果関係と/または効果の文レベルの説明である。
  論文  参考訳（メタデータ） (2024-10-07T17:55:10Z)
• Mapping News Narratives Using LLMs and Narrative-Structured Text Embeddings [0.0]
  構造主義言語理論に基づく数値的物語表現を導入する。 オープンソースLLMを用いてアクタントを抽出し,それをナラティブ構造化テキスト埋め込みに統合する。 本稿では,イスラエル・パレスチナ紛争に関するアル・ジャジーラとワシントン・ポストの新聞記事5000件を例に,本手法の分析的考察を紹介する。
  論文  参考訳（メタデータ） (2024-09-10T14:15:30Z)
• Are Large Language Models Capable of Generating Human-Level Narratives? [114.34140090869175]
  本稿ではストーリーテリングにおけるLLMの能力について考察し,物語の展開とプロットの進行に着目した。 本稿では,3つの談話レベルの側面から物語を分析するための新しい計算フレームワークを提案する。 談話機能の明示的な統合は、ニューラルストーリーテリングの40%以上の改善によって示されるように、ストーリーテリングを促進することができることを示す。
  論文  参考訳（メタデータ） (2024-07-18T08:02:49Z)
• Large-scale study of human memory for meaningful narratives [0.0]
  本研究では,大規模リコールおよび認識メモリ実験のための自然言語モデル(LLM)を用いて,自然主義的物語刺激を設計するパイプラインを開発する。 我々は,多数の参加者とともにオンライン記憶実験を行い,異なるサイズの物語の認識・記憶データを収集した。
  論文  参考訳（メタデータ） (2023-11-08T15:11:57Z)
• Prompt, Condition, and Generate: Classification of Unsupported Claims with In-Context Learning [5.893124686141782]
  我々は,詳細な議論に焦点をあて,可算な物語の集合を蒸留する新たな課題を定式化する。 本稿では,120k以上の議論,主張,異質な情報源からのコメントを含む12の論争的トピックをクラウドソースで収集し,それぞれに物語ラベルを付加した。 提案手法は,物語分類モデルの性能向上に有効であることを示す。
  論文  参考訳（メタデータ） (2023-09-19T06:42:37Z)
• Text Classification via Large Language Models [63.1874290788797]
  テキスト分類に関わる複雑な言語現象に対処するために、Clue And Reasoning Prompting (CARP)を導入する。 注目すべきは、CARPが5つの広く使用されているテキスト分類ベンチマークのうち4つで新しいSOTAパフォーマンスを得ることだ。 さらに重要なのは、CARPが低リソースとドメイン適応のセットアップで素晴らしい能力を提供します。
  論文  参考訳（メタデータ） (2023-05-15T06:24:45Z)
• Paragraph-level Commonsense Transformers with Recurrent Memory [77.4133779538797]
  物語からコヒーレントなコモンセンス推論を生成するために,段落レベルの情報を含む談話認識モデルを訓練する。 以上の結果から,PARA-COMETは文レベルのベースライン,特にコヒーレントかつ新規な推論に優れていた。
  論文  参考訳（メタデータ） (2020-10-04T05:24:12Z)
• Exploring aspects of similarity between spoken personal narratives by disentangling them into narrative clause types [13.350982138577038]
  本稿では,594本の映像から10,296の物語節を含む実世界の音声物語のコーパスを紹介する。 第2に,非ナラティブな専門家に,ラボフの社会言語的個人的物語モデルの下で,これらの節に注釈を付けるよう依頼する。 第3に、最上位の節に対して84.7%のFスコアに達する分類器を訓練する。 我々のアプローチは、個人の物語を研究または表現することを目的とした機械学習の手法を情報提供することを目的としている。
  論文  参考訳（メタデータ） (2020-05-26T14:34:07Z)
• Temporal Embeddings and Transformer Models for Narrative Text Understanding [72.88083067388155]
  キャラクタ関係モデリングのための物語テキスト理解のための2つのアプローチを提案する。 これらの関係の時間的進化は動的単語埋め込みによって説明され、時間とともに意味的変化を学ぶように設計されている。 最新の変換器モデルBERTに基づく教師付き学習手法を用いて文字間の静的な関係を検出する。
  論文  参考訳（メタデータ） (2020-03-19T14:23:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。