論文の概要: GPT-4 Generated Narratives of Life Events using a Structured Narrative Prompt: A Validation Study

• arxiv url: http://arxiv.org/abs/2402.05435v1
• Date: Thu, 8 Feb 2024 06:20:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 16:21:12.751174
• Title: GPT-4 Generated Narratives of Life Events using a Structured Narrative Prompt: A Validation Study
• Title（参考訳）: GPT-4 構造化ナラティブ・プロンプトを用いたライフイベントの物語生成:検証研究
• Authors: Christopher J. Lynch, Erik Jensen, Madison H. Munro, Virginia Zamponi, Joseph Martinez, Kevin O'Brien, Brandon Feldhaus, Katherine Smith, Ann Marie Reinhold, and Ross Gore
• Abstract要約: 我々は,OpenAIのGPT-4を用いて,ゼロショット構造化された物語プロンプトを用いて24,000の物語を生成する。 このデータセットから、2,880の物語を手動で分類し、出生、死亡、雇用、解雇の妥当性を評価する。 我々は分析を拡張し、残りの21,120の物語の分類を予測する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) play a pivotal role in generating vast arrays of narratives, facilitating a systematic exploration of their effectiveness for communicating life events in narrative form. In this study, we employ a zero-shot structured narrative prompt to generate 24,000 narratives using OpenAI's GPT-4. From this dataset, we manually classify 2,880 narratives and evaluate their validity in conveying birth, death, hiring, and firing events. Remarkably, 87.43% of the narratives sufficiently convey the intention of the structured prompt. To automate the identification of valid and invalid narratives, we train and validate nine Machine Learning models on the classified datasets. Leveraging these models, we extend our analysis to predict the classifications of the remaining 21,120 narratives. All the ML models excelled at classifying valid narratives as valid, but experienced challenges at simultaneously classifying invalid narratives as invalid. Our findings not only advance the study of LLM capabilities, limitations, and validity but also offer practical insights for narrative generation and natural language processing applications.
• Abstract（参考訳）: 大規模な言語モデル(llm)は、物語の膨大な配列を生成する上で重要な役割を果たす。 本研究では,openaiのgpt-4を用いて,ゼロショットの構造化物語プロンプトを用いて24,000の物語を生成する。 このデータセットから、2,880の物語を手動で分類し、出生、死亡、雇用、解雇の妥当性を評価する。 注目すべきは、物語の87.43%が構造化されたプロンプトの意図を十分に伝えることである。 有効かつ無効な物語の識別を自動化するため、分類データセット上で9つの機械学習モデルをトレーニングし、検証する。 これらのモデルを活用することで,21,120の物語の分類を予測できる。 全てのMLモデルは有効な物語を有効に分類するのに優れていたが、無効な物語を無効に分類すると同時に課題を経験した。 本研究は, LLMの能力, 限界, 妥当性の研究を前進させるだけでなく, 物語生成や自然言語処理の実用化にも有効である。

関連論文リスト

• Explingo: Explaining AI Predictions using Large Language Models [47.21393184176602]
  LLM(Large Language Models)は、説明を自然なコミュニケーションと整合する人間可読な物語形式に変換することができる。 ナレーターはMLの説明を取り入れ、それらを自然言語の説明に変換する。 グレーダーはこれらの物語を、正確性、完全性、流用性、簡潔さを含む一連の指標で評価する。 この研究の結果はオープンソースツールに統合され、さらなるアプリケーションで物語の説明が利用できるようになった。
  論文  参考訳（メタデータ） (2024-12-06T16:01:30Z)
• MLD-EA: Check and Complete Narrative Coherence by Introducing Emotions and Actions [8.06073345741722]
  感情・行動(MLD-EA)モデルを用いたミス・ロジック・ディテクタを提案する。 物語のギャップを識別し、物語の感情的・論理的流れとシームレスに統合する一貫性のある文を生成する。 この研究はNLP研究のギャップを埋め、より洗練され信頼性の高いストーリージェネレーションシステムを構築するという境界目標を前進させる。
  論文  参考訳（メタデータ） (2024-12-03T23:01:21Z)
• Failure Modes of LLMs for Causal Reasoning on Narratives [51.19592551510628]
  本研究では,大言語モデル(LLM)の因果推論能力について,物語から因果関係を推定する代表的な問題から検討する。 最新の言語モデルでさえ、物語の提示とパラメトリック知識の両方において、信頼できないショートカットに依存していることがわかった。
  論文  参考訳（メタデータ） (2024-10-31T12:48:58Z)
• Causal Micro-Narratives [62.47217054314046]
  テキストから因果マイクロナラティブを分類する新しい手法を提案する。 これらの物語は、対象対象の因果関係と/または効果の文レベルの説明である。
  論文  参考訳（メタデータ） (2024-10-07T17:55:10Z)
• Mapping News Narratives Using LLMs and Narrative-Structured Text Embeddings [0.0]
  構造主義言語理論に基づく数値的物語表現を導入する。 オープンソースLLMを用いてアクタントを抽出し,それをナラティブ構造化テキスト埋め込みに統合する。 本稿では,イスラエル・パレスチナ紛争に関するアル・ジャジーラとワシントン・ポストの新聞記事5000件を例に,本手法の分析的考察を紹介する。
  論文  参考訳（メタデータ） (2024-09-10T14:15:30Z)
• Are Large Language Models Capable of Generating Human-Level Narratives? [114.34140090869175]
  本稿ではストーリーテリングにおけるLLMの能力について考察し,物語の展開とプロットの進行に着目した。 本稿では,3つの談話レベルの側面から物語を分析するための新しい計算フレームワークを提案する。 談話機能の明示的な統合は、ニューラルストーリーテリングの40%以上の改善によって示されるように、ストーリーテリングを促進することができることを示す。
  論文  参考訳（メタデータ） (2024-07-18T08:02:49Z)
• Text Classification via Large Language Models [63.1874290788797]
  テキスト分類に関わる複雑な言語現象に対処するために、Clue And Reasoning Prompting (CARP)を導入する。 注目すべきは、CARPが5つの広く使用されているテキスト分類ベンチマークのうち4つで新しいSOTAパフォーマンスを得ることだ。 さらに重要なのは、CARPが低リソースとドメイン適応のセットアップで素晴らしい能力を提供します。
  論文  参考訳（メタデータ） (2023-05-15T06:24:45Z)
• Exploring aspects of similarity between spoken personal narratives by disentangling them into narrative clause types [13.350982138577038]
  本稿では,594本の映像から10,296の物語節を含む実世界の音声物語のコーパスを紹介する。 第2に,非ナラティブな専門家に,ラボフの社会言語的個人的物語モデルの下で,これらの節に注釈を付けるよう依頼する。 第3に、最上位の節に対して84.7%のFスコアに達する分類器を訓練する。 我々のアプローチは、個人の物語を研究または表現することを目的とした機械学習の手法を情報提供することを目的としている。
  論文  参考訳（メタデータ） (2020-05-26T14:34:07Z)
• Temporal Embeddings and Transformer Models for Narrative Text Understanding [72.88083067388155]
  キャラクタ関係モデリングのための物語テキスト理解のための2つのアプローチを提案する。 これらの関係の時間的進化は動的単語埋め込みによって説明され、時間とともに意味的変化を学ぶように設計されている。 最新の変換器モデルBERTに基づく教師付き学習手法を用いて文字間の静的な関係を検出する。
  論文  参考訳（メタデータ） (2020-03-19T14:23:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。