論文の概要: Applying Large Language Models to Characterize Public Narratives

• arxiv url: http://arxiv.org/abs/2511.13505v1
• Date: Mon, 17 Nov 2025 15:41:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:25.336992
• Title: Applying Large Language Models to Characterize Public Narratives
• Title（参考訳）: パブリックナラティブを特徴付けるための大規模言語モデルの適用
• Authors: Elinor Poole-Dayan, Daniel T Kessler, Hannah Chiou, Margaret Hughes, Emily S Lin, Marshall Ganz, Deb Roy,
• Abstract要約: 本稿では,大規模言語モデル(LLM)を活用して,公開物語の質的アノテーションを自動化する新しい計算フレームワークを提案する。 我々の研究によると、LLMは8つの物語と14のコードで平均0.80のF1スコアを達成することができる。
• 参考スコア（独自算出の注目度）: 10.803799931002061
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Public Narratives (PNs) are key tools for leadership development and civic mobilization, yet their systematic analysis remains challenging due to their subjective interpretation and the high cost of expert annotation. In this work, we propose a novel computational framework that leverages large language models (LLMs) to automate the qualitative annotation of public narratives. Using a codebook we co-developed with subject-matter experts, we evaluate LLM performance against that of expert annotators. Our work reveals that LLMs can achieve near-human-expert performance, achieving an average F1 score of 0.80 across 8 narratives and 14 codes. We then extend our analysis to empirically explore how PN framework elements manifest across a larger dataset of 22 stories. Lastly, we extrapolate our analysis to a set of political speeches, establishing a novel lens in which to analyze political rhetoric in civic spaces. This study demonstrates the potential of LLM-assisted annotation for scalable narrative analysis and highlights key limitations and directions for future research in computational civic storytelling.
• Abstract（参考訳）: PN(Public Narratives)は、リーダーシップ開発と市民の動員のための重要なツールであるが、それらの体系的な分析は、主観的な解釈と専門家のアノテーションの高コストのため、依然として困難である。 本研究では,大規模言語モデル(LLM)を利用して,公開物語の質的アノテーションを自動化する新しい計算フレームワークを提案する。 被験者・専門家と共同開発したコードブックを用いて,専門家アノテータとLLMのパフォーマンスを比較検討した。 我々の研究によると、LLMは8つの物語と14のコードで平均0.80のF1スコアを達成することができる。 次に分析を拡張して、22ストーリーのデータセット全体にわたってPNフレームワーク要素がどのように現れるかを実証的に調査します。 最後に, 市民空間における政治的レトリックを分析するための新しいレンズを構築した。 本研究は,スケーラブルな物語分析のためのLCM支援アノテーションの可能性を示し,今後の計算市民ストーリーテリング研究の鍵となる限界と方向性を明らかにする。

関連論文リスト

• Structuralist Approach to AI Literary Criticism: Leveraging Greimas Semiotic Square for Large Language Models [2.7323591332394166]
  GLASS (Greimas Literary Analysis via Semiotic Square) は、Greimas Semiotic Square (GSS) に基づく構造化分析フレームワークである。 GLASSは物語構造と物語作品における深い意味の素早い分離を促進する。 この研究は、文芸研究と教育のためのAIベースのツールを提供し、文芸エンゲージメントの基礎となる認知メカニズムに関する洞察を提供する。
  論文  参考訳（メタデータ） (2025-06-26T15:10:24Z)
• Potential and Perils of Large Language Models as Judges of Unstructured Textual Data [0.631976908971572]
  本研究では,LLM-as-judgeモデルの有効性を検討した。 LLM-as-judgeは、人間に匹敵するスケーラブルなソリューションを提供するが、人間は微妙で文脈固有のニュアンスを検出するのに優れている。
  論文  参考訳（メタデータ） (2025-01-14T14:49:14Z)
• Narrative Analysis of True Crime Podcasts With Knowledge Graph-Augmented Large Language Models [8.78598447041169]
  大きな言語モデル(LLM)は、複雑な物語の弧や矛盾する情報を含む物語といまだに苦労している。 最近の研究は、外部知識ベースで強化されたLLMが、結果の精度と解釈可能性を向上させることを示唆している。 本研究では,実際のポッドキャストデータの理解における知識グラフ(KG)の適用性について検討する。
  論文  参考訳（メタデータ） (2024-11-01T21:49:00Z)
• A Bayesian Approach to Harnessing the Power of LLMs in Authorship Attribution [57.309390098903]
  著者の属性は、文書の起源または著者を特定することを目的としている。 大きな言語モデル(LLM)とその深い推論能力と長距離テキストアソシエーションを維持する能力は、有望な代替手段を提供する。 IMDbおよびブログデータセットを用いた結果, 著者10名を対象に, 著者1名に対して, 85%の精度が得られた。
  論文  参考訳（メタデータ） (2024-10-29T04:14:23Z)
• LFED: A Literary Fiction Evaluation Dataset for Large Language Models [58.85989777743013]
  元々は中国語で書かれたか、中国語に翻訳された95の文学小説を収集し、数世紀にわたって幅広い話題を扱っている。 質問分類を8つのカテゴリーで定義し,1,304の質問の作成を導く。 我々は、小説の特定の属性(小説の種類、文字番号、出版年など)がLLMのパフォーマンスに与える影響を詳細に分析する。
  論文  参考訳（メタデータ） (2024-05-16T15:02:24Z)
• NovelQA: Benchmarking Question Answering on Documents Exceeding 200K Tokens [63.7488938083696]
  我々は,大規模言語モデル(LLM)を複雑で拡張された物語で評価するためのベンチマークであるNovellQAを紹介する。 NovelQAは、複雑さ、長さ、物語のコヒーレンスをユニークなブレンドとして提供し、深いテキスト理解を評価するのに理想的なツールである。 ノベルQAにおける長文LLMの評価は,長文LLMの長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文の長文長文長文長文長文の長文
  論文  参考訳（メタデータ） (2024-03-18T17:32:32Z)
• CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large Language Models for Data Annotation [94.59630161324013]
  本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。 我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-10-24T08:56:49Z)
• L-Eval: Instituting Standardized Evaluation for Long Context Language Models [91.05820785008527]
  長い文脈言語モデル(LCLM)のより標準化された評価を行うためにL-Evalを提案する。 20のサブタスク、508の長いドキュメント、2000以上の人間ラベルのクエリ応答対を含む新しい評価スイートを構築した。 その結果、一般的なn-gramマッチングの指標は人間の判断とよく相関しないことがわかった。
  論文  参考訳（メタデータ） (2023-07-20T17:59:41Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。