論文の概要: Large Language Models for Oral History Understanding with Text Classification and Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2508.06729v1
• Date: Fri, 08 Aug 2025 22:06:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.52332
• Title: Large Language Models for Oral History Understanding with Text Classification and Sentiment Analysis
• Title（参考訳）: テキスト分類と感性分析を用いた口頭史理解のための大規模言語モデル
• Authors: Komala Subramanyam Cherukuri, Pranav Abishai Moses, Aisa Sakata, Jiangping Chen, Haihua Chen,
• Abstract要約: 本稿では,日本人投獄口頭史における意味的・感情的アノテーションの自動化を目的とした,スケーラブルなフレームワークを提案する。 LLMを用いて、高品質なデータセットを構築し、複数のモデルを評価し、プロンプトエンジニアリング戦略をテストする。 感情分析では、ラマはQwen(82.66%)とChatGPT(82.29%)をわずかに上回り、全てのモデルで同等の結果を示した。
• 参考スコア（独自算出の注目度）: 0.25165775267615204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Oral histories are vital records of lived experience, particularly within communities affected by systemic injustice and historical erasure. Effective and efficient analysis of their oral history archives can promote access and understanding of the oral histories. However, Large-scale analysis of these archives remains limited due to their unstructured format, emotional complexity, and high annotation costs. This paper presents a scalable framework to automate semantic and sentiment annotation for Japanese American Incarceration Oral History. Using LLMs, we construct a high-quality dataset, evaluate multiple models, and test prompt engineering strategies in historically sensitive contexts. Our multiphase approach combines expert annotation, prompt design, and LLM evaluation with ChatGPT, Llama, and Qwen. We labeled 558 sentences from 15 narrators for sentiment and semantic classification, then evaluated zero-shot, few-shot, and RAG strategies. For semantic classification, ChatGPT achieved the highest F1 score (88.71%), followed by Llama (84.99%) and Qwen (83.72%). For sentiment analysis, Llama slightly outperformed Qwen (82.66%) and ChatGPT (82.29%), with all models showing comparable results. The best prompt configurations were used to annotate 92,191 sentences from 1,002 interviews in the JAIOH collection. Our findings show that LLMs can effectively perform semantic and sentiment annotation across large oral history collections when guided by well-designed prompts. This study provides a reusable annotation pipeline and practical guidance for applying LLMs in culturally sensitive archival analysis. By bridging archival ethics with scalable NLP techniques, this work lays the groundwork for responsible use of artificial intelligence in digital humanities and preservation of collective memory. GitHub: https://github.com/kc6699c/LLM4OralHistoryAnalysis.
• Abstract（参考訳）: 口腔史は生きた経験の重要な記録であり、特に体系的な不正と歴史的消去によって影響を受ける地域社会の中でのものである。 口腔史アーカイブの効果的かつ効率的な分析は、口腔史へのアクセスと理解を促進することができる。 しかし、これらのアーカイブの大規模解析は、その非構造化形式、感情的な複雑さ、高いアノテーションコストのために、依然として限定されている。 本稿では,日本人投獄口頭史における意味的・感情的アノテーションの自動化を目的とした,スケーラブルなフレームワークを提案する。 LLMを用いて、高品質なデータセットを構築し、複数のモデルを評価し、歴史的にセンシティブな文脈でエンジニアリング戦略をテストする。 提案手法は,エキスパートアノテーション,プロンプト設計,LLM評価をChatGPT,Llama,Qwenと組み合わせた手法である。 感情と意味分類のための15のナレーターから558の文章をラベル付けし、ゼロショット、少数ショット、RAG戦略を評価した。 意味分類では、ChatGPTが88.71%、Llamaが84.99%、Qwenが83.72%だった。 感情分析では、ラマはQwen(82.66%)とChatGPT(82.29%)をわずかに上回り、全てのモデルで同等の結果を示した。 最高のプロンプト構成は、JAIOHコレクションの1,002インタビューから92,191文を注釈付けするために使用された。 以上の結果から, LLMは, 適切に設計されたプロンプトによって指導された場合, 大規模口頭史収集において, 意味的・感情的アノテーションを効果的に発揮できることが示唆された。 本研究は,LLMを文化的に敏感なアーカイブ分析に適用するための再利用可能なアノテーションパイプラインと実用的なガイダンスを提供する。 アーカイブ倫理をスケーラブルなNLP技術でブリッジすることで、この研究は、デジタル人文科学における人工知能の利用と集合記憶の保存の責任を負うための基礎となる。 GitHub: https://github.com/kc6699c/LLM4OralHistoryAnalysis

関連論文リスト

• A Comparative Analysis of Word Segmentation, Part-of-Speech Tagging, and Named Entity Recognition for Historical Chinese Sources, 1900-1950 [0.0]
  本稿では,大言語モデル(LLM)と従来の自然言語処理(NLP)ツールを比較し,単語セグメンテーション,POSタグ付け,名前付きエンティティ認識(NER)について述べる。 歴史的中国の文書は、その書体、自然語境界の欠如、言語学的変化により、テキスト分析の課題を提起している。
  論文  参考訳（メタデータ） (2025-03-25T17:07:21Z)
• Narrative Analysis of True Crime Podcasts With Knowledge Graph-Augmented Large Language Models [8.78598447041169]
  大きな言語モデル(LLM)は、複雑な物語の弧や矛盾する情報を含む物語といまだに苦労している。 最近の研究は、外部知識ベースで強化されたLLMが、結果の精度と解釈可能性を向上させることを示唆している。 本研究では,実際のポッドキャストデータの理解における知識グラフ(KG)の適用性について検討する。
  論文  参考訳（メタデータ） (2024-11-01T21:49:00Z)
• LFED: A Literary Fiction Evaluation Dataset for Large Language Models [58.85989777743013]
  元々は中国語で書かれたか、中国語に翻訳された95の文学小説を収集し、数世紀にわたって幅広い話題を扱っている。 質問分類を8つのカテゴリーで定義し,1,304の質問の作成を導く。 我々は、小説の特定の属性(小説の種類、文字番号、出版年など)がLLMのパフォーマンスに与える影響を詳細に分析する。
  論文  参考訳（メタデータ） (2024-05-16T15:02:24Z)
• NovelQA: Benchmarking Question Answering on Documents Exceeding 200K Tokens [63.7488938083696]
  我々は,大規模言語モデル(LLM)を複雑で拡張された物語で評価するためのベンチマークであるNovellQAを紹介する。 NovelQAは、複雑さ、長さ、物語のコヒーレンスをユニークなブレンドとして提供し、深いテキスト理解を評価するのに理想的なツールである。 ノベルQAにおける長文LLMの評価は,長文LLMの長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文の長文長文長文長文長文の長文
  論文  参考訳（メタデータ） (2024-03-18T17:32:32Z)
• StoryAnalogy: Deriving Story-level Analogies from Large Language Models to Unlock Analogical Understanding [72.38872974837462]
  大規模ストーリーレベルの類似語コーパスを構築することにより,類似語を識別・生成する能力を評価する。 textscStory Analogyには、さまざまなドメインから24Kストーリーペアが含まれており、拡張された構造マッピング理論の2つの類似点に人間のアノテーションがある。 我々は、textscStory Analogyのデータは、大言語モデルにおけるアナログ生成の品質を向上させることができることを観察した。
  論文  参考訳（メタデータ） (2023-10-19T16:29:23Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• Assessing the potential of LLM-assisted annotation for corpus-based pragmatics and discourse analysis: The case of apology [9.941695905504282]
  本研究では,大規模言語モデル (LLM) を用いてプラグマ・ディスカッシブ・コーパスのアノテーションを自動生成する可能性について検討する。 GPT-4はGPT-3.5より優れており,精度は人間のコーダに近づいた。
  論文  参考訳（メタデータ） (2023-05-15T04:10:13Z)
• Abstractive Summarization of Spoken and Written Instructions with BERT [66.14755043607776]
  本稿では,BERTSumモデルの最初の対話型言語への応用について述べる。 我々は多種多様な話題にまたがるナレーションビデオの抽象要約を生成する。 我々は、これをインテリジェントな仮想アシスタントの機能として統合し、要求に応じて文字と音声の両方の指導内容の要約を可能にすることを想定する。
  論文  参考訳（メタデータ） (2020-08-21T20:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。