論文の概要: A Methodological Guide on Using Large Language Models for Text Annotation in the Social Sciences and Humanities with Python and R

• arxiv url: http://arxiv.org/abs/2604.09638v1
• Date: Sat, 21 Mar 2026 00:09:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-26 09:01:57.227472
• Title: A Methodological Guide on Using Large Language Models for Text Annotation in the Social Sciences and Humanities with Python and R
• Title（参考訳）: Python と R を用いた社会科学・人文科学におけるテキストアノテーションのための大規模言語モデルの利用に関する方法論ガイド
• Authors: Qixiang Fang, Javier Garcia Bernardo, Erik-Jan van Kesteren,
• Abstract要約: 大規模言語モデル(LLM)は、社会科学や人文科学研究者にとって不可欠なツールとなっている。 本稿では,SSH 研究におけるテキストアノテーションに LLM を使用するための包括的,ステップバイステップの方法論的ガイドを提供する。
• 参考スコア（独自算出の注目度）: 1.1372969798040315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have become an essential tool for social science and humanities (SSH) researchers who work with text. One particularly valuable application is automating text annotation, a traditionally time-consuming step in preparing data for empirical analysis. Yet many SSH researchers face two challenges: getting started with LLMs and understanding how to address their limitations. Practically, the rapid pace of model development can make LLMs seem inaccessible or intimidating, while even experienced users may overlook how annotation errors can bias downstream statistical analyses (e.g., regression estimates and $p$-values), even when annotation accuracy appears high. This paper provides a comprehensive, step-by-step methodological guide for using LLMs for text annotation in SSH research, with clear Python and R code snippets. We cover (1) how LLMs work and what they can and cannot do; (2) how to identify an LLM-suitable research project and establish minimum data and computational requirements; (3) how to design prompts and run annotation tasks; (4) how to evaluate annotation quality and iteratively refine prompts without overfitting; (5) how to integrate LLM annotations into downstream statistical analyses while accounting for annotation error; and (6) how to manage cost, efficiency, and reproducibility when scaling up annotation. Throughout, we provide intuitive methodological reasoning, concrete examples, code snippets, and best-practice guidance to help researchers confidently and transparently incorporate LLM-based annotation into their scientific workflows.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、テキストを扱う社会科学と人文科学(SSH)研究者にとって不可欠なツールとなっている。 特に価値のある応用の1つは、経験分析のためにデータを作成するのに伝統的に時間がかかるテキストアノテーションの自動化である。 しかし、多くのSSH研究者は、2つの課題に直面している。 実際に、モデル開発の急速なペースは、LCMがアクセス不能または脅威に思える一方で、経験豊富なユーザでさえ、アノテーションの誤差が下流の統計分析(例えば、回帰推定値や$p$-values)に偏っているかを見落としてしまう可能性がある。 本稿では,SSH 研究におけるテキストアノテーションに LLM を使用するための,Python と R の明確なコードスニペットを用いた,包括的でステップバイステップの方法論的ガイドを提供する。 1) LLMがどのように機能し,何が可能で,何ができないのか,(2) LLMに適した研究プロジェクトを特定し,最小限のデータと計算要件を確立する方法,(3) アノテーションタスクの設計と実行方法,(4) 過剰に適合せずにアノテーションの品質を評価し,反復的にプロンプトを洗練する方法,(5) アノテーションエラーを考慮した下流の統計分析にLLMアノテーションを統合する方法,(6) アノテーションのスケールアップ時のコスト,効率,再現性を管理する方法などについて述べる。 本研究は,LSMに基づくアノテーションを科学的ワークフローに確実に,透過的に組み込むための,直感的な方法論的推論,具体例,コードスニペット,ベストプラクティスガイダンスを提供する。

関連論文リスト

• A Human-Centered Workflow for Using Large Language Models in Content Analysis [0.0]
  本稿では,大言語モデルをユニバーサルテキスト処理機械として概念化する。 3つの質的かつ定量的なコンテンツ分析タスクにLLMを使用するための包括的なワークフローを提供する。
  論文  参考訳（メタデータ） (2026-02-27T14:32:29Z)
• Utility-Focused LLM Annotation for Retrieval and Retrieval-Augmented Generation [96.18720164390699]
  本稿では,大規模言語モデル (LLM) を用いた検索・検索・拡張生成システム (RAG) の訓練における文書ユーティリティのアノテートについて検討する。 以上の結果から,LLM生成アノテーションは,人間のアノテーションや下流QAメトリクスのみを訓練したモデルと比較して,ドメイン外検索性能の向上とRAG結果の改善を図っている。
  論文  参考訳（メタデータ） (2025-04-07T16:05:52Z)
• LLM-Assisted Relevance Assessments: When Should We Ask LLMs for Help? [20.998805709422292]
  テストコレクションは、研究者が素早く簡単にランキングアルゴリズムを評価することができる情報検索ツールである。 より安価な代替手段として、近年の研究では、人間のアセスメントを完全に置き換えるために大きな言語モデル(LLM)が提案されている。 LARAは、手動アノテーションとLLMアノテーションのバランスをとる効果的な方法であり、低予算でもリッチで信頼性の高いテストコレクションを構築するのに役立つ。
  論文  参考訳（メタデータ） (2024-11-11T11:17:35Z)
• Prompt Design Matters for Computational Social Science Tasks but in Unpredictable Ways [3.779027297957693]
  我々は,迅速な設計が社会科学アノテーションの遵守と正確性に与える影響を検証した。 以上の結果から,LSMのコンプライアンスと精度は極めて素早い依存性があることが示唆された。 この研究は、研究者や実践者の警告と実践のガイドとして機能する。
  論文  参考訳（メタデータ） (2024-06-17T18:01:43Z)
• Large Language Models for Data Annotation and Synthesis: A Survey [49.8318827245266]
  本調査は,データアノテーションと合成のための大規模言語モデルの有用性に焦点を当てる。 LLMがアノテートできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションと合成にLLMを使用する際の主な課題と制限に関する詳細な議論を含む。
  論文  参考訳（メタデータ） (2024-02-21T00:44:04Z)
• Automated Annotation with Generative AI Requires Validation [0.0]
  生成型大規模言語モデル(LLM)は、テキストアノテーションの手順を増強するための強力なツールである。 LLMのアノテーションポテンシャルを原則的かつ効率的な方法で活用するためのワークフローを概説する。 テキストアノテーションのLLM性能は有望であるが,データセットとアノテーションの型の両方に高い関連性があることが判明した。
  論文  参考訳（メタデータ） (2023-05-31T20:50:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。