論文の概要: A Methodological Guide on Using Large Language Models for Text Annotation in the Social Sciences and Humanities with Python and R

• arxiv url: http://arxiv.org/abs/2604.09638v1
• Date: Sat, 21 Mar 2026 00:09:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-26 09:01:57.227472
• Title: A Methodological Guide on Using Large Language Models for Text Annotation in the Social Sciences and Humanities with Python and R
• Title（参考訳）: Python と R を用いた社会科学・人文科学におけるテキストアノテーションのための大規模言語モデルの利用に関する方法論ガイド
• Abstract要約: 大規模言語モデル(LLM)は、社会科学や人文科学研究者にとって不可欠なツールとなっている。 本稿では,SSH 研究におけるテキストアノテーションに LLM を使用するための包括的,ステップバイステップの方法論的ガイドを提供する。
• 参考スコア（独自算出の注目度）: 1.1372969798040315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have become an essential tool for social science and humanities (SSH) researchers who work with text. One particularly valuable application is automating text annotation, a traditionally time-consuming step in preparing data for empirical analysis. Yet many SSH researchers face two challenges: getting started with LLMs and understanding how to address their limitations. Practically, the rapid pace of model development can make LLMs seem inaccessible or intimidating, while even experienced users may overlook how annotation errors can bias downstream statistical analyses (e.g., regression estimates and $p$-values), even when annotation accuracy appears high. This paper provides a comprehensive, step-by-step methodological guide for using LLMs for text annotation in SSH research, with clear Python and R code snippets. We cover (1) how LLMs work and what they can and cannot do; (2) how to identify an LLM-suitable research project and establish minimum data and computational requirements; (3) how to design prompts and run annotation tasks; (4) how to evaluate annotation quality and iteratively refine prompts without overfitting; (5) how to integrate LLM annotations into downstream statistical analyses while accounting for annotation error; and (6) how to manage cost, efficiency, and reproducibility when scaling up annotation. Throughout, we provide intuitive methodological reasoning, concrete examples, code snippets, and best-practice guidance to help researchers confidently and transparently incorporate LLM-based annotation into their scientific workflows.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、テキストを扱う社会科学と人文科学(SSH)研究者にとって不可欠なツールとなっている。 特に価値のある応用の1つは、経験分析のためにデータを作成するのに伝統的に時間がかかるテキストアノテーションの自動化である。 しかし、多くのSSH研究者は、2つの課題に直面している。 実際に、モデル開発の急速なペースは、LCMがアクセス不能または脅威に思える一方で、経験豊富なユーザでさえ、アノテーションの誤差が下流の統計分析(例えば、回帰推定値や$p$-values)に偏っているかを見落としてしまう可能性がある。 本稿では,SSH 研究におけるテキストアノテーションに LLM を使用するための,Python と R の明確なコードスニペットを用いた,包括的でステップバイステップの方法論的ガイドを提供する。 1) LLMがどのように機能し,何が可能で,何ができないのか,(2) LLMに適した研究プロジェクトを特定し,最小限のデータと計算要件を確立する方法,(3) アノテーションタスクの設計と実行方法,(4) 過剰に適合せずにアノテーションの品質を評価し,反復的にプロンプトを洗練する方法,(5) アノテーションエラーを考慮した下流の統計分析にLLMアノテーションを統合する方法,(6) アノテーションのスケールアップ時のコスト,効率,再現性を管理する方法などについて述べる。 本研究は,LSMに基づくアノテーションを科学的ワークフローに確実に,透過的に組み込むための,直感的な方法論的推論,具体例,コードスニペット,ベストプラクティスガイダンスを提供する。

関連論文リスト

• AnnotateThis: Analyzing a human-LLM system for annotating social media data with the concept of climate change mitigation pessimism [6.775474488255981]
  大規模言語モデル(LLM)は研究にますます統合されている。 LLMは、計算社会科学(CSS)研究で見られるような、困難で曖昧な概念に苦しむことが示されている。 LLMアノテーションを検査・改善するための人間中心システムAnnotateThisを開発した。
  論文  参考訳（メタデータ） (2026-06-08T22:03:02Z)
• A Human-Centered Workflow for Using Large Language Models in Content Analysis [0.0]
  本稿では,大言語モデルをユニバーサルテキスト処理機械として概念化する。 3つの質的かつ定量的なコンテンツ分析タスクにLLMを使用するための包括的なワークフローを提供する。
  論文  参考訳（メタデータ） (2026-02-27T14:32:29Z)
• Language Bottleneck Models: A Framework for Interpretable Knowledge Tracing and Beyond [55.984684518346924]
  我々は、知識追跡を逆問題として再考する: 過去の回答を説明できる最小限の自然言語要約を学習し、将来の回答を予測できる。 我々のLanguage Bottleneck Model(LBM)は、解釈可能な知識要約を書くエンコーダLLMと、その要約テキストのみを使用して生徒の反応を再構成し予測しなければならないフリーズデコーダLLMで構成されている。 合成算術ベンチマークと大規模Eediデータセットの実験により、LBMは最先端のKT法と直接LLM法の精度に匹敵する一方で、受講者軌道のオーダーを少なくすることを示した。
  論文  参考訳（メタデータ） (2025-06-20T13:21:14Z)
• Utility-Focused LLM Annotation for Retrieval and Retrieval-Augmented Generation [96.18720164390699]
  本稿では,大規模言語モデル (LLM) を用いた検索・検索・拡張生成システム (RAG) の訓練における文書ユーティリティのアノテートについて検討する。 以上の結果から,LLM生成アノテーションは,人間のアノテーションや下流QAメトリクスのみを訓練したモデルと比較して,ドメイン外検索性能の向上とRAG結果の改善を図っている。
  論文  参考訳（メタデータ） (2025-04-07T16:05:52Z)
• LLM-Assisted Relevance Assessments: When Should We Ask LLMs for Help? [20.998805709422292]
  テストコレクションは、研究者が素早く簡単にランキングアルゴリズムを評価することができる情報検索ツールである。 より安価な代替手段として、近年の研究では、人間のアセスメントを完全に置き換えるために大きな言語モデル(LLM)が提案されている。 LARAは、手動アノテーションとLLMアノテーションのバランスをとる効果的な方法であり、低予算でもリッチで信頼性の高いテストコレクションを構築するのに役立つ。
  論文  参考訳（メタデータ） (2024-11-11T11:17:35Z)
• Prompt Design Matters for Computational Social Science Tasks but in Unpredictable Ways [3.779027297957693]
  我々は,迅速な設計が社会科学アノテーションの遵守と正確性に与える影響を検証した。 以上の結果から,LSMのコンプライアンスと精度は極めて素早い依存性があることが示唆された。 この研究は、研究者や実践者の警告と実践のガイドとして機能する。
  論文  参考訳（メタデータ） (2024-06-17T18:01:43Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• Large Language Models for Data Annotation and Synthesis: A Survey [49.8318827245266]
  本調査は,データアノテーションと合成のための大規模言語モデルの有用性に焦点を当てる。 LLMがアノテートできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションと合成にLLMを使用する際の主な課題と制限に関する詳細な議論を含む。
  論文  参考訳（メタデータ） (2024-02-21T00:44:04Z)
• CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large Language Models for Data Annotation [94.59630161324013]
  本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。 我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-10-24T08:56:49Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• Automated Annotation with Generative AI Requires Validation [0.0]
  生成型大規模言語モデル(LLM)は、テキストアノテーションの手順を増強するための強力なツールである。 LLMのアノテーションポテンシャルを原則的かつ効率的な方法で活用するためのワークフローを概説する。 テキストアノテーションのLLM性能は有望であるが,データセットとアノテーションの型の両方に高い関連性があることが判明した。
  論文  参考訳（メタデータ） (2023-05-31T20:50:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。