論文の概要: LLMs for Survey Text Analysis - A Performance Comparison Between Humans and GPT-5 on Inductive Content Analysis

• arxiv url: http://arxiv.org/abs/2608.22417v1
• Date: Sun, 23 Aug 2026 13:45:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.762452
• Title: LLMs for Survey Text Analysis - A Performance Comparison Between Humans and GPT-5 on Inductive Content Analysis
• Title（参考訳）: LLMs for Survey Text Analysis -インダクティブコンテンツ分析における人間とGPT-5のパフォーマンス比較
• Abstract要約: 大規模言語モデル (LLM) は、定性的研究においてテキスト分析をサポートするためにますます使われている。 本研究は,903回答からのオープンエンドサーベイ応答の人間とLLMによるインダクティブコーディングを比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used to support text analysis in qualitative research, yet evidence on their performance in inductive content analysis remains limited. This study compares human and LLM-based inductive coding of open-ended survey responses from 903 answers across six variables from a European PhD student survey. Five human coders performed inductive content analysis following a standardized coding scheme, while an LLM (GPT-5.4) conducted the same task using an established prompting procedure. Agreement between human and LLM outputs was assessed using the Adjusted Rand Index (ARI). Results showed an alignment between humans and the LLM, with ARI values of 0.61 for coding and 0.54 for theme generation. These values were close to the internal consistency of coding and theme results within humans (ARI = 0.68) and the LLM (ARI = 0.76). Agreement varied widely across variables, with low within-entity consistency consistently linked to low between-entity agreement, underscoring the role of data characteristics and individual performance in reliability. Overall, the findings suggest that LLMs can approximate human coding in this case-specific setting, particularly at the coding level, and may serve as a scalable support tool for inductive qualitative analysis.
• Abstract（参考訳）: 大規模言語モデル (LLM) は定性的な研究においてテキスト解析をサポートするためにますます使われているが、帰納的コンテンツ分析におけるそれらの性能に関する証拠は限られている。 本研究は,欧州のPhD学生調査から得られた6変数にわたる903の回答から,人間とLLMによるオープンエンドサーベイ応答のインダクティブコーディングを比較した。 5人の人間コーダが標準化されたコーディングスキームに従ってインダクティブコンテンツ分析を行い、LDM(GPT-5.4)が確立されたプロンプト手順を用いて同じタスクを実行した。 ARI(Adjusted Rand Index)を用いて人間とLLMの出力の一致を評価した。 ARI値が0.61, テーマ生成0.54であった。 これらの値は、人間のコーディングとテーマ結果の内部整合性(ARI = 0.68)とLLM(ARI = 0.76)に近かった。 一致は変数によって大きく異なり、内部整合性は低い間整合性合意と一貫して関連し、信頼性におけるデータ特性と個々のパフォーマンスの役割を暗示している。 全体として、LLMは、このケース固有の設定、特にコーディングレベルで人間のコーディングを近似することができ、帰納的定性分析のためのスケーラブルな支援ツールとして機能する可能性が示唆されている。

関連論文リスト

• Text Annotation via Inductive Coding: Comparing Human Experts to LLMs in Qualitative Data Analysis [44.08932633077333]
  この研究は、6つのオープンソースの大規模言語モデル(LLM)の性能を、人間の専門家と比較して評価する。 人間のコーダーは、複雑な文をラベル付けするときに常にうまく機能するが、単純な文では苦労するが、LSMは反対の傾向を示す。
  論文  参考訳（メタデータ） (2025-11-17T13:03:27Z)
• Human-Aligned Code Readability Assessment with Large Language Models [15.17270025276759]
  本稿では,大規模言語モデル(LLM)に基づくコード可読性評価のための,最初の大規模ベンチマークであるCoReEvalを紹介する。 LLMはスケーラブルな代替手段を提供するが、可読性評価器としてのそれらの振る舞いは未検討のままである。 以上の結果から,人間定義の可読性次元に基礎を置く開発者誘導型プロンプトは,構造化コンテキストにおけるアライメントを改善することが示唆された。
  論文  参考訳（メタデータ） (2025-10-18T17:00:52Z)
• IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
  IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。 エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。 最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
  論文  参考訳（メタデータ） (2025-05-23T09:37:52Z)
• Text Chunking for Document Classification for Urban System Management using Large Language Models [0.0]
  都市システムは複雑なテキストドキュメンテーションを用いて管理され、要求を設定し、構築された環境性能を評価する。 本稿では,大規模言語モデル(LLM)を定性的な符号化活動に適用し,資源要求の低減に寄与する。
  論文  参考訳（メタデータ） (2025-03-31T22:48:30Z)
• Think Together and Work Better: Combining Humans' and LLMs' Think-Aloud Outcomes for Effective Text Evaluation [2.5398014196797605]
  本研究では,人間の専門知識とLarge Language Models(LLM)を統合するフレームワークであるtextbfInteractEvalを紹介する。 このフレームワークはThink-Aloud(TA)メソッドを使用して、チェックリストベースのテキスト評価の属性を生成する。
  論文  参考訳（メタデータ） (2024-09-11T15:40:07Z)
• CIBench: Evaluating Your LLMs with a Code Interpreter Plugin [68.95137938214862]
  データサイエンスタスクにコードインタプリタを利用するLLMの能力を総合的に評価する,CIBenchという対話型評価フレームワークを提案する。 評価データセットは,LLM-人的協調手法を用いて構築され,連続的かつ対話的なIPythonセッションを活用することによって,実際のワークフローをシミュレートする。 コードインタプリタの利用において, CIBench 上で 24 個の LLM の能力を解析し, 将来の LLM に対する貴重な洞察を提供するため, 広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2024-07-15T07:43:55Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization [132.25202059478065]
  命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。 本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
  論文  参考訳（メタデータ） (2023-11-15T18:25:26Z)
• LLM-in-the-loop: Leveraging Large Language Model for Thematic Analysis [18.775126929754833]
  Thematic Analysis (TA)は、多くの分野や分野における定性的データを解析するために広く使われている。 ヒューマンコーダはデータの解釈とコーディングを複数のイテレーションで開発し、より深くする。 In-context Learning (ICL) を用いたTAを実現するための人間-LLM協調フレームワーク(LLM-in-the-loop)を提案する。
  論文  参考訳（メタデータ） (2023-10-23T17:05:59Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)
• G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment [64.01972723692587]
  本稿では,大規模言語モデルにチェーン・オブ・シント(CoT)を組み込んだフレームワークであるG-Evalと,NLG出力の品質評価のためのフォームフィリングパラダイムを提案する。 GPT-4 をバックボーンモデルとした G-Eval は,要約タスクにおいて,0.514 と人間とのスピアマン相関を達成し,従来手法の差を大きく上回ることを示す。
  論文  参考訳（メタデータ） (2023-03-29T12:46:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。