論文の概要: Human-LLM Collaborative Inductive Coding for Conceptualizing K-12 Educator AI Use
- arxiv url: http://arxiv.org/abs/2607.28889v1
- Date: Thu, 30 Jul 2026 23:16:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.529022
- Title: Human-LLM Collaborative Inductive Coding for Conceptualizing K-12 Educator AI Use
- Title(参考訳): K-12エデュケータAIのコンセプト化のためのHuman-LLM協調帰納的符号化
- Abstract要約: 大規模言語モデル (LLM) はしばしば分析アシスタントとして提案される。
この記事では、K-12教育者と生成AIプラットフォーム間で交換された45,000のメッセージから階層的なコードブックを開発した、人間とLLMのコラボレーティブパイプラインについて説明する。
コードブックは、体系的な人間のコーディングを通じてテストされ、教育領域の専門知識を持つ3人の訓練されたプログラマーが、2,560のメッセージの独立したサンプルにコードブックを適用した。
- 参考スコア(独自算出の注目度): 6.6356719812080796
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Qualitative researchers increasingly encounter interaction corpora whose scale exceeds what manual coding alone can address, and large language models (LLMs) are frequently proposed as analytic assistants. The open questions are not whether LLMs can participate in qualitative analysis but to what extent, in what phases, and under what safeguards. This article provides a detailed procedural account of a multi-phase human-LLM collaborative pipeline that adapted open, axial, and selective coding to develop a hierarchical codebook from 45,000 messages exchanged between K-12 educators and a generative AI platform. Across three phases, LLMs generated candidate labels and structured annotations at scale, while human researchers retained conceptual authority over category definitions, merging decisions, and interpretive frameworks. The resulting instrument was then tested through systematic human coding, in which three trained coders with educational domain expertise applied the codebook to an independent sample of 2,560 messages, established reliability through iterative calibration using set-valued agreement measures appropriate for multi-label annotation, and extended the instrument with five codes that the LLM-assisted phases had not surfaced. The final codebook comprises 72 items within 19 categories and six domains. We reflect on the methodological decisions the pipeline required, including the choice of a conversational unit of analysis, the treatment of the LLM as a labeling instrument rather than an interpretive agent, the measurement of intercoder agreement under multi-label coding, and the conditions under which human domain expertise remained decisive. The account is offered as an auditable template for qualitative researchers considering LLM assistance in codebook development while preserving human interpretive authority.
- Abstract(参考訳): 定性的研究者は、手動のコーディングのみに対処できる規模を超える相互作用コーパスに遭遇し、大規模言語モデル(LLM)は分析アシスタントとしてしばしば提案される。
オープンな疑問は、LCMが質的な分析に参加できるかどうかではなく、どの段階で、どのフェーズで、どのセーフガード下かである。
この記事では、K-12教育者と生成AIプラットフォーム間で交換された45,000のメッセージから階層的なコードブックを開発するために、オープン、軸、選択的コーディングを適応したマルチフェーズのヒューマン-LLMコラボレーティブパイプラインの詳細な手続き的説明を提供する。
3段階にわたって、LLMは候補ラベルと構造化アノテーションを大規模に生成し、一方で人間の研究者はカテゴリ定義、統合決定、解釈フレームワークに関する概念的な権威を維持した。
その後、教育領域の専門知識を持つ3人の訓練されたプログラマが、2,560のメッセージの独立したサンプルにコードブックを適用し、マルチラベルアノテーションに適したセット値の合意基準を用いて反復校正によって信頼性を確立し、LLM支援フェーズが表面化していない5つのコードで楽器を拡張した。
最終コードブックは、19のカテゴリと6つのドメインの72の項目で構成されている。
分析の会話単位の選択,解釈エージェントではなくラベル楽器としてのLLMの扱い,マルチラベル符号化によるインターコーダ合意の測定,人間ドメインの専門知識が決定的のままである状況など,パイプラインに必要な方法論的な決定について考察する。
このアカウントは、人間の解釈権限を維持しながら、コードブック開発におけるLCMの支援を検討する定性的な研究者のための監査可能なテンプレートとして提供されている。
関連論文リスト
- Disagreement as Data: Reasoning Trace Analytics in Multi-Agent Systems [0.0]
本稿では,大規模言語モデル(LLM)エージェントが生成する推論トレースが,プロセスデータの新しいリッチな形式を構成することを提案する。
我々は、推論トレースにコサイン類似性を適用し、エージェント間の不一致を系統的に検出、定量化し、解釈する。
論文 参考訳(メタデータ) (2026-01-18T23:19:49Z) - From Code Foundation Models to Agents and Applications: A Practical Guide to Code Intelligence [150.3696990310269]
大規模言語モデル(LLM)は、自然言語記述を直接関数コードに変換することによって、自動ソフトウェア開発を変革した。
コードLLMに関する総合的な合成と実践的ガイド(一連の解析および探索実験)を提供する。
一般LLM(GPT-4, Claude, LLaMA)とコード特殊化LLM(StarCoder, Code LLaMA, DeepSeek-Coder, QwenCoder)のコード機能の解析を行う。
論文 参考訳(メタデータ) (2025-11-23T17:09:34Z) - A Survey of Vibe Coding with Large Language Models [93.88284590533242]
視覚符号化(Vibe Coding)は、開発者が成果観察を通じてAI生成の実装を検証する開発手法である。
変革の可能性にもかかわらず、この創発的パラダイムの有効性は未解明のままである。
この調査は、大規模な言語モデルによるVibe Codingの総合的かつ体系的なレビューを初めて提供する。
論文 参考訳(メタデータ) (2025-10-14T11:26:56Z) - Reassessing Code Authorship Attribution in the Era of Language Models [12.590406993068523]
本研究の目的は,コードサンプルの作成者を特定するためのコーディングスタイルの分析である。
コードオーサシップ・アトリビューション(CAA)は、サイバーセキュリティとソフトウェアにおいて、盗作行為に対処し、検出し、刑事訴追をサポートするために不可欠である。
論文 参考訳(メタデータ) (2025-06-20T16:19:30Z) - AGENTIF: Benchmarking Instruction Following of Large Language Models in Agentic Scenarios [51.46347732659174]
LLM(Large Language Models)は、現実世界のエージェントアプリケーションにおいて高度な機能を示す。
AgentIFは、エージェントシナリオでLLM命令に従う能力を体系的に評価する最初のベンチマークである。
論文 参考訳(メタデータ) (2025-05-22T17:31:10Z) - A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems [93.8285345915925]
推論(Reasoning)は、論理的推論、問題解決、意思決定を可能にする基本的な認知プロセスである。
大規模言語モデル(LLM)の急速な進歩により、推論は高度なAIシステムを区別する重要な能力として浮上した。
我々は,(1)推論が達成される段階を定義するレジーム,(2)推論プロセスに関与するコンポーネントを決定するアーキテクチャの2つの側面に沿って既存の手法を分類する。
論文 参考訳(メタデータ) (2025-04-12T01:27:49Z) - Text Chunking for Document Classification for Urban System Management using Large Language Models [0.0]
都市システムは複雑なテキストドキュメンテーションを用いて管理され、要求を設定し、構築された環境性能を評価する。
本稿では,大規模言語モデル(LLM)を定性的な符号化活動に適用し,資源要求の低減に寄与する。
論文 参考訳(メタデータ) (2025-03-31T22:48:30Z) - Can Large Language Models Serve as Evaluators for Code Summarization? [47.21347974031545]
LLM(Large Language Models)は、コード要約手法の効果的な評価手法である。
LLMはエージェントに、コードレビュアー、コード作者、コードエディタ、システムアナリストなどの様々な役割を演じるよう促す。
CoDERPEは、人間の評価と81.59%のスピアマン相関を達成し、既存のBERTScoreの基準を17.27%上回った。
論文 参考訳(メタデータ) (2024-12-02T09:56:18Z) - A Computational Method for Measuring "Open Codes" in Qualitative Analysis [44.39424825305388]
本稿では,人間と生成AI(GAI)による帰納的符号化結果を測定するための理論インフォームド計算手法を提案する。
これは、各コーダのコントリビューションを、Coverage、Overlap、Noverety、Divergenceの4つの新しいメトリクスを使用して、マージした結果に対して測定する。
本研究は,人間とAIの質的分析における方法論的厳密性を確保するための信頼性の高い経路を提供する。
論文 参考訳(メタデータ) (2024-11-19T00:44:56Z) - INDICT: Code Generation with Internal Dialogues of Critiques for Both Security and Helpfulness [110.6921470281479]
INDICTは、安全性と有用性の両方のガイダンスのために、批評家の内的対話で大きな言語モデルを強化する新しいフレームワークである。
内部対話は、安全主導の批評家と役に立つ主導の批評家の二重協調システムである。
提案手法は,安全性と有用性解析の両面において,高度な批判のレベルを提供し,出力コードの品質を著しく向上させる。
論文 参考訳(メタデータ) (2024-06-23T15:55:07Z) - InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。
慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。
InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
論文 参考訳(メタデータ) (2024-03-11T02:06:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。