論文の概要: A Computational Method for Measuring "Open Codes" in Qualitative Analysis
- arxiv url: http://arxiv.org/abs/2411.12142v3
- Date: Tue, 02 Sep 2025 16:24:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-04 15:17:02.897918
- Title: A Computational Method for Measuring "Open Codes" in Qualitative Analysis
- Title（参考訳）: 定性解析における「オープンコード」の計算方法
- Authors: John Chen, Alexandros Lotsos, Sihan Cheng, Caiyi Wang, Lexie Zhao, Jessica Hullman, Bruce Sherin, Uri Wilensky, Michael Horn,
- Abstract要約: 本稿では,人間と生成AI(GAI)による帰納的符号化結果を測定するための理論インフォームド計算手法を提案する。
これは、各コーダのコントリビューションを、Coverage、Overlap、Noverety、Divergenceの4つの新しいメトリクスを使用して、マージした結果に対して測定する。
本研究は,人間とAIの質的分析における方法論的厳密性を確保するための信頼性の高い経路を提供する。
- 参考スコア（独自算出の注目度）: 44.39424825305388
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Qualitative analysis is critical to understanding human datasets in many social science disciplines. A central method in this process is inductive coding, where researchers identify and interpret codes directly from the datasets themselves. Yet, this exploratory approach poses challenges for meeting methodological expectations (such as ``depth'' and ``variation''), especially as researchers increasingly adopt Generative AI (GAI) for support. Ground-truth-based metrics are insufficient because they contradict the exploratory nature of inductive coding, while manual evaluation can be labor-intensive. This paper presents a theory-informed computational method for measuring inductive coding results from humans and GAI. Our method first merges individual codebooks using an LLM-enriched algorithm. It measures each coder's contribution against the merged result using four novel metrics: Coverage, Overlap, Novelty, and Divergence. Through two experiments on a human-coded online conversation dataset, we 1) reveal the merging algorithm's impact on metrics; 2) validate the metrics' stability and robustness across multiple runs and different LLMs; and 3) showcase the metrics' ability to diagnose coding issues, such as excessive or irrelevant (hallucinated) codes. Our work provides a reliable pathway for ensuring methodological rigor in human-AI qualitative analysis.
- Abstract（参考訳）: 定性的分析は、多くの社会科学分野における人間のデータセットを理解するために重要である。
このプロセスの中心的な方法は帰納的コーディング(inductive coding)であり、研究者はデータセット自身から直接コードを識別し、解釈する。
しかし、この探索的アプローチは、特に研究者が支援のためにジェネレーティブAI(GAI)をますます採用するにつれて、方法論的な期待(例えば『depth』や『variation』)を満たす上での課題となる。
インダクティブコーディングの探索的性質に矛盾するため, 地中構造に基づく測定は不十分であり, 手動による評価は労働集約的である。
本稿では,人間とAIからの帰納的符号化結果を測定するための理論インフォームド計算手法を提案する。
提案手法はまず,LLMに富んだアルゴリズムを用いて個別のコードブックをマージする。
これは、各コーダのコントリビューションを、Coverage、Overlap、Noverety、Divergenceの4つの新しいメトリクスを使用して、マージした結果に対して測定する。
人間がコーディングしたオンライン会話データセットに関する2つの実験を通して、我々はその実験を行った。
1) マージアルゴリズムがメトリクスに与える影響を明らかにする。
2)複数のランと異なるLLMにわたるメトリクスの安定性と堅牢性を検証する。
3) 過剰なコードや無関係なコードなど、コーディング上の問題を診断するメトリクスの能力を示す。
本研究は,人間とAIの質的分析における方法論的厳密性を確保するための信頼性の高い経路を提供する。
関連論文リスト
- A Novel, Human-in-the-Loop Computational Grounded Theory Framework for Big Social Data [8.695136686770772]
結果の信頼性とロバスト性への信頼は、"Human-in-the-loop"手法を採用することに依存している、と我々は主張する。
本稿では,大規模定性的データセットの分析を支援する計算基底理論(CGT)の方法論的枠組みを提案する。
論文 参考訳（メタデータ） (2025-06-06T13:43:12Z) - Processes Matter: How ML/GAI Approaches Could Support Open Qualitative Coding of Online Discourse Datasets [39.96179530555875]
最近公開された5つのML/GAIアプローチと4つのヒューマンコーダによるオープンコーディング結果の比較を行った。
ラインバイラインAIアプローチは、人間が会話のダイナミクスを解釈するのに対して、コンテンツベースのコードを効果的に識別する。
オープンコーディングで人間を置き換える代わりに、研究者はAIを分析プロセスと統合する必要がある。
論文 参考訳（メタデータ） (2025-04-02T13:43:54Z) - Prompts Matter: Comparing ML/GAI Approaches for Generating Inductive Qualitative Coding Results [39.96179530555875]
ジェネレーティブAI(GAI)ツールは、仕事の指示と、それが重要かもしれない指導方法に依存している。
本研究は、オンラインコミュニティデータセットに2つの既知の、2つの理論インフォームドアプローチを適用し、結果の符号化結果を評価した。
ML/GAIアプローチとGAIアプローチの相違がみられ,その利点が示された。
論文 参考訳（メタデータ） (2024-11-10T00:23:55Z) - Can We Trust AI Agents? A Case Study of an LLM-Based Multi-Agent System for Ethical AI [10.084913433923566]
AIベースのシステムは、多様なタスクをサポートすることによって数百万に影響を及ぼすが、誤情報、偏見、誤用といった問題に直面している。
本研究では,Large Language Models (LLM) を用いたAI倫理の実践について検討する。
エージェントがAIインシデントデータベースから現実のAI倫理問題に関する構造化された議論を行うプロトタイプを設計する。
論文 参考訳（メタデータ） (2024-10-25T20:17:59Z) - Whither Bias Goes, I Will Go: An Integrative, Systematic Review of Algorithmic Bias Mitigation [1.0470286407954037]
機械学習(ML)モデルは不平等をバイアスし、持続し、悪化させる可能性があるという懸念が高まっている。
本稿では,MLアセスメントを開発し,バイアス軽減手法を適用した4段階モデルを提案する。
論文 参考訳（メタデータ） (2024-10-21T02:32:14Z) - DISCOVER: A Data-driven Interactive System for Comprehensive Observation, Visualization, and ExploRation of Human Behaviour [6.716560115378451]
我々は,人間行動分析のための計算駆動型データ探索を効率化するために,モジュール型でフレキシブルでユーザフレンドリなソフトウェアフレームワークを導入する。
我々の主な目的は、高度な計算方法論へのアクセスを民主化することであり、これにより研究者は、広範囲の技術的熟練を必要とせずに、詳細な行動分析を行うことができる。
論文 参考訳（メタデータ） (2024-07-18T11:28:52Z) - DACO: Towards Application-Driven and Comprehensive Data Analysis via Code Generation [83.30006900263744]
データ分析は、詳細な研究と決定的な洞察を生み出すための重要な分析プロセスである。
LLMのコード生成機能を活用した高品質な応答アノテーションの自動生成を提案する。
我々のDACO-RLアルゴリズムは、57.72%のケースにおいて、SFTモデルよりも有用な回答を生成するために、人間のアノテータによって評価される。
論文 参考訳（メタデータ） (2024-03-04T22:47:58Z) - FiFAR: A Fraud Detection Dataset for Learning to Defer [9.187694794359498]
本研究では、銀行口座不正検出データセットであるFiFAR(Financial Fraud Alert Review dataset)を紹介する。
FiFARには、複雑な50人のチームによる予測が含まれている。
我々は,本データセットを用いて,現実的なデータ可用性条件下でのキャパシティを意識したL2D法と拒絶学習手法を開発した。
論文 参考訳（メタデータ） (2023-12-20T17:36:36Z) - Multi-Dimensional Ability Diagnosis for Machine Learning Algorithms [88.93372675846123]
本稿では,機械学習アルゴリズム評価のためのタスク非依存評価フレームワークCamillaを提案する。
認識診断の仮定とニューラルネットワークを用いて、各サンプルのアルゴリズム、サンプル、スキル間の複雑な相互作用を学習する。
我々の実験では、カミラはメートル法信頼性、ランクの整合性、ランクの安定性で最先端のベースラインを上回ります。
論文 参考訳（メタデータ） (2023-07-14T03:15:56Z) - Human-Centric Multimodal Machine Learning: Recent Advances and Testbed
on AI-based Recruitment [66.91538273487379]
人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。
i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。
異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
論文 参考訳（メタデータ） (2023-02-13T16:44:44Z) - Human-Algorithm Collaboration: Achieving Complementarity and Avoiding
Unfairness [92.26039686430204]
慎重に設計されたシステムであっても、補完的な性能はあり得ないことを示す。
まず,簡単な人間アルゴリズムをモデル化するための理論的枠組みを提案する。
次に、このモデルを用いて相補性が不可能な条件を証明する。
論文 参考訳（メタデータ） (2022-02-17T18:44:41Z) - A Comparative Approach to Explainable Artificial Intelligence Methods in
Application to High-Dimensional Electronic Health Records: Examining the
Usability of XAI [0.0]
XAIは、コミュニケーション手段によって人間に達成される信頼の実証的要因を生み出すことを目的としている。
機械を信頼して人間の生き方に向くというイデオロギーは倫理的な混乱を引き起こします。
XAIメソッドは、ローカルレベルとグローバルレベルの両方で出力される特定のモデルに対する機能貢献を視覚化します。
論文 参考訳（メタデータ） (2021-03-08T18:15:52Z) - Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。
本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。
本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
論文 参考訳（メタデータ） (2021-01-24T05:40:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。