論文の概要: Processes Matter: How ML/GAI Approaches Could Support Open Qualitative Coding of Online Discourse Datasets

• arxiv url: http://arxiv.org/abs/2504.02887v1
• Date: Wed, 02 Apr 2025 13:43:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:48:58.758483
• Title: Processes Matter: How ML/GAI Approaches Could Support Open Qualitative Coding of Online Discourse Datasets
• Title（参考訳）: プロセス:ML/GAIアプローチがオンライン談話データセットのオープン定性的コーディングをどのようにサポートするか
• Authors: John Chen, Alexandros Lotsos, Grace Wang, Lexie Zhao, Bruce Sherin, Uri Wilensky, Michael Horn,
• Abstract要約: 最近公開された5つのML/GAIアプローチと4つのヒューマンコーダによるオープンコーディング結果の比較を行った。 ラインバイラインAIアプローチは、人間が会話のダイナミクスを解釈するのに対して、コンテンツベースのコードを効果的に識別する。 オープンコーディングで人間を置き換える代わりに、研究者はAIを分析プロセスと統合する必要がある。
• 参考スコア（独自算出の注目度）: 39.96179530555875
• License:
• Abstract: Open coding, a key inductive step in qualitative research, discovers and constructs concepts from human datasets. However, capturing extensive and nuanced aspects or "coding moments" can be challenging, especially with large discourse datasets. While some studies explore machine learning (ML)/Generative AI (GAI)'s potential for open coding, few evaluation studies exist. We compare open coding results by five recently published ML/GAI approaches and four human coders, using a dataset of online chat messages around a mobile learning software. Our systematic analysis reveals ML/GAI approaches' strengths and weaknesses, uncovering the complementary potential between humans and AI. Line-by-line AI approaches effectively identify content-based codes, while humans excel in interpreting conversational dynamics. We discussed how embedded analytical processes could shape the results of ML/GAI approaches. Instead of replacing humans in open coding, researchers should integrate AI with and according to their analytical processes, e.g., as parallel co-coders.
• Abstract（参考訳）: 質的研究における重要な帰納的ステップであるオープンコーディングは、人間のデータセットから概念を発見し、構築する。 しかし、特に大きな談話データセットでは、広範かつニュアンスのある側面や"コーディングモーメント"をキャプチャすることは困難である。 機械学習(ML)/生成AI(GAI)のオープンコーディングの可能性を研究する研究もあるが、評価研究はほとんどない。 最近公開された5つのML/GAIアプローチと4つのヒューマンコーダによるオープンコーディング結果を、モバイル学習ソフトウェアを中心としたオンラインチャットメッセージのデータセットを用いて比較する。 我々の系統分析では、ML/GAIアプローチの強みと弱みを明らかにし、人間とAIの相補的なポテンシャルを明らかにする。 ラインバイラインAIアプローチは、人間が会話のダイナミクスを解釈するのに対して、コンテンツベースのコードを効果的に識別する。 我々は,ML/GAIの手法を用いて,組込み分析プロセスがどのような結果を形作るかについて議論した。 オープンコーディングで人間を置き換える代わりに、研究者はAIを分析プロセス、例えば並列ココーダと統合する必要がある。

関連論文リスト

• Human and Machine: How Software Engineers Perceive and Engage with AI-Assisted Code Reviews Compared to Their Peers [4.734450431444635]
  本稿では,Large Language Model (LLM) を利用したコードレビューにおいて,ソフトウェアエンジニアがどのように認識し,関与しているかを検討する。 コードレビューにおけるエンゲージメントは多次元であり、認知的、感情的、行動的な側面にまたがっていることがわかった。 我々の発見は、AIツールがSE社会技術プロセスにどのように影響しているかをより深く理解するのに役立ちます。
  論文  参考訳（メタデータ） (2025-01-03T20:42:51Z)
• A Computational Method for Measuring "Open Codes" in Qualitative Analysis [47.358809793796624]
  オープンコーディングは、データセットから"オープンコード"を特定し解釈する、帰納的定性的なプロセスである。 本稿では,「オープンコード」から潜在的なバイアスを系統的に計測し,同定する計算手法を提案する。
  論文  参考訳（メタデータ） (2024-11-19T00:44:56Z)
• Prompts Matter: Comparing ML/GAI Approaches for Generating Inductive Qualitative Coding Results [39.96179530555875]
  ジェネレーティブAI(GAI)ツールは、仕事の指示と、それが重要かもしれない指導方法に依存している。 本研究は、オンラインコミュニティデータセットに2つの既知の、2つの理論インフォームドアプローチを適用し、結果の符号化結果を評価した。 ML/GAIアプローチとGAIアプローチの相違がみられ,その利点が示された。
  論文  参考訳（メタデータ） (2024-11-10T00:23:55Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• How Far Have We Gone in Binary Code Understanding Using Large Language Models [51.527805834378974]
  バイナリコード理解におけるLarge Language Models(LLM)の有効性を評価するためのベンチマークを提案する。 評価の結果、既存のLLMはバイナリコードをある程度理解でき、それによってバイナリコード解析の効率が向上することが明らかとなった。
  論文  参考訳（メタデータ） (2024-04-15T14:44:08Z)
• Can AI Serve as a Substitute for Human Subjects in Software Engineering Research? [24.39463126056733]
  本稿では,人工知能(AI)の能力を活用したソフトウェア工学研究における定性データ収集手法を提案する。 定性的データの代替源としてAI生成合成テキストの可能性を探る。 観察研究とユーザ評価における人間の行動のエミュレートを目的とした新しい基礎モデルの開発について論じる。
  論文  参考訳（メタデータ） (2023-11-18T14:05:52Z)
• Towards Coding Social Science Datasets with Language Models [4.280286557747323]
  研究者はしばしば、大規模なテキストのセット(ラベル、注釈など)を人間に頼っている。 特定の種類の人工知能ツール(言語モデル(LM))の最近の進歩は、ソリューションを提供する。 GPT-3は、一般的な人間のコーダの性能と一致し、テキストをコーディングする他の機械学習手法よりも利点があることがわかった。
  論文  参考訳（メタデータ） (2023-06-03T19:11:34Z)
• Human-Centric Multimodal Machine Learning: Recent Advances and Testbed on AI-based Recruitment [66.91538273487379]
  人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。 i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。 異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
  論文  参考訳（メタデータ） (2023-02-13T16:44:44Z)
• What Matters in Learning from Offline Human Demonstrations for Robot Manipulation [64.43440450794495]
  ロボット操作のための6つのオフライン学習アルゴリズムについて広範な研究を行う。 我々の研究は、オフラインの人間のデータから学習する際の最も重要な課題を分析します。 人間のデータセットから学ぶ機会を強調します。
  論文  参考訳（メタデータ） (2021-08-06T20:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。