論文の概要: A Computational Method for Measuring "Open Codes" in Qualitative Analysis
- arxiv url: http://arxiv.org/abs/2411.12142v1
- Date: Tue, 19 Nov 2024 00:44:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-20 13:38:29.984998
- Title: A Computational Method for Measuring "Open Codes" in Qualitative Analysis
- Title（参考訳）: 定性解析における「オープンコード」の計算方法
- Authors: John Chen, Alexandros Lotsos, Lexie Zhao, Jessica Hullman, Bruce Sherin, Uri Wilensky, Michael Horn,
- Abstract要約: オープンコーディングは、データセットから"オープンコード"を特定し解釈する、帰納的定性的なプロセスである。
本稿では,「オープンコード」から潜在的なバイアスを系統的に計測し,同定する計算手法を提案する。
- 参考スコア（独自算出の注目度）: 49.139779641942276
- License:
- Abstract: Qualitative analysis is critical to understanding human datasets in many social science disciplines. Open coding is an inductive qualitative process that identifies and interprets "open codes" from datasets. Yet, meeting methodological expectations (such as "as exhaustive as possible") can be challenging. While many machine learning (ML)/generative AI (GAI) studies have attempted to support open coding, few have systematically measured or evaluated GAI outcomes, increasing potential bias risks. Building on Grounded Theory and Thematic Analysis theories, we present a computational method to measure and identify potential biases from "open codes" systematically. Instead of operationalizing human expert results as the "ground truth," our method is built upon a team-based approach between human and machine coders. We experiment with two HCI datasets to establish this method's reliability by 1) comparing it with human analysis, and 2) analyzing its output stability. We present evidence-based suggestions and example workflows for ML/GAI to support open coding.
- Abstract（参考訳）: 定性的分析は、多くの社会科学分野における人間のデータセットを理解するために重要である。
オープンコーディングは、データセットから"オープンコード"を特定し解釈する、帰納的定性的なプロセスである。
しかし、(可能な限り徹底的に)方法論的な期待に応えることは困難である。
多くの機械学習/生成AI(GAI)研究がオープンコーディングのサポートを試みているが、体系的にGAIの結果を測定したり評価したりすることはほとんどなく、潜在的なバイアスリスクが増大している。
基礎理論と理論解析理論に基づいて,我々は「オープンコード」から潜在的なバイアスを体系的に計測し,同定する計算手法を提案する。
として人間の専門家結果を運用するのではなく、人間と機械のコーダ間のチームベースのアプローチに基づいて、我々の手法を構築します。
我々は2つのHCIデータセットを用いて、この手法の信頼性を確立する実験を行った。
1)人間分析と比較し、
2) 出力安定性を解析する。
オープンコーディングを支援するML/GAIのためのエビデンスベースの提案とサンプルワークフローを提案する。
関連論文リスト
- Whither Bias Goes, I Will Go: An Integrative, Systematic Review of Algorithmic Bias Mitigation [1.0470286407954037]
機械学習(ML)モデルは不平等をバイアスし、持続し、悪化させる可能性があるという懸念が高まっている。
本稿では,MLアセスメントを開発し,バイアス軽減手法を適用した4段階モデルを提案する。
論文 参考訳（メタデータ） (2024-10-21T02:32:14Z) - BLADE: Benchmarking Language Model Agents for Data-Driven Science [18.577658530714505]
プランニング、メモリ、コード実行機能を備えたLMベースのエージェントは、データ駆動科学をサポートする可能性がある。
本稿では,エージェントの多面的アプローチを自動的に評価するベンチマークBLADEについて述べる。
論文 参考訳（メタデータ） (2024-08-19T02:59:35Z) - DISCOVER: A Data-driven Interactive System for Comprehensive Observation, Visualization, and ExploRation of Human Behaviour [6.716560115378451]
我々は,人間行動分析のための計算駆動型データ探索を効率化するために,モジュール型でフレキシブルでユーザフレンドリなソフトウェアフレームワークを導入する。
我々の主な目的は、高度な計算方法論へのアクセスを民主化することであり、これにより研究者は、広範囲の技術的熟練を必要とせずに、詳細な行動分析を行うことができる。
論文 参考訳（メタデータ） (2024-07-18T11:28:52Z) - DACO: Towards Application-Driven and Comprehensive Data Analysis via Code Generation [83.30006900263744]
データ分析は、詳細な研究と決定的な洞察を生み出すための重要な分析プロセスである。
LLMのコード生成機能を活用した高品質な応答アノテーションの自動生成を提案する。
我々のDACO-RLアルゴリズムは、57.72%のケースにおいて、SFTモデルよりも有用な回答を生成するために、人間のアノテータによって評価される。
論文 参考訳（メタデータ） (2024-03-04T22:47:58Z) - FiFAR: A Fraud Detection Dataset for Learning to Defer [9.187694794359498]
本研究では、銀行口座不正検出データセットであるFiFAR(Financial Fraud Alert Review dataset)を紹介する。
FiFARには、複雑な50人のチームによる予測が含まれている。
我々は,本データセットを用いて,現実的なデータ可用性条件下でのキャパシティを意識したL2D法と拒絶学習手法を開発した。
論文 参考訳（メタデータ） (2023-12-20T17:36:36Z) - Multi-Dimensional Ability Diagnosis for Machine Learning Algorithms [88.93372675846123]
本稿では,機械学習アルゴリズム評価のためのタスク非依存評価フレームワークCamillaを提案する。
認識診断の仮定とニューラルネットワークを用いて、各サンプルのアルゴリズム、サンプル、スキル間の複雑な相互作用を学習する。
我々の実験では、カミラはメートル法信頼性、ランクの整合性、ランクの安定性で最先端のベースラインを上回ります。
論文 参考訳（メタデータ） (2023-07-14T03:15:56Z) - Human-Centric Multimodal Machine Learning: Recent Advances and Testbed
on AI-based Recruitment [66.91538273487379]
人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。
i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。
異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
論文 参考訳（メタデータ） (2023-02-13T16:44:44Z) - Human-Algorithm Collaboration: Achieving Complementarity and Avoiding
Unfairness [92.26039686430204]
慎重に設計されたシステムであっても、補完的な性能はあり得ないことを示す。
まず,簡単な人間アルゴリズムをモデル化するための理論的枠組みを提案する。
次に、このモデルを用いて相補性が不可能な条件を証明する。
論文 参考訳（メタデータ） (2022-02-17T18:44:41Z) - A Comparative Approach to Explainable Artificial Intelligence Methods in
Application to High-Dimensional Electronic Health Records: Examining the
Usability of XAI [0.0]
XAIは、コミュニケーション手段によって人間に達成される信頼の実証的要因を生み出すことを目的としている。
機械を信頼して人間の生き方に向くというイデオロギーは倫理的な混乱を引き起こします。
XAIメソッドは、ローカルレベルとグローバルレベルの両方で出力される特定のモデルに対する機能貢献を視覚化します。
論文 参考訳（メタデータ） (2021-03-08T18:15:52Z) - Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。
本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。
本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
論文 参考訳（メタデータ） (2021-01-24T05:40:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。