論文の概要: Can AI Serve as a Substitute for Human Subjects in Software Engineering Research?

• arxiv url: http://arxiv.org/abs/2311.11081v1
• Date: Sat, 18 Nov 2023 14:05:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 12:31:26.877335
• Title: Can AI Serve as a Substitute for Human Subjects in Software Engineering Research?
• Title（参考訳）: AIはソフトウェア工学研究における人的課題の代替として生き残れるか?
• Authors: Marco A. Gerosa, Bianca Trinkenreich, Igor Steinmacher, Anita Sarma
• Abstract要約: 本稿では,人工知能(AI)の能力を活用したソフトウェア工学研究における定性データ収集手法を提案する。 定性的データの代替源としてAI生成合成テキストの可能性を探る。 観察研究とユーザ評価における人間の行動のエミュレートを目的とした新しい基礎モデルの開発について論じる。
• 参考スコア（独自算出の注目度）: 24.39463126056733
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Research within sociotechnical domains, such as Software Engineering, fundamentally requires a thorough consideration of the human perspective. However, traditional qualitative data collection methods suffer from challenges related to scale, labor intensity, and the increasing difficulty of participant recruitment. This vision paper proposes a novel approach to qualitative data collection in software engineering research by harnessing the capabilities of artificial intelligence (AI), especially large language models (LLMs) like ChatGPT. We explore the potential of AI-generated synthetic text as an alternative source of qualitative data, by discussing how LLMs can replicate human responses and behaviors in research settings. We examine the application of AI in automating data collection across various methodologies, including persona-based prompting for interviews, multi-persona dialogue for focus groups, and mega-persona responses for surveys. Additionally, we discuss the prospective development of new foundation models aimed at emulating human behavior in observational studies and user evaluations. By simulating human interaction and feedback, these AI models could offer scalable and efficient means of data generation, while providing insights into human attitudes, experiences, and performance. We discuss several open problems and research opportunities to implement this vision and conclude that while AI could augment aspects of data gathering in software engineering research, it cannot replace the nuanced, empathetic understanding inherent in human subjects in some cases, and an integrated approach where both AI and human-generated data coexist will likely yield the most effective outcomes.
• Abstract（参考訳）: ソフトウェア工学のような社会技術分野の研究は、基本的に人間の視点を徹底的に検討する必要がある。 しかし、従来の定性的データ収集手法は、規模、労働力、参加採用の難しさの増大に関連する課題に悩まされている。 本稿では、人工知能(AI)、特にChatGPTのような大規模言語モデル(LLM)の能力を活用することにより、ソフトウェア工学研究における定性データ収集の新しいアプローチを提案する。 我々は、LLMが人間の反応や振る舞いを研究環境でどのように再現できるかを議論することで、定性的データの代替源としてAI生成合成テキストの可能性を探る。 インタビューのペルソナベースのプロンプト,フォーカスグループのマルチペルソナ対話,調査のためのメガペルソナ応答など,さまざまな方法論を対象としたデータ収集の自動化におけるAIの適用について検討する。 さらに、観察研究における人間の行動のエミュレートとユーザ評価を目的とした新しい基礎モデルの開発についても検討する。 人間のインタラクションとフィードバックをシミュレートすることで、これらのAIモデルは、人間の態度、経験、パフォーマンスに関する洞察を提供しながら、スケーラブルで効率的なデータ生成手段を提供することができる。 我々は、このビジョンを実現するためのいくつかのオープンな問題と研究の機会について議論し、aiは、ソフトウェア工学研究におけるデータ収集の側面を強化することができるが、一部のケースでは、人間に固有のニュアンス的で共感的な理解を置き換えることはできないと結論づける。

関連論文リスト

• User-centric evaluation of explainability of AI with and for humans: a comprehensive empirical study [5.775094401949666]
  この研究はHuman-Centered Artificial Intelligence (HCAI)にある。 一般的に使用されるeXplainable Artificial Intelligence (XAI)アルゴリズムのユーザ中心評価の結果に焦点を当てている。
  論文  参考訳（メタデータ） (2024-10-21T12:32:39Z)
• Data Analysis in the Era of Generative AI [56.44807642944589]
  本稿では,AIを活用したデータ分析ツールの可能性について考察する。 我々は、大規模言語とマルチモーダルモデルの出現が、データ分析ワークフローの様々な段階を強化する新しい機会を提供する方法について検討する。 次に、直感的なインタラクションを促進し、ユーザ信頼を構築し、AI支援分析ワークフローを複数のアプリにわたって合理化するための、人間中心の設計原則を調べます。
  論文  参考訳（メタデータ） (2024-09-27T06:31:03Z)
• Data Augmentation in Human-Centric Vision [54.97327269866757]
  本研究では,人間中心型視覚タスクにおけるデータ拡張手法の包括的分析を行う。 それは、人物のReID、人間のパーシング、人間のポーズ推定、歩行者検出など、幅広い研究領域に展開している。 我々の研究は、データ拡張手法をデータ生成とデータ摂動の2つの主なタイプに分類する。
  論文  参考訳（メタデータ） (2024-03-13T16:05:18Z)
• AI and Generative AI for Research Discovery and Summarization [3.8601741392210434]
  AIと生成AIツールが今年中に登場し、仕事の生産性を高め、私たちの生活を改善する素晴らしい機会を生み出した。 これらのツールが大きな影響を与えうる分野の1つは、研究の発見と要約である。 我々は、研究発見と要約のためのAIと生成AIの開発をレビューし、これらのタイプのツールが将来進む可能性が高い方向を提案する。
  論文  参考訳（メタデータ） (2024-01-08T18:42:55Z)
• Where Are We So Far? Understanding Data Storytelling Tools from the Perspective of Human-AI Collaboration [39.96202614397779]
  最近の研究は、人工知能がデータストーリーテリングにおいて人間を支援し、強化する可能性を探っている。 人とAIのコラボレーションの観点から、データストーリーテリングツールを理解するための体系的なレビューがない。 本稿では,分析,計画,実装,コミュニケーションなどのツールが機能するストーリーテリングワークフローの段階と,人間とAIの役割という2つの視点から,既存のツールをフレームワークで検討した。
  論文  参考訳（メタデータ） (2023-09-27T15:30:50Z)
• The ethical ambiguity of AI data enrichment: Measuring gaps in research ethics norms and practices [2.28438857884398]
  この研究は、AI研究とデータ豊か化のために、同等な研究倫理要件と規範がどのように開発されたか、そしてどの程度まで調査する。 主要なAI会場は、人間のデータ収集のためのプロトコルを確立し始めているが、これらは矛盾なく著者が追従している。
  論文  参考訳（メタデータ） (2023-06-01T16:12:55Z)
• Human-Centric Multimodal Machine Learning: Recent Advances and Testbed on AI-based Recruitment [66.91538273487379]
  人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。 i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。 異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
  論文  参考訳（メタデータ） (2023-02-13T16:44:44Z)
• Methodological reflections for AI alignment research using human feedback [0.0]
  AIアライメントは、AI技術が人間の関心や価値観、機能と安全で倫理的な方法で一致しているかどうかを調査することを目的としている。 LLMは、予測が難しい方法で学習し、適応する能力があるため、意図しない行動を示す可能性がある。
  論文  参考訳（メタデータ） (2022-12-22T14:27:33Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)
• Human-Robot Collaboration and Machine Learning: A Systematic Review of Recent Research [69.48907856390834]
  人間ロボットコラボレーション(Human-robot collaboration、HRC)とは、人間とロボットの相互作用を探索する手法である。 本稿では,HRCの文脈における機械学習技術の利用に関する詳細な文献レビューを提案する。
  論文  参考訳（メタデータ） (2021-10-14T15:14:33Z)
• What Matters in Learning from Offline Human Demonstrations for Robot Manipulation [64.43440450794495]
  ロボット操作のための6つのオフライン学習アルゴリズムについて広範な研究を行う。 我々の研究は、オフラインの人間のデータから学習する際の最も重要な課題を分析します。 人間のデータセットから学ぶ機会を強調します。
  論文  参考訳（メタデータ） (2021-08-06T20:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。