論文の概要: Human and Machine: How Software Engineers Perceive and Engage with AI-Assisted Code Reviews Compared to Their Peers
- arxiv url: http://arxiv.org/abs/2501.02092v1
- Date: Fri, 03 Jan 2025 20:42:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-07 17:08:34.803800
- Title: Human and Machine: How Software Engineers Perceive and Engage with AI-Assisted Code Reviews Compared to Their Peers
- Title（参考訳）: 人間と機械:AIによるコードレビューにおけるソフトウェアエンジニアの認識と理解
- Authors: Adam Alami, Neil A. Ernst,
- Abstract要約: 本稿では,Large Language Model (LLM) を利用したコードレビューにおいて,ソフトウェアエンジニアがどのように認識し,関与しているかを検討する。
コードレビューにおけるエンゲージメントは多次元であり、認知的、感情的、行動的な側面にまたがっていることがわかった。
我々の発見は、AIツールがSE社会技術プロセスにどのように影響しているかをより深く理解するのに役立ちます。
- 参考スコア（独自算出の注目度）: 4.734450431444635
- License:
- Abstract: The integration of artificial intelligence (AI) continues to increase and evolve, including in software engineering (SE). This integration involves processes traditionally entrusted to humans, such as coding. However, the impact on socio-technical processes like code review remains underexplored. In this interview-based study (20 interviewees), we investigate how software engineers perceive and engage with Large Language Model (LLM)-assisted code reviews compared to human peer-led reviews. In this inherently human-centric process, we aim to understand how software engineers navigate the introduction of AI into collaborative workflows. We found that engagement in code review is multi-dimensional, spanning cognitive, emotional, and behavioral dimensions. The introduction of LLM-assisted review impacts some of these attributes. For example, there is less need for emotional regulation and coping mechanisms when dealing with an LLM compared to peers. However, the cognitive load sometimes is higher in dealing with LLM-generated feedback due to its excessive details. Software engineers use a similar sense-making process to evaluate and adopt feedback suggestions from their peers and the LLM. However, the LLM feedback adoption is constrained by trust and lack of context in the review. Our findings contribute to a deeper understanding of how AI tools are impacting SE socio-technical processes and provide insights into the future of AI-human collaboration in SE practices.
- Abstract（参考訳）: 人工知能(AI)の統合は、ソフトウェア工学(SE)を含む、増加と進化を続けている。
この統合には、コーディングなど、伝統的に人間に委ねられたプロセスが含まれる。
しかし、コードレビューのような社会技術的プロセスへの影響はいまだに未調査である。
本研究では,Large Language Model (LLM) によるコードレビューを,人間のピア主導のレビューと比較し,ソフトウェア技術者がどのように認識し,関与しているかを検討する。
この本質的に人間中心のプロセスでは、ソフトウェアエンジニアがコラボレーションワークフローへのAIの導入をどのようにナビゲートするかを理解することを目的としています。
コードレビューにおけるエンゲージメントは多次元であり、認知的、感情的、行動的な側面にまたがっていることがわかった。
LLM支援レビューの導入は、これらの属性のいくつかに影響を及ぼす。
例えば、LLMを扱うときの感情的な規制や対処機構は、ピアに比べて少ない。
しかし、その過剰な詳細のため、LLM生成フィードバックを扱う場合、認知負荷が高くなることがある。
ソフトウェアエンジニアは、同様のセンスメイキングプロセスを使用して、仲間やLLMからのフィードバック提案を評価し、採用する。
しかし、LCMのフィードバックの採用は、レビューにおける信頼と文脈の欠如によって制限されている。
我々の発見は、AIツールがSEの社会技術的プロセスにどのように影響しているかをより深く理解し、SEプラクティスにおけるAIと人間のコラボレーションの将来についての洞察を提供するのに役立ちます。
関連論文リスト
- Generative AI and Empirical Software Engineering: A Paradigm Shift [8.65285948382426]
ソフトウェア工学における生成AIの普及はパラダイムシフトである。
本稿では,AIをソフトウェア工学に統合することで,従来の研究パラダイムに挑戦する方法について考察する。
論文 参考訳（メタデータ） (2025-02-12T04:13:07Z) - Analysis of Student-LLM Interaction in a Software Engineering Project [1.2233362977312945]
我々は、ソフトウェア工学学習におけるAIのメリットを理解するために、13週間の学期で126人の学部生とAIアシスタントとのインタラクションを分析した。
以上の結果から,CoPilotよりもChatGPTが好ましいことが示唆された。
会話ベースのインタラクションは、自動生成コードと比較して生成されたコードの品質を改善するのに役立つ。
論文 参考訳（メタデータ） (2025-02-03T11:44:00Z) - LLMs are Imperfect, Then What? An Empirical Study on LLM Failures in Software Engineering [38.20696656193963]
非自明なソフトウェアエンジニアリングタスクにおいて,ChatGPTをコーディングアシスタントとして使用した22名の参加者を対象に,観察的研究を行った。
そこで我々は,ChatGPTが失敗した事例,その根本原因,およびユーザが使用する緩和ソリューションを特定した。
論文 参考訳（メタデータ） (2024-11-15T03:29:41Z) - Can We Trust AI Agents? An Experimental Study Towards Trustworthy LLM-Based Multi-Agent Systems for AI Ethics [10.084913433923566]
本研究では,信頼度向上技術が倫理的AI出力生成に与える影響について検討する。
我々はLLM-BMASのプロトタイプを設計し、エージェントは現実世界の倫理的AI問題に関する構造化された議論を行う。
議論では、バイアス検出、透明性、説明責任、ユーザの同意、コンプライアンス、公正性評価、EU AI Actコンプライアンスといった用語が明らかにされている。
論文 参考訳（メタデータ） (2024-10-25T20:17:59Z) - CIBench: Evaluating Your LLMs with a Code Interpreter Plugin [68.95137938214862]
データサイエンスタスクにコードインタプリタを利用するLLMの能力を総合的に評価する,CIBenchという対話型評価フレームワークを提案する。
評価データセットは,LLM-人的協調手法を用いて構築され,連続的かつ対話的なIPythonセッションを活用することによって,実際のワークフローをシミュレートする。
コードインタプリタの利用において, CIBench 上で 24 個の LLM の能力を解析し, 将来の LLM に対する貴重な洞察を提供するため, 広範囲にわたる実験を行った。
論文 参考訳（メタデータ） (2024-07-15T07:43:55Z) - How Can Recommender Systems Benefit from Large Language Models: A Survey [82.06729592294322]
大きな言語モデル(LLM)は、印象的な汎用知性と人間のような能力を示している。
我々は,実世界のレコメンデータシステムにおけるパイプライン全体の観点から,この研究の方向性を包括的に調査する。
論文 参考訳（メタデータ） (2023-06-09T11:31:50Z) - Evaluating Language Models for Mathematics through Interactions [116.67206980096513]
大型言語モデル(LLM)と対話し,評価するためのプロトタイププラットフォームであるCheckMateを紹介した。
我々はCheckMateと共同で3つの言語モデル(InstructGPT, ChatGPT, GPT-4)を、学部レベルの数学の証明支援として評価する研究を行った。
我々は、人間の行動の分類を導き、概して肯定的な相関にもかかわらず、正しさと知覚的有用性の間に顕著な相違点があることを明らかにする。
論文 参考訳（メタデータ） (2023-06-02T17:12:25Z) - Comparing Software Developers with ChatGPT: An Empirical Investigation [0.0]
本稿では,ChatGPTのようなソフトウェア技術者やAIシステムのパフォーマンスを,さまざまな評価指標で比較した実証的研究を行う。
この論文は、さまざまな評価基準を考慮して、ソフトウェアエンジニアとAIベースのソリューションの包括的な比較が、人間と機械のコラボレーションを促進する上で重要であることを示唆している。
論文 参考訳（メタデータ） (2023-05-19T17:25:54Z) - OpenAGI: When LLM Meets Domain Experts [51.86179657467822]
ヒューマン・インテリジェンス(HI)は、複雑なタスクを解くための基本的なスキルの組み合わせに長けている。
この機能は人工知能(AI)にとって不可欠であり、包括的なAIエージェントに組み込まれるべきである。
マルチステップで現実的なタスクを解決するために設計されたオープンソースのプラットフォームであるOpenAGIを紹介します。
論文 参考訳（メタデータ） (2023-04-10T03:55:35Z) - Machine Psychology [54.287802134327485]
我々は、心理学にインスパイアされた行動実験において、研究のための実りある方向が、大きな言語モデルに係わっていると論じる。
本稿では,本手法が表に示す理論的視点,実験パラダイム,計算解析技術について述べる。
これは、パフォーマンスベンチマークを超えた、生成人工知能(AI)のための「機械心理学」の道を開くものだ。
論文 参考訳（メタデータ） (2023-03-24T13:24:41Z) - Enabling Automated Machine Learning for Model-Driven AI Engineering [60.09869520679979]
モデル駆動型ソフトウェアエンジニアリングとモデル駆動型AIエンジニアリングを実現するための新しいアプローチを提案する。
特に、私たちはAutomated MLをサポートし、AI集約システムの開発において、AIの深い知識のないソフトウェアエンジニアを支援します。
論文 参考訳（メタデータ） (2022-03-06T10:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。