論文の概要: The Mind Is a Powerful Place: How Showing Code Comprehensibility Metrics
Influences Code Understanding
- arxiv url: http://arxiv.org/abs/2012.09590v2
- Date: Wed, 10 Feb 2021 12:52:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-20 10:42:40.744735
- Title: The Mind Is a Powerful Place: How Showing Code Comprehensibility Metrics
Influences Code Understanding
- Title(参考訳): 心は強力な場所である:コードの理解度がコード理解にどのように影響するか
- Authors: Marvin Wyrich, Andreas Preikschat, Daniel Graziotin, Stefan Wagner
- Abstract要約: ソースコードの理解度を示す指標が,ソースコードの理解度を主観的に評価する上で,開発者を悩ませるかどうかを検討する。
その結果、理解度測定値の表示値は、開発者のコード理解度評価に大きく、かつ大きなアンカー効果があることがわかった。
- 参考スコア(独自算出の注目度): 10.644832702859484
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Static code analysis tools and integrated development environments present
developers with quality-related software metrics, some of which describe the
understandability of source code. Software metrics influence overarching
strategic decisions that impact the future of companies and the prioritization
of everyday software development tasks. Several software metrics, however, lack
in validation: we just choose to trust that they reflect what they are supposed
to measure. Some of them were even shown to not measure the quality aspects
they intend to measure. Yet, they influence us through biases in our
cognitive-driven actions. In particular, they might anchor us in our decisions.
Whether the anchoring effect exists with software metrics has not been studied
yet. We conducted a randomized and double-blind experiment to investigate the
extent to which a displayed metric value for source code comprehensibility
anchors developers in their subjective rating of source code comprehensibility,
whether performance is affected by the anchoring effect when working on
comprehension tasks, and which individual characteristics might play a role in
the anchoring effect. We found that the displayed value of a comprehensibility
metric has a significant and large anchoring effect on a developer's code
comprehensibility rating. The effect does not seem to affect the time or
correctness when working on comprehension questions related to the code
snippets under study. Since the anchoring effect is one of the most robust
cognitive biases, and we have limited understanding of the consequences of the
demonstrated manipulation of developers by non-validated metrics, we call for
an increased awareness of the responsibility in code quality reporting and for
corresponding tools to be based on scientific evidence.
- Abstract(参考訳): 静的コード解析ツールと統合開発環境は、開発者が品質関連のソフトウェアメトリクスを提供する。
ソフトウェアメトリクスは、企業の未来と日々のソフトウェア開発タスクの優先順位に影響を与える戦略的決定全体に影響を与える。
しかし、いくつかのソフトウェアメトリクスには検証の欠如がある。
それらの一部は、彼らが測定しようとしている品質の側面を測ることさえできなかった。
しかし、認知主導的な行動のバイアスによって影響を受けます。
特に、私たちの決定に固執するかもしれません。
ソフトウェアメトリクスにアンカー効果が存在するかどうかはまだ研究されていない。
我々は,ソースコード理解度を示す指標値が,ソースコード理解度に対する主観評価において,開発者に対してどのような影響を及ぼすか,理解タスクにおけるアンカー効果の影響の有無,アンカー効果における個々の特性の役割について,ランダム化および二重盲検実験を行った。
理解度メトリクスの表示された値は、開発者のコード理解度に有意かつ大きなアンカー効果をもたらすことが分かりました。
この影響は、研究中のコードスニペットに関連する理解的質問に取り組む際の時間や正確性に影響しないように思われる。
アンカリング効果は最も堅牢な認知バイアスの1つであり、非バリデードメトリクスによる開発者操作の結果を限定的に理解しているため、コード品質報告における責任の認識の高まりと、それに対応するツールの科学的証拠に基づくことを求めている。
関連論文リスト
- Free Open Source Communities Sustainability: Does It Make a Difference
in Software Quality? [2.981092370528753]
本研究は,サステナビリティの異なる側面がソフトウェア品質に与える影響を実証的に検討することを目的とする。
4つのカテゴリにわたる16のサステナビリティ指標をサンプリングし、217のOSSプロジェクトに適用した。
論文 参考訳(メタデータ) (2024-02-10T09:37:44Z) - Alignment for Honesty [113.42626737461129]
我々は、正直に整合することの重要性を主張し、言語モデルが知識が欠如している場合に、積極的に質問に答えることを拒否します。
この課題は、メトリクス開発、ベンチマーク作成、トレーニングという観点で包括的なソリューションを必要とする。
正直さを強調する複数の効率的な微調整技術によってさらにインスタンス化されるフレキシブルなトレーニングフレームワークを導入する。
論文 参考訳(メタデータ) (2023-12-12T06:10:42Z) - Do Internal Software Metrics Have Relationship with Fault-proneness and
Change-proneness? [2.194575078433007]
この研究は、最新の洞察を提供するために、内部ソフトウェアメトリクスと変化傾向と欠陥傾向の関係を再考する。
私たちは、ApacheとEclipseのエコシステムから有名なオープンソースシステムにおいて、25の社内ソフトウェアメトリクス、変更の頻度、欠陥の頻度を特定します。
論文 参考訳(メタデータ) (2023-09-23T07:19:41Z) - Investigating the Impact of Vocabulary Difficulty and Code Naturalness
on Program Comprehension [3.35803394416914]
本研究の目的は,言語習得の観点から可読性と可読性を評価することである。
我々は,それらの相関関係を理解するために統計的解析を行い,可読性および可読性予測法の性能向上にコード自然性および語彙難易度を用いることができるか分析する。
論文 参考訳(メタデータ) (2023-08-25T15:15:00Z) - Understanding Self-Efficacy in the Context of Software Engineering: A
Qualitative Study in the Industry [2.268415020650315]
自己効力性(Self-Efficacy)は、様々な知識領域で研究され、パフォーマンス、満足度、モチベーションなどの様々な要因に影響を与える概念である。
本研究の目的は,自己効力感の行動徴候を理解することに集中して,ソフトウェア開発コンテキストへの影響を理解することである。
論文 参考訳(メタデータ) (2023-05-26T17:16:37Z) - CRITIC: Large Language Models Can Self-Correct with Tool-Interactive
Critiquing [139.77117915309023]
CRITICは、大規模な言語モデルに対して、ツールとのヒューマンインタラクションに似た方法で、自分たちのアウトプットの検証と修正を可能にする。
自由形式の質問応答、数学的プログラム合成、毒性低減を含む包括的評価は、CRITICがLLMの性能を一貫して向上することを証明している。
論文 参考訳(メタデータ) (2023-05-19T15:19:44Z) - Rethinking People Analytics With Inverse Transparency by Design [57.67333075002697]
我々は、デザインによる逆透過性(inverse transparency)と呼ぶ、労働分析のための新しい設計手法を提案する。
アーキテクチャの変更はコア機能を阻害することなく行われます。
我々は、デザインによる逆透明性は、受け入れられ、責任ある人々の分析を実現するための有望なアプローチである、と結論付けている。
論文 参考訳(メタデータ) (2023-05-16T21:37:35Z) - Breaks and Code Quality: Investigating the Impact of Forgetting on
Software Development. A Registered Report [15.438443553618896]
開発者がそのことを明確に理解し、長時間中断しても効率的に効果的に機能できることは、非常に重要です。
本報告では,開発者の活動が持続時間とコード品質の異なる特性に与える影響を調査するための実証的研究を提案する。
論文 参考訳(メタデータ) (2023-05-01T10:33:17Z) - Uncertainty Quantification 360: A Holistic Toolkit for Quantifying and
Communicating the Uncertainty of AI [49.64037266892634]
我々は、AIモデルの不確実性定量化のためのオープンソースのPythonツールキットUncertainty Quantification 360 (UQ360)について述べる。
このツールキットの目標は2つある: ひとつは、AIアプリケーション開発ライフサイクルにおける不確実性を定量化し、評価し、改善し、伝達する共通のプラクティスを育むとともに、合理化するための幅広い能力を提供すること、もうひとつは、信頼できるAIの他の柱とのUQの接続をさらに探求することである。
論文 参考訳(メタデータ) (2021-06-02T18:29:04Z) - Influence Functions in Deep Learning Are Fragile [52.31375893260445]
影響関数は、テスト時間予測におけるサンプルの効果を近似する。
影響評価は浅いネットワークでは かなり正確です
ヘッセン正則化は、高品質な影響推定を得るために重要である。
論文 参考訳(メタデータ) (2020-06-25T18:25:59Z) - Learning to Evaluate Perception Models Using Planner-Centric Metrics [104.33349410009161]
本稿では,自動運転のタスクに特化して,3次元物体検出の原理的基準を提案する。
私たちのメトリクスは、他のメトリクスが設計によって課す多くの間違いを罰します。
人間の評価では,基準基準値と基準値が一致しないシーンを生成し,基準値の79%が人間の側にあることがわかった。
論文 参考訳(メタデータ) (2020-04-19T02:14:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。