論文の概要: Using Personality Detection Tools for Software Engineering Research: How
Far Can We Go?
- arxiv url: http://arxiv.org/abs/2110.05035v1
- Date: Mon, 11 Oct 2021 07:02:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-12 13:10:58.754619
- Title: Using Personality Detection Tools for Software Engineering Research: How
Far Can We Go?
- Title(参考訳): ソフトウェア工学研究にパーソナリティ検出ツールを使う: どこまで進めばいいのか?
- Authors: Fabio Calefato and Filippo Lanubile
- Abstract要約: 自己評価アンケートは、大規模に複数の観察を収集するための実践的な解決策ではない。
非技術的コーパスでトレーニングされたオフザシェルフソリューションは、ソフトウェア工学のような技術的な領域では、容易には適用できないかもしれない。
- 参考スコア(独自算出の注目度): 12.56413718364189
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Assessing the personality of software engineers may help to match individual
traits with the characteristics of development activities such as code review
and testing, as well as support managers in team composition. However,
self-assessment questionnaires are not a practical solution for collecting
multiple observations on a large scale. Instead, automatic personality
detection, while overcoming these limitations, is based on off-the-shelf
solutions trained on non-technical corpora, which might not be readily
applicable to technical domains like Software Engineering (SE). In this paper,
we first assess the performance of general-purpose personality detection tools
when applied to a technical corpus of developers' emails retrieved from the
public archives of the Apache Software Foundation. We observe a general low
accuracy of predictions and an overall disagreement among the tools. Second, we
replicate two previous research studies in SE by replacing the personality
detection tool used to infer developers' personalities from pull-request
discussions and emails. We observe that the original results are not confirmed,
i.e., changing the tool used in the original study leads to diverging
conclusions. Our results suggest a need for personality detection tools
specially targeted for the software engineering domain.
- Abstract(参考訳): ソフトウェアエンジニアの性格を評価することは、個々の特性とコードレビューやテストのような開発アクティビティの特徴、チーム構成におけるサポートマネージャの特徴を一致させるのに役立つかもしれない。
しかし、自己評価アンケートは、大規模に複数の観察を収集するための実践的な解決策ではない。
代わりに、自動パーソナリティ検出は、これらの制限を克服しながら、非技術的コーパスでトレーニングされた既製のソリューションに基づいている。
本稿では,apache software foundationの公開アーカイブから取得した開発者メールの技術的コーパスに適用し,汎用パーソナリティ検出ツールの性能を評価する。
予測の精度は概して低く、ツール間の全体的な不一致も観察できる。
第2に、プルリクエストの議論と電子メールから開発者の個性を推測するパーソナリティ検出ツールを置き換えることで、SEにおけるこれまでの2つの研究研究を再現する。
原結果が確認されていないこと,すなわち,原研究で使用するツールの変更は,結論の相違につながることを観察する。
以上より,ソフトウェア工学分野を対象とするパーソナリティ検出ツールの必要性が示唆された。
関連論文リスト
- TOOLVERIFIER: Generalization to New Tools via Self-Verification [69.85190990517184]
本稿では,ツール選択中にコントラスト質問を自己問合せすることで,近接候補を識別する自己検証手法を提案する。
ToolBenchベンチマークによる4つのタスクの実験では、17の見えないツールで構成されており、数ショットのベースラインよりも平均22%改善されている。
論文 参考訳(メタデータ) (2024-02-21T22:41:38Z) - Code Review Automation: Strengths and Weaknesses of the State of the Art [14.313783664862923]
3つのコードレビュー自動化技術は、この論文で説明した2つのタスクで成功するか失敗する傾向があります。
この研究は質的な焦点が強く、正確な予測と間違った予測の分析に105時間のマニュアルインスペクションが費やされている。
論文 参考訳(メタデータ) (2024-01-10T13:00:18Z) - Automated Grading and Feedback Tools for Programming Education: A
Systematic Review [7.776434991976473]
ほとんどの論文はオブジェクト指向言語における代入の正確性を評価する。
ソースコードの保守性、可読性、ドキュメントを評価するツールは少ない。
ほとんどのツールは、ほぼ即時フィードバックを可能にする完全に自動化されたアセスメントを提供する。
論文 参考訳(メタデータ) (2023-06-20T17:54:50Z) - LLM-based Interaction for Content Generation: A Case Study on the
Perception of Employees in an IT department [85.1523466539595]
本稿では,IT企業の従業員が生成ツールを使用する意図を明らかにするためのアンケート調査を行う。
以上の結果から, 生成ツールの比較的平均的な受容性が示唆されるが, ツールが有用であると認識されるほど, 意図が高くなることが示唆された。
分析の結果, 生産ツールの利用頻度は, 従業員が作業の文脈でこれらのツールをどのように認識しているかを理解する上で重要な要因である可能性が示唆された。
論文 参考訳(メタデータ) (2023-04-18T15:35:43Z) - Tool Learning with Foundation Models [114.2581831746077]
基礎モデルの出現により、AIシステムは、人間としてのツールの使用に等しく適応できる可能性がある。
その大きな可能性にもかかわらず、この分野における重要な課題、機会、そして将来の取り組みに関する包括的な理解はいまだに欠けている。
論文 参考訳(メタデータ) (2023-04-17T15:16:10Z) - External Stability Auditing to Test the Validity of Personality
Prediction in AI Hiring [4.837064018590988]
本稿では,アルゴリズムによる人格検査による予測の安定性の外部監査のための方法論を開発する。
我々は、この方法論をHumantic AIとCrystalの2つのシステムの監査でインスタンス化する。
両システムとも,測定の重要面に関してかなりの不安定性を示すことがわかった。
論文 参考訳(メタデータ) (2022-01-23T00:44:56Z) - Human-in-the-Loop Disinformation Detection: Stance, Sentiment, or
Something Else? [93.91375268580806]
政治とパンデミックは、機械学習対応の偽ニュース検出アルゴリズムの開発に十分な動機を与えている。
既存の文献は、主に完全自動化されたケースに焦点を当てているが、その結果得られた技術は、軍事応用に必要な様々なトピック、ソース、時間スケールに関する偽情報を確実に検出することはできない。
既に利用可能なアナリストを人間のループとして活用することにより、感情分析、アスペクトベースの感情分析、姿勢検出といった標準的な機械学習技術は、部分的に自動化された偽情報検出システムに使用するためのもっとも有効な方法となる。
論文 参考訳(メタデータ) (2021-11-09T13:30:34Z) - AI Explainability 360: Impact and Design [120.95633114160688]
2019年、私たちはAI Explainability 360(Arya et al. 2020)を開発しました。
本稿では,いくつかのケーススタディ,統計,コミュニティフィードバックを用いて,ツールキットが与える影響について検討する。
また,ツールキットのフレキシブルな設計,使用例,利用者が利用可能な教育資料や資料についても述べる。
論文 参考訳(メタデータ) (2021-09-24T19:17:09Z) - Automated Machine Learning Techniques for Data Streams [91.3755431537592]
本稿では、最先端のオープンソースAutoMLツールを調査し、ストリームから収集したデータに適用し、時間とともにパフォーマンスがどのように変化するかを測定する。
この結果から,既製のAutoMLツールで十分な結果が得られることが示されたが,概念ドリフトや検出,適応といった手法が適用されれば,予測精度を時間とともに維持することが可能になる。
論文 参考訳(メタデータ) (2021-06-14T11:42:46Z) - Automated User Experience Testing through Multi-Dimensional Performance
Impact Analysis [0.0]
新規な自動ユーザエクスペリエンステスト手法を提案する。
コードの変更が時間単位とシステムテストにどう影響するかを学び、この情報に基づいてユーザエクスペリエンスの変更を推定します。
当社のオープンソースツールは,ランダムフォレストレグレッサで絶対誤差率3.7%を達成した。
論文 参考訳(メタデータ) (2021-04-08T01:18:01Z) - Designing Tools for Semi-Automated Detection of Machine Learning Biases:
An Interview Study [18.05880738470364]
半自動バイアス検出ツールに関するニーズを調査するため,11人の機械学習実践者とのインタビュー研究について報告する。
本研究は, バイアス検出のための将来のツール開発を目指すシステムデザイナを指導する上で, 設計における4つの考慮点を強調した。
論文 参考訳(メタデータ) (2020-03-13T00:18:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。